Система, устройство и способ трансляции и приема контента в реальном времени с носимых устройств с управляемой задержкой и поддержанием качества контента Российский патент 2021 года по МПК H04N21/637 H04N21/214 H04H60/04 

Область применения изобретения

[001] Раскрытая здесь изобретение может применяться для передачи данных, а именно трансляции аудио-видео данных в реальном времени (задержка менее - 0,5 секунды), на основе разработанных алгоритмов, использующих передовые технологии для беспроводных каналов связи WiFi/LTE/UWB/3G/5G/другая технология и др., а также ИИ (искусственный интеллект) для улучшения изображения, стабилизации, распознавания; с монтируемых носимых устройств для головных уборов (шлем, бейсбольная кепка, головной убор), содержащих камеру (несколько камер), микрофон, использующих хотя бы две технологий для передачи данных, например, 2 модема одной/разными технологиями доступа (WiFi+LTE, WiFi+WiFi и т.д.), для установления нескольких одновременных соединений по которым возможна одновременная передача данных, Bluetooth наушник для связи с носящим, центральный процессор, аккумулятор и т.д.; и базовых станций (как минимум 2 типов) для связи и сбора информации с носимых устройств, - и со стационарных устройств, сопряженных с беспроводным отделяемым транспондером, содержащим не менее двух модемов, работающих на основе одной (например, WiFi+WiFi) или различных технологий (например, Wifi+LTE), для установления нескольких одновременных соединений по которым возможна одновременная передача данных.

Предшествующий уровень техники

[002] Многие компании пытаются предоставлять высококачественный видео и аудио контент в реальном времени (задержка 0.5 секунды) с поддержание постоянного высокого качества. Контент транслируется с множества носимых устройств, имеющих небольшой вес, которые монтируются на головной убор или встраиваются в головной убор или на/в другой элемент одежды, или с профессионального съемочного оборудования (камер, камкордеров и т.д.) разного типа с подключаемым внешним беспроводным транспондером, которые могут использоваться в местах скопления людей (спортивные арены, предприятия и мастерские, массовые общественные, спортивные и развлекательные мероприятия).

[003] Существующие разработки сталкивались с проблемами сбора данных с множества устройств, а именно:

[004] (1) Невозможность обеспечить стабильный аудио-видео сигнал от носимых устройств (без ошибок, обрывов), которые монтируются на головной убор или встраиваются в головной убор или другой элемент одежды, или стационарного съемочного оборудования с подключенным беспроводным транспондером до запрашиваемых серверов (передвижной телестудии, контрольной комнаты телевизионного вещания, центрального сервера интернет-вещания или сети доставки контента - CDN). Количество прерываний, ошибок становится тем больше, чем больше людей присутствует в рабочей зоне или вокруг нее. В результате приходится снижать качество изображения и качество аудио данных, уменьшать количество носимых устройств, тем самым уменьшая общий поток данных, увеличивать задержку до нескольких секунд, чтобы успевать перезапрашивать потерянные пакеты контента без прерывания в вещании, что не позволяет транслировать контент на ТВ в реальном времени, так как требуемая задержка не должна превышать 0.5 секунды.

[005] (2) Невозможность обеспечить стабильный (без уменьшения качества, без ошибок) высококачественный аудио-видео поток в том случае, если все носимые устройства или стационарное съемочное оборудование с подключенным беспроводным транспондером перемещаются в одну часть рабочей зоны - по этой причине проходится снижать общую скорость потока данных, снижая качество всего контента или предоставлять большую часть полосы пропускания одному устройству, жертвуя качеством сигнала других устройств.

[006] (3) Невозможность обеспечить качественный аудио-видео поток в реальном времени (задержка менее 0,5 секунды) во время большого скопления людей. Создание большой задержки (3-4 секунды) позволяет компенсировать потери во время передачи данных от носимых устройств до сервера на приемной стороне (передвижная телестудия, CDN), чем меньше задержка, тем сложнее обеспечить стабильный высококачественный сигнал от носимых устройств или стационарного съемочного оборудования с подключенным беспроводным транспондером до серверов за счет перезапросов потерянных данных и увеличения сглаживающего буфера на приемной стороне (передвижная телестудия, контрольная комната телевизионного вещания, центральный сервер вещания через интернет, CDN).

[007] (4) Устройства, применяемые для трансляции от первого лица на спортсменах или работниках экстренных служб, групп быстрого реагирования, работниках предприятий громоздкие и неудобные, что создает проблемы их использования.

[008] Соответственно, существует потребность в улучшении технологии передачи данных в условиях зашумленности радиоканала в местах скопления людей и создании системы, которая позволит обеспечить стабильный высококачественный аудио-видео поток в реальном времени (задержка менее 0.5 секунды) одновременно со всех активных носимых устройств, которые монтируются на головные уборы или встраиваются в головные уборы или на другой элемент одежды и передают аудио-видео данные из точки своего нахождения до сервера/фанатов/экспертов удаленной поддержки работников (ТВ, CDN), или с устройств (съемочного оборудования), сопрягаемых с внешним транспондером с использованием любых предусмотренных производителем съемочного оборудования для этих целей интерфейсов, без потери качества вне зависимости от местоположения устройства внутри рабочей зоны, без существенных прерываний/ошибок, с возможностью размещаться на существующих объектах (спортивные арены, предприятия, общественные места, концертные площадки), которая также позволит обеспечить быстрое развертывание и быструю замену носимых устройств без снижения таких их свойств, как ударостойкость, легкость и дешевизна.

[009] Существующие решения имеют существенные недостатки во время работы в местах скопления людей (спортивные арены, фестивали и так далее).

[0010] Известные технические решения описаны, например, в US 10021157 B1, US 9648064, US 20160286891 A1, US 20090189981 A1, US 9203498 B2. Однако, все из них имеют существенные недостатки, в одном описано использование одного высокоскоростного канала данных между носимым устройством и базовой станцией (главным сервером) для передачи контента. Использование только одного высокоскоростного канала для обмена данными с сервером (базовая станция, конечный сервер, который принимает поток от камеры) может быть недостаточно для бесперебойной доставки контента на сервер из-за возникающих коллизий во время передачи данных в местах скопления людей (например, спортивные арены), вследствие быстрого перемещения людей/спортсменов внутри рабочей зоны и переключения между базовыми станциями (хендовер), перекрытий (люди перекрывают друг друга или камера с передатчиком перекрыта каким-либо объектом), попадание в «мертвую зону», где появляется замирание, и как следствие потери данных, что влечет за собой наращивание задержки, чтобы компенсировать замирания и потери. Другим недостатком является то, что традиционные решения не раскрывают, какие методы должны быть использованы.

[0011] В существующих решениях по обмену данными с носимыми устройствами, установленными на головных уборах/в головных уборах/на элементах одежды, или стационарным съемочным оборудованием с подключаемым беспроводным транспондером во время скопления людей стандартные методы передачи-приема данных через один приемо-передатчик не позволяют стабильно, без сбоев, без увеличения задержки принимать поток с множества камер из-за переключения между базовыми станциями (хендовер) и потери данных. В случае приема только на одну базовую станцию, как следствие, увеличивается задержка, возникают потери, коллизии. Прием данных только через одну базовую станцию не обеспечивает необходимый поток данных для выстраивания конечного потока, который передается в эфир TB/CDN/др. Необходимо использовать распределенный прием данных от одной камеры, чтобы на сервер приходило несколько потоков одних и тех же (одна базовая станция может принять 80% трафика, другая 90% трафика, третья 50% и т.д.) данных, которые обеспечат выстраивание конечного потока из множества полученных потоков от нескольких базовых станций - тогда, в случае пропадания данных на одной из станций, данные, полученные от другой станции, компенсируют потери. Дополнительной гарантией доставки данных это использование 2 и более технологий беспроводного доступа, в частном случае двух модемов, которые передают по 100% изначального трафика (могут быть и 3 технологии, когда по двум идет по 100% трафика, а третий используется только для обратной связи или по нему передаются только данные управления) и две независимые системы с распределенным приемом, описанным выше, которые собирают данные. Таким образом используя распределенный прием данных и многократную передачу одних и тех же данных по разным канал связи можно держать минимальную задержку не превышающую 0.5 секунды и передавать данные с множества камер независимо от их местоположения внутри и вокруг рабочей зоны.

[0012] Кроме того, одного канала будет недостаточно для непрерывного обеспечения высококачественного контента, когда несколько носимых устройств или стационарное съемочное оборудование с подключенным к нему беспроводным транспондером передают контент одновременно из одной и той же части рабочей зоны. Поэтому необходимо распределение сетевой нагрузки, то есть необходимо использовать сразу несколько модемов, работающих в разных сетях с разными технологиями радиодоступа.

[0013] В существующих решениях отсутствует информация о том, какие методы/решения использовать для передачи/приема данных во время скопления людей на массовых мероприятиях (арены во время игр и концертов, митинги), как обеспечить постоянную низкую задержку и поддержку постоянного высокого качества видео сигнала во время использования множества носимых устройств или стационарного съемочного оборудования, подключенного беспроводным способом, внутри рабочей зоны. В рассмотренных патентах присутствует информация о работе на стандартных каналах WiFi/WiMax/Др. технологии. Главная проблема стандартных каналов в том, что во время скопления людей их устройства (планшеты, телефоны) используют те же стандартные каналы для подключения к точкам доступа Wi-Fi. Если оставить систему на стандартных каналах, то точки доступа (базовые станции) будут заняты обработкой сигналов с других - «не своих» - устройств и не смогут обрабатывать поступающие данные с носимых устройств.

[0014] В патенте US 9203498 B2 раскрыта технология, которая имеет недостатки. В частности, первое - «транспондер», который присоединяется к камере и передается данные на удаленный сервер и далее в ТВ студию по общедоступным технологиям LTE, 5G, Ethernet, WiFi. Несмотря на создание искусственного изобилия контента, неизбежная потеря данных должна быть восстановлена с удаленного сервера, что приводит к неконтролируемому увеличению задержки. Второе - если необходимо собрать данные с беспроводных камер на арене и передать их в передвижную телестудию на арене, то в случае передачи данных от камер через операторов связи на удаленный сервер, собранные там данные нужно будет вернуть обратно на арену, что влечет за собой увеличение задержки, плюс данные, которые придут на арену будут с задержкой, которая не позволит их использовать в реальном времени и наложить элементы дополнительной реальности. Третье - в случае если нагрузка на общедоступный канал данных (3G/LTE/5G/Wi-Fi), предоставленный оператором связи увеличивается, нужно уменьшать поток данных, который создает камера, что влечет за собой ухудшение качества изображения.

[0015] В случае если необходимо поддерживать постоянное качество изображение с множества камер вокруг и внутри рабочей зоны с минимальной задержкой, технологии по распределенной передачи данных будет недостаточно, нужно организовывать распределенный прием данных несколькими базовыми станциями (несколькими видами базовых станций) внутри и вокруг рабочей зоны с использование собственной/измененной/комбинированной беспроводной технологией со 100% передачей данных по нескольким каналам связи и их последующей передачей на сервер, который находится на арене и далее передачей на пульт управления потоками на арене, или в передвижную ТВ-студию, или на экраны, расположенные на арене и так далее.

[0016] В существующих решениях в большей степени раскрывается система камер (носимые устройства) с передатчиками и важностью транслировать видео на базовую/базовые станции в тот момент, когда доступен канал передачи, но это не система сбора информации, которая устанавливается вокруг рабочей зоны, с носимых устройств или стационарного съемочного оборудования с подключаемым беспроводным транспондером с поддержанием качества выходного сигнала (аудио-видео и других типов), минимальной задержкой (менее 0,5 секунды) и бесперебойной работой.

Сущность изобретения

[0017] Изобретение относится к методу и системе передачи видео- и аудиоданных.

[0018] В одном аспекте предусмотрен способ потоковой передачи видеоконтента, включающий установление первого канала для потоковой передачи данных через первую радиосеть между удаленным транспондером и сервером через первую базовую станцию, причем транспондер принимает видеоданные от камеры; установление второго канала для потоковой передачи данных через вторую радиосеть между удаленным транспондером и сервером через вторую базовую станцию; на камере генерируется видеопоток и отправляется на транспондер; присваивается порядковый номер пакета каждому пакету в видеопотоке.; передача видеопотока от транспондера на сервер через первый канал в виде первого потока и через второй канал в виде второго потока, причем второй поток дублирует первый поток; на первом губке, соответствующей первой радиосети, прием радиоданных, представляющих первый поток, и отправка их на сервер в виде третьего потока; на втором губке, соответствующей второй радиосети, прием радиоданных, представляющих второй поток, и отправка их на сервер в виде четвертого потока.; на сервере, получая первый поток через первый канал и третий поток от первой губки; на сервере, получая второй поток через второй канал и четвертый поток от второй губки; для каждого пакета в каждом потоке, идентифицируя пакеты по их порядковому номеру, сохраняя первый полученный пакет с определенным порядковым номером и отбрасывая все оставшиеся пакеты с тем же порядковым номером; и объединяя сохраненные пакеты в результирующий видеопоток.

[0019] В качестве дополнительного варианта вышеописанный способ передачи видеоинформации включает в себя, на камере, генерацию аудиопотока и отправку аудиопотока на транспондер; присвоение порядкового номера пакета каждому пакету в аудиопотоке; передачу аудиопотока от транспондера на сервер через первый канал в качестве пятого потока и через второй канал в качестве шестого потока, причем шестой поток дублирует пятый поток; на первой губке прием радиоданных, представляющих пятый поток, и отправку их на сервер в качестве седьмого потока.; на второй губке прием радиоданных, представляющих шестой поток, и отправка их на сервер в виде восьмого потока; на сервере, прием пятого потока по первому каналу и седьмого потока от первого губки; на сервере, прием шестого потока по второму каналу и восьмого потока от второго губки; для каждого пакета в каждом потоке происходит идентификация пакетов по их порядковому номеру, сохранение первого принятого пакета с определенным порядковым номером и отбрасывание всех оставшихся пакетов с тем же порядковым номером.; далее объединение сохраненных пакетов аудиопотока в результирующий аудиопоток и объединение результирующего аудиопотока с результирующим видеопотоком.

[0020] В качестве дополнительной опции транспондер назначает временные метки аудио- и видеопакетам, и при этом сервер синхронизирует результирующий аудиопоток и результирующий видеопоток, используя временные метки. В качестве дополнительной опции сервер передает результирующий видеопоток конечным пользователям. В качестве дополнительной опции «губка» сканирует радиочастоты и сообщает серверу, какие каналы доступны для передачи видеопотока и аудиопотока. В качестве дополнительного варианта первой радиосетью является любая из UWB, 3G мобильной телефонной сети, LTE мобильной телефонной сети, 5G мобильной телефонной сети и WI-FI сети. В качестве дополнительного варианта вторая радиосеть представляет собой сеть WI-FI. В качестве дополнительного варианта WI-FI сеть модифицирована, чтобы (а) блокировать подтверждение приема пакетов внутри стандартного протокола WiFi и/или (б) работать на нестандартных диапазонах так, чтобы видеть только свои собственные камеры/транспондеры. В качестве дополнительной опции сервер стабилизирует результирующий видеопоток, чтобы удалить артефакты тряски. В качестве дополнительного варианта сервер принимает видео- и аудиопотоки от нескольких камер, причем каждая камера имеет свой собственный транспондер, и при этом все транспондеры используют первую и вторую радиосети. В качестве дополнительного варианта первый канал включает в себя первый модем, связанный с первой базовой станцией, второй канал включает в себя второй модем, связанный со второй базовой станцией. В качестве дополнительного варианта, первая и вторая губки являются физическими устройствами, которые перехватывают (слушают) трафик, который передается к первой и второй базовым станциям. В качестве дополнительного варианта транспондер представляет собой физическое устройство. В качестве дополнительного варианта транспондер представляет собой виртуальное устройство.

[0021] В качестве дополнительного варианта способ включает в себя на сервере, когда какой-либо пакет потерян, отправку запроса от сервера к транспондеру через первую радиосеть через первую базовую станцию и отправку того же запроса через вторую радиосеть через вторую базовую станцию для извлечения потерянного пакета; на транспондере, после получения запроса, поиск в очереди буфера отправки потерянного пакета по его порядковому номеру; на транспондере, если потерянный пакет найден в очереди буфера отправки, передача найденного пакета в позицию в очереди буфера отправки, подлежащую отправке перед любым другим пакетом в очереди буфера отправки; на сервере, если потерянный пакет получен, перемещение пакета в позицию в очереди буфера приема между пакетом с предыдущим порядковым номером и пакетом с последующим порядковым номером; на сервере, если потерянный пакет не получен, но все еще находится в пределах задержки, определенной сервером, отправка другого запроса транспондеру для извлечения потерянного пакета; на сервере, если потерянный пакет не получен и задержка превышена, выполняется поиск в очереди приемного буфера пакетов, помеченных как пакеты, связанные с ключевым кадром; на сервере, если в приемном буфере обнаружены какие-либо пакеты, связанные с ключевым кадром, и потерянный пакет не является пакетом, связанным с ключевым кадром, удаление всех пакетов из начала очереди приемного буфера до первого пакета, связанного с ключевым кадром, исключая первый пакет, связанный с ключевым кадром, причем первый пакет, связанный с ключевым кадром, является ближайшим к началу очереди приемного буфера; на сервере, если в приемном буфере не обнаружено пакетов, связанных с ключевым кадром, или если потерянный пакет является пакетом, связанным с ключевым кадром, удаление всех пакетов в очереди приемного буфера и отправка запроса генерации ключевого кадра на транспондер; и при этом все пакеты, полученные сервером после отправки запроса генерации ключевого кадра, которые не являются первым пакетом ключевого кадра, отбрасываются до получения первого пакета ключевого кадра.

[0022] В качестве дополнительной опции способ включает в себя на транспондере, когда запрос на генерацию ключевого кадра от сервера получен, поиск в очереди буфера отправки первого пакета, связанного с ключевым кадром, причем первый пакет, связанный с ключевым кадром, является одним из ближайших к началу очереди буфера отправки; на транспондере, если первый пакет, связанный с ключевым кадром, обнаружен в буфере отправки и находится в пределах задержки, удаление всех пакетов из начала очереди буфера отправки до первого пакета, связанного с ключевым кадром, исключая первый пакет, связанный с ключевым кадром; на транспондере, если первый пакет, связанный с ключевым кадром, не обнаружен в очереди буфера отправки или задержка превышена, выполняется поиск в очереди буфера кодирования ключевого кадра, который находится в пределах задержки, и при этом, если имеется более одного квалифицированного ключевого кадра, используется первый ключевой кадр, и при этом первый ключевой кадр является ближайшим к началу очереди буфера кодирования; на транспондере, если ключевой кадр найден в очереди буфера кодирования, удаляются все кадры между ключевым кадром и началом очереди буфера кодирования; на транспондере, если ключевой кадр не найден в очереди буфера кодирования, удаляют все кадры в очереди буфера кодирования и генерируют новый ключевой кадр.

[0023] Следует понимать, что как вышеприведенное общее описание, так и следующее подробное описание являются образцовыми и пояснительными и предназначены для предоставления дальнейшего объяснения заявленного изобретения.

Краткое описание чертежей

Чертежи, блок-схемы, иллюстрации, подробные описания алгоритмов представленные ниже предназначены лишь для иллюстрации и не являются ограничениями описываемого изобретения.

На чертежах:

[0024] Рисунок 1А. На рисунке представлена одна из возможных схем установки системы на спортивной арене.

[0025] Рисунок 1В. На рисунке представлена одна из возможных схем установки системы на спортивной арене с использованием предоставляемых (арендуемых) базовых станций (публичных) и собственных базовых станций.

[0026] Рисунок 2. На рисунке представлен один из вариантов реализации базовой станции с 3 сетевыми картами для организации 3 радиосетей.

[0027] Рисунок 3. На рисунке представлен один из вариантов реализации приемника-губки с 4 модемами.

[0028] Рисунок 4. На рисунке представлен вид с двух сторон на один из возможных вариантов исполнения носимого устройства с зажимами для кепки, которое устанавливается на козырек и может быть использовано в системе, представленной на рисунке 1А и 1В.

[0029] Рисунок 5. На рисунке представлен вид сверху, с двух сторон на одни из возможных вариантов исполнения носимого, универсального устройства для шлема, которое может быть использовано в хоккее и лакросс.

[0030] Рисунок 6. На рисунке представлен вид сверху и снизу на один из возможных вариантов исполнения носимого, универсального устройства для шлема (имеющего округлую поверхность без больших отверстий на верхней оконечности для крепления данного устройства).

[0031] Рисунок 7. На рисунке представлена блок-схема, на которой отражены этапы формирования и передачи контента от носимых устройств до главного сервера.

[0032] Рисунок 8. На рисунке представлена блок-схема серверной стороны, на которой отражены этапы приема и обработки контента от носимых устройств на главном сервере.

[0033] Рисунок 9А. На рисунке представлена одна из возможных схем обмена данными между носимыми устройствами (камерами) и базовыми станциями, используется две технологии радиодоступа WiFi и LTE и два модема, установленных в носимое устройство.

[0034] Рисунок 9В. На рисунке представлена одна из возможных схем обмена данными между носимым устройством (камерой) и базовыми станциями, используется три беспроводных канала WiFi 2.4 ГГц, WiFi 5 ГГц и LTE и три модема, установленных в носимое устройство.

[0035] Рисунок 10. На рисунке представлен вид спереди и сбоку на возможный вариант исполнения носимого устройства, встроенного в верхний, отстегиваемый слой шлема, который выполнен в виде плавника.

[0036] Рисунок 11. На рисунке представлен вид спереди, сбоку, сверху на возможный вариант исполнения носимого устройства, встроенного в верхний, отстегиваемый слой шлема, с двумя камерами, который выполнен в виде наплыва по затылочно-височной части шлема.

[0037] Рис 12. На рисунке представлен один из возможных вариантов обработки полученного изображения с двух камер, встроенных в носимое устройство, которое крепиться на шлем или установлено в последний слой шлема, для проведения горизонтальной стабилизации и получения конечного изображения.

[0038] Рис 13А. На рисунке представлен способ подключения стационарного съемочного оборудования с использованием отсоединяемого транспондера, внутри которого используется две технологии радиодоступа WiFi и LTE и два модема.

[0039] Рисунок 13В. На рисунке представлена одна из возможных схем обмена данными между стационарным съемочным оборудованием, подключаемым при помощи транспондера, и базовыми станциями, используется две технологии радиодоступа WiFi и LTE и два модема, установленных в транспондер, подключаемый к оборудованию.

[0040] Рисунок 14А. На рисунке представлена уточняющая схема формирования аудио-видео потока и его передача через несколько беспроводных сетевых интерфейса.

[0041] Рисунок 14В. На рисунке представлена схема распределенной сборки потока данных внутри первой беспроводной сети, которая развернута вокруг рабочей зоны, отправленного с носимого устройства через первый сетевой интерфейс (см. рисунок 14А)

[0042] Рисунок 14С. На рисунке представлена схема распределенной сборки потока данных внутри второй беспроводной сети, которая развернута вокруг рабочей зоны, отправленного с носимого устройства через второй сетевой интерфейс (см. рисунок 14А)

[0043] Рисунок 14D. На рисунке представлена схема конечной сборки потока данных, переданных через несколько сетевых интерфейсов и принятых несколькими радиосетями (см. рисунок 14А, 14В, 14С).

[0044] Рисунок 15. Иллюстрирует примерный компьютер или сервер, который может быть использован в изобретении.

Подробное описание наиболее предпочтительных вариантов осуществления изобретения

[0045] Далее будут подробно рассмотрены вариантах осуществления настоящего изобретения, примеры которых проиллюстрированы на прилагаемых чертежах.

[0046] Раскрытая здесь технология, устройства и система может применяться для передачи данных, а именно трансляции аудио-видео данных в реальном времени (задержка менее - 0,5 секунды), на основе разработанных алгоритмов, использующих передовые технологии для беспроводных каналов связи WiFi/LTE/UWB/3G/5G/другая технология и др., а также ИИ (искусственный интеллект) для улучшения изображения, стабилизации, распознавания; с монтируемых носимых устройств для головных уборов (шлем, бейсбольная кепка, головной убор), содержащих камеру (несколько камер), микрофон, использующих хотя бы две технологий для передачи данных, например, 2 модема одной/разными технологиями доступа (WiFi+LTE, WiFi+WiFi и т.д.), для установления нескольких одновременных соединений по которым возможна одновременная передача данных, Bluetooth наушник для связи с носящим, центральный процессор, аккумулятор и т.д.; и базовых станций (как минимум 2 типов) для связи и сбора информации с носимых устройств, - и со стационарных устройств, сопряженных с беспроводным отделяемым транспондером, содержащим не менее двух модемов, работающих на основе одной (например, WiFi+WiFi) или различных технологий (например, Wifi+LTE), для установления нескольких одновременных соединений по которым возможна одновременная передача данных.

[0047] Представленное изобретение может быть использовано на массовых мероприятиях (спортивные арены во время игр, охрана предприятий, охрана массовых мероприятий, индустрия развлечений: картинг, paint-ball, велогонки, поло, съемки теле-шоу, съемки концертных выступлений, непрерывная видеозапись и потоковое вещание через Интернет творческого процесса в студии или мастерской (музыка, искусство, ремесла и т.д.) с использованием двух или более беспроводных видеокамер для последующего коммерческого (на продажу), маркетингового или образовательного использования), обучение персонала на рабочих местах, помощь работникам на предприятии за счет удаленной поддержки со стороны эксперта. Следует понимать, что раскрытая здесь технология используется именно для возможной передачи и сбора аудио-видео данных в реальном времени (до 0,5 секунды), во время скопления людей (массовое мероприятие, работники на предприятии, работники силовых структур во время охраны мероприятий), с нескольких носимых устройств, работающих одновременно, передающих данные по нескольким одновременным беспроводным каналам передачи данных (модемам установленным внутри носимых устройств), транслирующих аудио-видео данные с постоянным качеством вне зависимости от местоположения внутри рабочей зоны, которые могут быть собраны распределенными базовыми станциями (как минимум 2 типов) и отправлены на главный сервер для обработки, где, полученные данные могут пройти дополнительную обработку на серверах, на которых может быть установлен разработанный искусственный интеллект для улучшения изображения (увеличения количества кадров, улучшения картинки, стабилизация) и, возможно, распознавания объектов, лиц, эмоций; далее с главного сервера данные могут быть отправлены потребителем (CDN, ТВ, др.)

[0048] На рисунке 1А представлена одна из возможных схем установки системы на спортивной арене. На других аренах могут применяться другие варианты развертывания. На рисунке 1А представлена площадка, спортивная арена во время игры, на которой развернута система для захвата аудио-видео данных со шлемов [101-107] и кепок [108-111]. В рассматриваемом случае это футбольные шлемы спортсменов и кепки судей, но варианты носимых устройств могут быть разными. Площадку окружают базовые станции двух типов: центральные точки доступа [121-124], которые имеют связь по беспроводным каналам с носимыми устройствами на шлемах и кепках [101-111], для управления ими и получения потока данных (аудио-видео) от них, и приемники [125-128] ("губки"), для дополнительного приема данных с носимых устройств [101-111], а также для анализа радиообстановки. В рассматриваемом варианте система замкнутая, используются собственные базовые станции [121-124, 125-128], но возможны и другие варианты использования базовых станций: публичные (WiFi), предоставляемые оператором связи (LTE, 5G).

[0049] Центральных точек доступа [121-124] и приемников [125-128] необязательно должно быть 4, их может быть, как меньше, так и больше в зависимости от количества используемых носимых устройств [101-111] и используемых технологий радиодоступа. Носимых устройств [101-111] в рабочей зоне необязательно должно быть 10, их может быть одно и более. Центральные точки доступа [121-124] и приемники [125-128] соединены с центральным коммутатором [130] по проводной локальной (LAN) сети, а он соединен с главным сервером [131] также по проводной локальной сети. Главный сервер [131] управляет носимыми устройствами [101-111], через центральные точки доступа [121-124] посредством радио интерфейсов.

[0050] К главному серверу [131] присоединены: планшет управления [132], сервер лицензирования [136], ферма декодирования и отображения [137], СДС [133] (Сеть доставки содержимого, Content Delivery Network/CDN). Сервер лицензирования [136] присоединен к системе через интернет [135] для контроля использования всей системы удаленно. Ферма отображения [137] может быть присоединена к передвижной телестудии [138] по коаксиальному кабелю, а мобильная телестудия [138] отправляет полученные аудио-видео сигналы на ТВ [139]. СДС/CDN [133] полученные аудио-видео данные отправляет на планшеты, телефоны, онлайн кинотеатры [134] через интернет.

[0051] На рисунке 1В представлена одна из возможных схем установки системы на спортивной арене с использованием предоставляемых (арендуемых) базовых станций (публичных) и собственных базовых станций. На других аренах могут применяться другие варианты развертывания. На рисунке 1В представлена площадка, во время мероприятия (спортивная арена, предприятие, концертная площадка), на которой развернута система для захвата аудио-видео данных со шлемов [101-107] и кепок [108-111]. В рассматриваемом случае это могут быть шлемы работников правоохранительных органов и головные уборы полицейских (фуражки, кепки), или шлемы и кепки спортсменов, или работников служб по обслуживанию оборудования, но варианты носимых устройств могут быть разными. Площадку окружают базовые станции 3 типов: первые центральные точки доступа [121, 122], которые предоставляются оператором связи или могут быть публичными (например, WiFi/LTE/5G), вторые - собственные центральные точки доступа на основе собственного WiFi [123, 124], и приемники [125-128] ("губки"), для дополнительного приема данных с носимых устройств [101-111], а также для анализа радиообстановки.

[0052] Приемники могут работать как с несколькими технологиями радиодоступа, используемых в центральных точках доступа, так и с одной или со всеми одновременно, в зависимости от беспроводных модемов установленных внутри приемником [125-128]. Центральные точки доступа [121-124] имеют двустороннюю связь по беспроводным каналам с носимыми устройствами на шлемах и кепках [101-111], для управления ими и получения потока данных (аудио-видео) от них, приемники [125-128] имеют одностороннюю связь и используются только для дополнительного сбора данных с носимых устройств [101-111]. В рассматриваемом варианте система не замкнутая, используются собственные базовые станции [123, 124, 125-128], и базовые станции [121, 122], которые могут быть как публичными, так и предоставляется операторами связи в пользование различных служб для проведения мероприятия, но возможны и другие варианты развертывания системы.

[0053] Центральных точек доступа [121-124] и приемников [125-128] необязательно должно быть 4, их может быть, как меньше, так и больше в зависимости от количества используемых носимых устройств [101-111] и используемых технологий радиодоступа. Носимых устройств [101-111] в рабочей зоне необязательно должно быть 10, их может быть одно и более.

[0054] Центральные точки доступа [123, 124] и приемники [125-128] соединены с центральным коммутатором [130] по проводной сети, а он соединен с главным сервером [131] также по проводной сети. Центральные точки доступа [121, 122] соединены с главным серверов [131] через интернет [135]. Главный сервер [131] управляет нашлемными устройствами [101-111], через центральные точки доступа [121-124] посредством радио интерфейсов. К главному серверу [131] присоединены: планшет управления [132], сервер лицензирования [136], ферма декодирования и отображения [137], СДС [133] (CDN - Content delivery network). Сервер лицензирования [136] присоединен к системе через интернет [135] для контроля использования всей системы удаленно. Ферма отображения [137] может быть присоединена к передвижной телестудии [138] по коаксиальному кабелю, а мобильная телестудия [138] отправляет полученные аудио-видео сигналы на ТВ [139]. СДС [133] (Content delivery network) полученные аудио-видео данные отправляет на планшеты, телефоны, онлайн-кинотеатры [134] через интернет.

[0055] На рисунках 4, 5, 6 представлены возможные варианты исполнения носимых устройств для головных уборов.

[0056] На рисунке 4 представлен вид с двух сторон на один из возможных вариантов исполнения носимого устройства с зажимами для кепки, которое устанавливается на козырек и может быть использовано в системе, представленной на рисунке 1А и 1В. Примерный вариант исполнения устройства для козырька кепки представлен на рисунке 4. Корпус устройства [403, 405] может быть выполнен из пластика или другого материала посредствам 3Д печати, литья под давлением и быть достаточно прочным чтобы защитить внутренние компоненты от ударов. Крепиться данное устройство может посредством специальных зажимов [411, 412] к козырьку кепки, зажимы могут иметь или нет специальные болты или зубчики для фиксации. Основные и самые тяжелые элементы: аккумулятор [481], процессорная плата [461], ДС-ДС (DC-DC) преобразователь [491], один из приемопередатчиков [432], микрофон [441], модуль камеры [451] максимально сдвинуты к голове, чтобы воздействие основного веса модуля носимого устройства было менее ощутимо носящему и причиняло меньше неудобств во время использования.

[0057] Скрепляться нижняя [403] и верхняя [405] части корпуса носимого устройства могут посредством соединительных болтов или еще каких либо зажимов [404]. Сенсор камеры [421] выдвинут максимально вперед для захвата лучшего изображения от первого лица и закреплен на держателе [422]. Внутри корпуса расположены 2 модема [431, 432] для обеспечения передачи аудио-видео данных и управления носимым устройством. Для запуска устройства и сброса имеются кнопки [472, 473], а для индикации работы имеются светодиоды [471]. Для лучшего качества сигнала могут использоваться выносные антенны [401].

[0058] На рисунке 5 представлен вид сверху, с двух сторон на одни из возможных вариантов исполнения носимого, универсального устройства для шлема, которое может быть использовано в хоккее и лакросс. Примерный вариант исполнения универсального устройства для шлема представлен на рисунке 5. Корпус устройства [511, 515, 514, 513] может быть выполнен из пластика или другого материалы посредствам 3Д печати, литья под давлением и быть достаточно прочным чтобы защитить внутренние компоненты от ударов. Крепиться корпус основного устройства может посредством специальных распорок, клейкой ленты, специального обода к верхнему краю шлема [551].

[0059] Универсальность в установке достигается за счет специального канала [514] сделанного в виде «хвоста лобстера», что позволяет подстроиться практически под любой вид шлема. Основные и самые тяжелые элементы: аккумулятор [525], процессорная плата [523], DC-DC преобразователь [523], приемопередатчики [531, 532], микрофон [524], модуль камеры [521], зарядное устройство [522] максимально сдвинуты к центру тяжести самого шлема, чтобы воздействие основного веса модуля носимого устройства было менее ощутимо носящему и причиняло меньше неудобств во время использования. Скрепляться нижняя [515] и верхняя [511] части корпуса шлема могут посредством соединительных болтов или еще каких либо зажимов. Сенсор камеры [501] выдвинут максимально вперед для захвата лучшего изображения и помещен в специальный противоударный корпус [513], который, может быть выполнен из алюминия или другого материала способного выдержать удар мяча или шайбы. Для лучшего качества сигнала могут использоваться выносные антенны [512].

[0060] На рисунке 6 представлен вид сверху и снизу на один из возможных вариантов исполнения носимого, универсального устройства для шлема (имеющего округлую поверхность без больших отверстий на верхней оконечности для крепления данного устройства). Примерный вариант исполнения универсального устройства для шлема (выполненного в едином корпусе) представлен на рисунке 6. Корпус устройства [601, 602, 603, 604] может быть выполнен из пластика или другого материалы посредствам 3Д печати, литья под давлением и быть достаточно прочным чтобы защитить внутренние компоненты от ударов. Крепиться корпус основного устройства может посредством специальных болтов, клейкой ленты, гибкого ремня, специального обода к верхнему краю шлема.

[0061] Универсальность в установке достигается за счет компактности устройства и небольшой кривизны, которая дает возможность монтировать устройство на любой шлем (имеющего гладкую и изогнутую поверхность на верхнем окончании). Все элементы: аккумулятор [623], процессорная плата [619], DC-DC преобразователь [612], приемопередатчики [621, 622], микрофон [614], камера [611], зарядное устройство [615], USB хаб [613], сигнальные диоды [616], кнопки включения и сброса [606], антенны [617] максимально сдвинуты к центру тяжести самого шлема, чтобы воздействие основного веса модуля носимого устройства было менее ощутимо носящему и причиняло меньше неудобств во время использования. Скрепляться нижняя [602] и верхняя [601] части корпуса шлема могут посредством соединительных болтов или еще каких либо зажимов, предварительно установив боковые части [603, 604]. Для лучшего качества сигнала могут использоваться выносные антенны [605, 617].

[0062] Возможные варианты носимых устройств [101-111] представленные на рисунках 4-6 должны быть легкими до 250 грамм, чтобы оказывать меньшее воздействие на носящего; переносимыми (монтироваться на шлем) для быстрой замены. В некоторых вариантах исполнения носимое устройство может быть заранее встроено в шлем (рис. 10), но при этом быть выполнено в виде наплыва [1004] и в отдельном слое [1002] и быть съемным (слой снимается/отстегивается автоматически/вручную в случае возгорания или каких-либо других происшествий или для замены устройства).

[0063] Все компоненты устройства, встроенного в отдельный слой, должны быть собраны вместе для уменьшения веса самого слоя и шлема. Сенсор камеры установлен на переднем окончании плавника [1001], вентиляционные отверстия [1003] обеспечат охлаждение устройства, а также радио прозрачность необходимую для используемых модемов. В другом варианте исполнения устройство в виде наплыва [1102], встроенного в последний слой шлема или монтируемое на шлем, может быть установлено по контуру шлема (затылочно-височная часть рис. 11), и компоненты распределены внутри наплыва, так, что вес распределяется по всему наплыву и не создает неудобств носящему.

[0064] В возможном варианте, представленном на рисунке 11, используется две камеры [1101] (имитация глаз), камеры расположены на том же уровне, что и глаза носящего или на небольшом удалении от них. Вентиляционные отверстия [1103] обеспечат охлаждение устройства, а также радио прозрачность необходимую для используемых модемов. Использование двух камер дает возможность захватывать и создавать 3Д видео поток, получать более широкий угол обзора до 240 градусов, или использовать как одну общую камеру, отрезая часть изображения от одной камеры, а часть от другой. Имея две камеры можно получить широкоформатный видеопоток, который позволяет сделать горизонтальную стабилизацию изображения, по захваченному изображению, перемещая плавающее окно по уже полученному изображению (рис. 12). Возможно использование большего количества камер, например, 4 (две снизу и две сверху), для создания большого окна из 4 захваченных изображений, по которому будет перемещать плавающее окно обеспечивая вертикальную и горизонтальную стабилизацию. Возможно использование 3 камер, где 2 располагаются у глаз, (рис 11), а дополнительная камера на затылке для получения видео 360 градусов. В некоторых вариантах исполнения носимых устройств [101-111] камер может быть 2 (каждая захватывает 180 градусов), которые расположены и в передней части устройства, и в задней для получения видео 360 градусов.

[0065] Устройства, выполненные в виде наплыва (рис. 10, 11) могут быть использованы в разных шлемах: футбольные, хоккейные, лакросс, шлемы правоохранительных органов или армейские. Если использовать устройства (камеры), которые встраиваются в шлем (корпус шлема или промежуточный слой) и элементы размещаются по всему корпусу шлема так, что нет дополнительных выступов на шлеме, то возникает потребность в дополнительных отверстиях: для охлаждения, для радио прозрачности, для сенсора камеры, для микрофона, для подключения зарядного устройства; все эти отверстия распределенные по периметру корпуса шлема ухудшают прочность конструкции шлема и в случае возникновения проблем с задымлением или возгоранием устройства, встроенные внутрь шлема (корпуса шлема) потребуют снятия всего шлема, что может быть критично для носящего. Если устройства выполнять в виде отдельного слоя, который одевается на шлем и все используемые элементы распределять внутри всего слоя так, что избавит от создания дополнительных выступов на шлеме, то увеличиться вес самого слоя, а значит и шлема, что в итоге, создаст неудобство для носящего. Также необходимо будет создавать вентиляционные отверстия для охлаждения, для радио прозрачности, для сенсора камеры, для микрофона, для подключения зарядного устройства; все эти отверстия распределенные по периметру корпуса промежуточного/конечного слоя ухудшают прочность конструкции слоя.

[0066] При монтировании устройства на шлем или в верхний, дополнительный слой шлема (автоматически или вручную отстегиваемый), где элементы собраны вместе (в виде наплыва) его проще снять и корпус шлема всегда защитит носящего в случае возникновения каких-либо проблем. Во всех случаях вес устройства внутри шлема (промежуточный слой или поверхностный слой с распределенными компонентами по поверхности всего шлема) будет больше из-за создания дополнительного каркаса и увеличения корпуса самого шлема (в объеме и весе), чем устройство, которое монтируется на шлем отдельно или в верхний слой в виде плавника (компоненты все собраны воедино) или наплыва. В спортивных состязаниях, где атлет передвигается за счет собственной силы, даже небольшой перевес может оказать на него негативное воздействие, также, как и для полицейских или других сотрудников каких-либо компаний, которыми используются носимые устройства.

[0067] Процессорная плата [461], [523], [619] может содержать SoC (система на чипе) с процессором ARM Cortex-A/M или Intel atom или др. для удовлетворения всех необходимых функций (подключение всех компонентов устройства, обработка захваченного звука/видео, передача через беспроводные модемы) и иметь небольшой размер для размещения внутри корпуса, также на плате может располагаться один или более модемов для передачи аудио-видео данных.

[0068] В носимом устройстве [101-111] датчик получения изображения [421], [501], [611] (датчик изображения CMOS) может быть цифровой датчик (камера) 8 мегапикселей для получения 4К изображения (3840×2160 пикселей). Также камера может поддерживать до 90 кадров в секунду для создания, замедленного видео, которое востребовано как в спорте, так и в других случаях. Если носимое устройство или камера не могут обеспечить достаточного количества кадров в секунду, они могут быть просчитаны/созданы на ферме отображения и декодирования [137] с помощью ИИ (искусственного интеллекта). Возможно использование различных вариантов цифровых датчиков [421], [501], [611] для захвата изображения (2МП, 4МП, 16МП и тд.) с поддержкой различных конфигураций: от 1 кадра в несколько секунд до 240 кадров в секунду, различные разрешения (720i/p, 1080i/p, 4K и тд.), предоставление захваченных изображений (видео потока) в различных форматах (RGB24/32, YCbCr 420/422/444 и тд.), настройка различных параметров (баланс белого, глубина цвета, частота срабатывания затвора и др.).

[0069] Цифровые датчики могут состоять из нескольких компонентов (рис. 4): датчик обработки захваченного изображения [451] может быть отделен от сенсора [421], который захватывает изображение. Цифровых датчиков для захвата изображения может быть использовано несколько в одном устройстве для создания, например, VR видео (360 градусов) или для стабилизации изображения. Цифровой датчик может совмещен с оптическим стабилизатором изображения для получения улучшенного изображения (без резких смещений, тряски). В носимом устройстве датчик получения звука - микрофон [441], [524], [614], может быть любой подходящий микрофон, захватывающий окружающий звук и передающий на процессорную плату [461], [523], [619] либо аналоговый, либо цифровой сигнал для дальнейшей обработки. Количество микрофонов может быть разным для получения стереозвука или моно. Процессорная (материнская) плата [461], [523], [619] производит обработку полученного видеопотока от датчика для захвата изображения [421], [501], [611], а именно может быть произведена стабилизация видеопотока, кодирование известными кодеками (Н.264, Н.265, MJPEG или другими), улучшение изображения и другие преобразования.

[0070] Все компоненты носимых устройств следует размещать в одном корпусе, за исключением камеры, хотя в некоторых вариантах камера может размещаться также в едином корпусе, чтобы упростить переносимость устройства между шлемами, уменьшения веса и для безопасности. Время работы от аккумулятора должно быть достаточным чтобы удовлетворять необходимому промежутку времени работы (от одного часа). Носимое устройство может иметь модуль заряда и быть быстросменным (не более 3 минут). Количество беспроводных каналов, используемых для передачи данных в носимых устройствах, может быть любым, но не менее двух (в каждом устройстве) между носимыми устройствами [101-111] и базовыми станциями [121-124, 125-128]. В качестве второго или третьего модема может выступать WiFi/LTE/5G или другой передатчик, установленный на процессорной плате. Использование внешних антенн [402, 512, 605] может улучшить качество радиосигнала, а значит улучить качество передаваемого сигнала (аудио-видео), уменьшить количество ошибок, уменьшить количество перезапросов потерянных пакетов, уменьшить количество базовых станций размещаемых вокруг рабочей зоны.

[0071] Носимое устройство может быть оснащено слотом для сменной карты памяти для сохранения полученных аудио-видео данных. Носимые устройства [101-111] могут иметь GPS/Глонас или другие датчики геопозиционирования для отслеживания перемещения тех или иных носимых устройств. Для определения геопозиции того или иного носимого устройства [101-111] внутри рабочей зоны (если рабочая зона открыта - без крыши), полученные данные от датчиков геопозиционирования совместно с обрабатываемыми аудио-видео данными приходящими от базовых станций [121-124, 125-128] (качество сигнала от каждого носимого устройства на базовой станции и объем данных проходящих через каждую базовую станция в определенный момент времени) позволят более точно определить координаты того или иного носимого устройства [101-111].

[0072] Данные позиционирования совместно или по отдельности с работой ИИ (искусственного интеллекта), для распознавания движения, могут быть использованы для включения/выключения трансляции, например, выхода игрока на поле или сотрудника. Для предотвращения возгорания устройства в случае разрушения устройства из-за внешнего воздействия, носимые устройства могут быть оснащены датчиком дыма/огня, который вызывает срабатывание устройства моментального тушения или включать в себя огнезащитные материалы, огнестойкие материалы, амортизирующие материалы и тому подобные. Аккумуляторная батарея может быть дополнительно конструктивно защищена от механического повреждения для предотвращения возгорания.

[0073] На рисунках 2 и 3 представлены возможные варианты исполнения базовых станций. На рисунке 2 представлена одна из возможных конструкций базовой станции используемой в качестве центральной точки доступа [121-124] состоящей из: корпуса [201, 202], который может быть выполнен из пластика или другого материалы, посредством 3Д печати или литья под давлением или любым другим способом, антенны, состоящие из держателей [203-205], антенных элементов [241-243], и высокочастотных кабелей [206] идущих от радиокарт [221-223], присоединенных к материнской плате [241]; на материнской плате может располагаться несколько Ethernet (протокол передачи данных) разъемов [231, 232], которые обеспечивают подключение базовой станции к сети и соединения с главным сервером [131]. Материнских плат [241] может быть установлено несколько в одном корпусе [201, 202], это могут быть материнские платы для WIFI 2.4-5-60 ГГц технологии радиодоступа или другой технологии радиодоступа.

[0074] Следует понимать, что в настоящем изобретении, одновременно будет использоваться несколько параллельных/агрегированных беспроводных каналов связи, для обеспечения многоточечной связи. Радиокарт [221-223] в материнской плате [241] может быть установлено различное количество в зависимости от количества носимых устройств [101-111] в рабочей зоне (поле). Приведенные в качестве примера варианты базовых станций используют направленные антенны с рефлекторами. Антенны направляются на области рабочей зоны, на которых требуется обеспечить двустороннюю связь с транслируемыми аудио-видео данными носимыми устройствами. Современное оборудование использует технологию MIMO, что дает возможность использования в два раза больше антенн на каждой точке доступа или беспроводном модеме. Такая конфигурация позволяет повысить качество работы радиосистемы. Однако, возможны другие варианты расположения радиооборудования (например, на подвесе над ареной, на осветительном оборудовании и пр.), которые могут потребовать использования других типов антенн, в частности всенаправленных.

[0075] На рисунке 3 представлен другой возможный вариант исполнения базовой станции, используемой как приемник [125-128] ("Губка") для дополнительного сбора данных с носимых устройств [101-111] и анализа радиообстановки. Приемники [125-128] состоят из корпуса [341, 342], материнской платы [331], USB разъемов [381], установленных на материнской плате [331] и используемых для подключения модемов [311-314]; Ethernet разъема [321], используемого для подключения к локальной сети для соединения с главным сервером [131]; к корпусу приемника [125-128] присоединены держатели антенн и модемов [361, 362], внутри которых проложены кабели питания и данных для модемов [311-314] и высокочастотные кабели для антенн [301-304]. Антенны, также, как и в центральных точках доступа [121-124] на рисунке 2 могут быть различные (направленные, узконаправленные, всенаправленные) в зависимости от расположения устройства. Следует понимать, что в настоящем изобретении, в большинстве случаев одновременно будет использоваться несколько различных модемов для беспроводного доступа, например, WiFi 2,4 ГГц и WiFi 5 ГГц, WiFi 5 ГГц и WiFi 60 ГГц, WiFi 5 ГГц и UWB или другие комбинации.

[0076] Количество модемов [311-314] может быть 3 и более в зависимости от количества работающих носимых устройств [101-111] и используемых одновременно для параллельной передачи данных, агрегации каналов. В зависимости от количества используемых технологий радиодоступа внутри системы (WiFi/LTE/5G), количество модемов, установленных внутри приемников может быть, как меньше, так и соответствовать количеству используемых радио технологий для обеспечения сбора данных со всех используемых носимых устройств.

[0077] Одним из основных аспектов раскрываемым в этом документе является использование нескольких беспроводных каналов связи (мульти-сетевое соединение) между носимым устройством и сервером. В одном из случаев это может быть два или более модемов, установленных внутри носимого устройства, которые способны поддерживать 2 и более одновременных соединения с возможностью передачи данных по обоим. Это позволит обеспечить многоточечную связь между носимым устройствами и сервером приема данных для обеспечения нескольких параллельных/агрегированных каналов связи; для обеспечения бесперебойной работы в случае ошибок на одном канале; для обеспечения распределенного приема данных. Также важным аспектом раскрываем в данном документе является распределенный примем данных(скоординированная многоточечная связь), когда данные переданные через один из модемов (одна технология радио доступа) будут приняты одной или несколькими центральными точками доступа, а также приняты дополнительными точками доступа (губками), что позволит получить несколько одновременных одинаковых потоков данных на сервер, что в случае потери данных на одном из направлений будут компенсированы принятыми данным по другому пути дополнительной точкой доступа (губкой) - координированная передача/прием данных.

[0078] Используя эти технологии можно обеспечить более стабильную, качественную передачу данных/контента с минимальной задержкой и меньшим количеством ошибок. Многоточечная связь между носимыми устройствами [101-111] и базовыми станциями [121-124, 125-128] позволяет принимать передаваемые данные с носимых устройств [101-111] одновременно на нескольких базовых станциях [121-124, 125-128], в зоне действия которых находится то или иное носимое устройство [101-111]; одни базовые станции [121-124] выступают в роли центральных и имеют двустороннюю связь с носимыми устройствами [101-111], а другие базовые станции [125-128] выступают в роли приемников и только принимают дополнительные данные от носимых устройств [101-111] и отправляют их на главный сервер [131].

[0079] На рисунке 9А представлен один из возможных вариантов развертывания системы с использование двух технологий радиодоступа WiFi и LTE, которые используются одновременно/параллельно. В рассматриваемом варианте в носимом устройстве используется 2 модема WiFi и LTE. Носимое устройство [901] находится в верхней части рабочей зоны и может установить связь с 3 центральными точками [921, 922, 924], через которые происходит обмен данными с главным сервером [131] в обоих направлениях (двусторонняя связь). Распределенные приемники [927, 928] могут обеспечить дополнительный прием данных, которые были отправлены с носимого устройства [901], далее эти данные передаются на главный сервер [131] для обработки. Главный сервер [131] получает несколько потоков одних и тех же данных от одного носимого устройства [901] и, отбрасывая повторы, на выходе получается стабильный аудио-видео поток.

[0080] По мере перемещения устройства потоков данных, приходящих на главный сервер может быть от 4 и более в зависимости от месторасположения устройства. Носимое устройство [902] находится в другой части рабочей зоны и может установить двустороннюю связь с центральными точками доступа [922, 923], и также отправленные данные с носимого устройства могут быть получены дополнительными точками доступа приемниками [925, 926] и после отправлены на главный сервер [131] для обработки.

[0081] Использование двух параллельных, высокоскоростных, беспроводных канала данных позволяет избежать проблем с которыми сталкиваются устройства работающие только с одним высокоскоростным каналом данных, а именно: не стабильный сигнал от носимых устройств до главного сервера (пропадание связи во время резкого перемещения или перекрытия другим объектов или субъектом, попадание в зону радиотени); множественные повторы, потерянных пакетов данных (дейтограмм); возрастающая задержка, в случае множественных перезапросов; недостаточная пропускная способность, в случае перемещения всех используемых, носимых устройств в одну часть рабочей зоны или увеличения числа носимых устройств (в момент выхода всех игроков со скамейки запасных или увеличения числа работников внутри рабочей зоны, использующих устройства).

[0082] Проблемы могут возникнуть из-за плохого соотношения сигнал/шум - SNR (signal to noise ratio), что может быть вызвано внешними помехами и использованием перекрывающихся частот (перекрывающиеся частоты могут быть использованы в случае развертывания системы с множеством носимых устройств в условиях ограниченности доступных частот для работы). Если использовать несколько технологий радиодоступа, как показано на рисунке 9А, то прерывания в связи на одном канале будут компенсированы передачей на другом канала - потерянные данные, переданные по одному каналу будут доставлены по другому беспроводному каналу.

[0083] Использование двух и более беспроводных каналов в системе позволит избежать проблем в случае возникновения помехи на той частоте, которая используется одним из беспроводных каналов - потерянные данные, переданные по одному каналу будут доставлены по другому беспроводному каналу; использование двух и более беспроводных каналов связи одновременно в одном носимом устройстве позволит, не прерывая передачи аудио-видео данных от носимого устройства, перестраиваться между частотами, перестраивая сначала один модем (канал) на новую частоту, затем другой.

[0084] Множественный примем на двух типах распределенных базовых станций (центральные и приемники) позволяет избежать проблем в случае если какие-либо пакеты/дейтограммы были потеряны из-за попадания носимого устройства в зону радиотени или перекрытия другим объектом или субъектом; если данные все-таки были потеряны, несмотря на все попытки избежать этого, то пакеты с данными управления также через несколько центральных точек доступа будут доставлены на носимое устройство и вызовут срабатывание определенной инструкции по перезапросу данных или сбрасывания буфера. Использование двух и более беспроводных канала для приема данных от центральных точек доступа на носимом устройстве позволит принимать два и более потоков с данными управления, что повышает надежность канала управления.

[0085] На рисунке 9В показан еще один из возможных вариантов развертывания системы с использование трех беспроводных каналов WiFi 2.4 ГГц, WiFi 5ГГц и LTE. Носимое устройство [901] имеет на борту три модема беспроводной связи, аналогичных используемым технологиям. Носимое устройство [901] находясь в верхней части рабочей зоны может установить двустороннюю связь с тремя распределенными центральными точками доступа [921, 922, 924], а также, данные переданные носимым устройством [901] могут быть приняты распределенными приемниками «губками» [927, 928] и направлены главному серверу [931] для обработки. Во время использования трех и более модемов внутри одного носимого устройства можно распределить нагрузку следующим образом: два модема могут быть использованы для передачи только видео данных (параллельно), а третий модем для передачи аудио данных и перезапрашиваемых (потерянных) видео данных. Все три модема могут быть использованы для параллельной передачи данных, получения более стабильного потока, что уменьшает вероятность пропадания передающихся данных от носимых устройств до главного сервера.

[0086] В другой варианте два модема могут передавать параллельно потоки аудио-видео данных, но в случае, если качество сигнала одного из модемов до базовой станции (центральной) становится низким или по этому беспроводному каналу возникает множество ошибок, то один из потоков данных может быть переключен на третий модем и второй модем останется в резерве. Согласно еще одному варианту, нагрузка на модем может быть распределена следующим образом: 100% данных передаются через первый модем, 70% данных передаются через второй модем, а повторы и управляющие сигналы передаются через третий модем. Когда несколько технологий радиодоступа, наряду с несколькими беспроводными модемами, соответственно используются внутри одного носимого устройства одновременно/параллельно, можно охватить большие или сложные зоны без потерь соединения. Покрытие должно быть спланировано таким образом, чтобы носимое устройство всегда имело устойчивое соединение с сервером, и пользователями и обеспечивало их стабильным аудио- и видеопотоком, где бы оно ни находилось в рабочей зоне.

[0087] В одном из возможных вариантов система может быть развернута на спортивной арене с использованием собственных базовых станций [121-124, 125-128] (замкнутая система) для сбора данных и обменом информацией с носимыми устройствами [101-111] (Рис. 1А). Базовые станции [121-124, 125-128] могут быть установлены на стойках около игрового поля, в середине арены на бортах или сразу за ними (рядом со зрителями), или быть подвешены над ареной (на Кубе с экранами или под крышей). В одном из вариантов системы внутри носимых устройств [101-111] установлены два WiFi модема [431, 432], [531, 532], [621, 622]. Модемы могут быть различные WiFi/LTE/3G/UWB/5G, а также различные их комбинации WiFI+WIFi, WiFi+LTE, UWB+WIFI+LTE и разное количество, но не менее двух (два канала передачи данных).

[0088] На приемниках [125-128] всегда установлено не менее 3 модемов [311-314], два из них используются для сбора данных с активного носимого устройства [101-111], а один (так как используется одна технология радиодоступа) для сканирования радиообстановки и сообщения главному серверу [131] какие частоты (менее зашумленные) возможно использовать для работы в выделенный промежуток времени. Количество приемников [125-128] в рабочей зоне всегда минимум 2 для корректного сбора данных. В системе может быть планшет управления/компьютер [132], который имеет рабочий интерфейс для настройки носимых устройств [101-111], центральных точек доступа [121-124] и приемников [125-128]. С помощью планшета управления [132] можно диагностировать исправность и целостность системы в целом и всех компонентов по отдельности, контролировать различные настройки носимых устройств [101-111]: баланс белого, глубину картинки, разрешение, количество кадров в секунду, включать/выключать передачу данных и др.; выставлять различные параметры на базовых станциях [121-124] и приемниках [125-128]: количество носимых устройств, рабочие частоты и др.

[0089] Также на планшете управления [132] можно предварительно просматривать изображение с любого носимого устройства, подключиться к любому носимому устройство посредством аудио связи и переговариваться с носящим. В момент первого включения системы, планшет управления [132], запрашивает через главный сервер [131] приемники [125-128] информацию о частотах, на которых наиболее благоприятна помеховая обстановка. Все носимые устройства [101-111] в момент первого включения переходят на частоту, используемую для настройки и ждут команды от планшета управления [132] о перестроении. После получения рабочих частот, носимые устройства [101-111] могут быть использованы внутри рабочей зоны. В дальнейшем за перестроение частот, во время работы системы, отвечает специальный алгоритм внутри главного сервера [131], который через определенный промежуток времени запрашивает информацию у приемников [125-128] о текущей помеховой обстановке.

[0090] Носимые устройства [101-111], центральные точки доступа [121-124] и приемники [125-128] готовы для работы, после выставления им рабочих частот с планшета управления [101-111]. После готовности всей системы с планшета управления [132] происходит запуск всех носимых устройств и аудио-видео данные начинают поступать на главный сервер [131]. Главный сервер [131] соединен с фермой отображения [137]. Ферма отображения [137] состоит из нескольких серверов, на которых может происходить перекодирование аудио-видео данных, улучшение изображения на счет ИИ искусственного интеллекта (увеличение количества кадров, стабилизация изображения, улучшение изображения: повышение разрешения, глубины картинки и т.д.), распознавание объектов, лиц, движения. Полученные данные на главном сервере [131], прошедшие обработку на ферме отображения [137] могут быть отправлены в СДС [133], далее на любые устройства потребителям, либо через ферму отображения [137] на передвижную телестудию [138], далее на ТВ, либо через главный сервер [131] потребителям через интернет или с помощью дополнительных WiFi точек на стадионе/поле зрителям.

[0091] Главный сервер [131] соединен с сервером лицензирования [136] через интернет [135]. Сервер лицензирования [136] контролирует каждое носимое устройство [101-111]: проверяет оставшееся время работы каждого устройства (оплаченное время работы), расположение всей системы (правильность использования системы), а также позволяет контролировать все те функции, что и планшет управления [132], но удаленно. Во время работы системы приемники [125-128] могут передать информацию на главный сервер [131], что одна из частот, на которой работает носимое устройство стала недоступной или появились помехи и необходимо перестроиться. Главный сервер [131] через центральные точки доступа [121-124] передает управляющий сигнал: на один или несколько приемников [125-128] о необходимости перестроить один или несколько модемом [431, 432], [531, 532], [621, 622] на новую частоту. Носимое устройство [101-111] переходит на новую частоту поэтапно, без прерывания в вещании, сначала перестраиваться один модем, затем другой.

[0092] Одним из аспектов раскрываемым в данном документе является использование стандартной технологии радиодоступа WiFi с изменениями для применения на в местах скопления людей. В одном из вариантов исполнения для улучшения работы системы и уменьшения помех от других устройств присутствующих внутри рабочей зоны (фанаты с телефонами, рабочие, люди, другие радиоустройства) стандартная разбивка частот, применяемая для WiFi, а именно полосы по 20/40/60 и др. МГц, может оказаться не пригодна для использования во время большого скопления людей из-за создаваемых помех, возможных подключений к базовым станциям и ее перегрузки декодированием данных, полученных с «не своих устройств». Поэтому в описанном изобретение стандартные полосы частот могут быть сдвинуты на несколько мегагерц относительно стандартной разбивки частот. (5120 МГц -> 5130 МГц; 5180 МГц -> 5185 МГц)

[0093] Также могут использоваться закодированные стандартные пакеты WiFi (beacon, probe request, и др.) протокола для защиты и уменьшения нагрузки на базовые станции декодированием «чужих» данных полученных с множества устройств, находящихся внутри или около рабочей зоны. Возможное использование изменений совместно или по отдельности: закодированные пакеты стандартного протокола WiFi и смещение по частоте, позволят базовым станциям [121-124, 125-128] видеть только «свои» носимые устройства [101-111] работающие на установленной частоте (сдвинутой) с закодированными WiFi пакетами. Для уменьшения задержки передаваемых данных от носимых устройств [101-111] к базовым станциям [121-124, 125-128] могут быть использованы изменения в стеке WiFi протокола, например, отключены подтверждения по приему пакетов в ядре WiFi протокола. Вместо стандартных подтверждения о доставке внутри протокола WiFi (между базовыми станциями [121-124] и носимыми устройствами [101-111]) могут быть использованы собственные алгоритмы доставки как с подтверждением, так и без подтверждения, a WiFi или другая технология радиодоступа может использоваться только как инструмент не гарантирующий доставки данных от носимого устройства [101-111] до главного сервера [131].

[0094] В одном из возможных вариантов система может быть развернута на спортивной арене с использованием собственных базовых станций [121-124, 125-128] (замкнутая система) для сбора данных и обменом информацией с носимыми устройствами [101-111] (Рис. 1А). Базовые станции [121-124, 125-128] могут быть установлены на стойках около игрового поля, в середине арены на бортах или сразу за ними (рядом со зрителями), или быть подвешены над ареной (на Кубе с экранами или под крышей). В одном из вариантов системы внутри носимых устройств [101-111] установлены 2 модема: WiFi и LTE модема [431, 432], [531, 532], [621, 622]. На приемниках, в этом варианте исполнения [125-128] будет установлено не менее 4 модемов (в зависимости от количества носимых устройств) [311-314]: два из них используются для сбора данных с активного носимого устройства [101-111], а два (так как используется две различные технологии радиодоступа) для сканирования радиообстановки и сообщения главному серверу [131] какие частоты возможно использовать для работы в выделенный промежуток времени.

[0095] Количество приемников [125-128] в рабочей зоне всегда минимум два для корректного сбора данных. В системе может быть планшет управления/компьютер [132], который имеет рабочий интерфейс для настройки носимых устройств [101-111], центральных точек доступа [121-124] и приемников [125-128]. С помощью планшета управления [132] можно диагностировать исправность и целостность системы в целом и всех компонентов по отдельности, контролировать различные настройки носимых устройств [101-111]: баланс белого, глубину картинки, разрешение, количество кадров в секунду, включать/выключать передачу данных и др.; выставлять различные параметры на базовых станциях [121-124] и приемниках [125-128]: количество носимых устройств, рабочие частоты и др. Также на планшете управления [132] можно предварительно просматривать изображение с любого носимого устройства, подключиться к любому носимому устройство посредством аудио связи и переговариваться с носящим.

[0096] В момент первого включения системы, планшет управления [132], запрашивает через главный сервер [131] приемники [125-128] информацию о частотах, на которых наиболее благоприятна помеховая обстановка. Все носимые устройства [101-111] в момент первого включения переходят на частоту, используемую для настройки и ждут команды от планшета управления [132] о перестроении. После получения рабочих частот, носимые устройства [101-111] могут быть использованы внутри рабочей зоны. В дальнейшем за перестроение частот, во время работы системы, отвечает специальный алгоритм внутри главного сервера [131], который через определенный промежуток времени запрашивает информацию у приемников [125-128] о текущей помеховой обстановке.

[0097] Носимые устройства [101-111], центральные точки доступа [121-124] и приемники [125-128] готовы для работы, после выставления им рабочих частот с планшета управления [132]. После готовности всей системы с планшета управления [132] происходит запуск всех носимых устройств и аудио-видео данные начинают поступать на главные сервер [131]. Главный сервер [131] соединен с фермой отображения [137]. Ферма отображения [137] состоит из нескольких серверов, на которых может происходить перекодирование аудио-видео данных, улучшение изображения на счет ИИ искусственного интеллекта (увеличение количества кадров, стабилизация изображения, улучшение изображения: повышение разрешения, глубины картинки и т.д.), распознавание объектов, лиц, движения.

[0098] Полученные данные на главном сервере [131], прошедшие обработку на ферме отображения [137] могут быть отправлены в СДС [133], далее на любые устройства потребителям, либо через ферму отображения [137] на передвижную телестудию [138], далее на ТВ. Главный сервер [131] соединен с сервером лицензирования [136] через интернет [135], который контролирует каждое носимое устройство [101-111]: проверяет оставшееся время работы каждого устройства (оплаченное время работы), расположение всей системы (правильность использования системы), а также позволяет контролировать все те функции, что и планшет управления [132], но удаленно. Во время работы системы приемники [125-128] могут передать информацию на главный сервер [131], что одна из частот или обе, на которой работает носимое устройство стала недоступной или появились помехи и необходимо перестроится.

[0099] Главный сервер [131] через центральные точки доступа [121-124] передает управляющий сигнал: на один или несколько приемников [125-128] о необходимости перестроить один или несколько модемом [431, 432], [531, 532], [621, 622] на новую частоту. Носимое устройство [101-111] переходит на новую частоту поэтапно, без прерывания в вещании, сначала перестраиваться один модем, затем другой.

[00100] В другом возможном варианте система может быть развернута для охраны массового мероприятия и использования правоохранительными органами или для проведения спортивного мероприятия (Рис. 1В). В рассматриваемом варианте система сбора данных с носимых устройств не замкнута, так как две центральные точки доступа [121, 122] используют публичные сети (это может быть WIFI, LTE, 3G и другая сеть), а две другие центральные точки доступа [123, 124] используют собственные технологии радиодоступа (это может быть WiFi, LTE и другие), которые могут быть установлены в машинах, на зданиях или других местах. В приемниках [125-128], установленных вокруг рабочей зоны, например, на зданиях или в машинах/на машинах, в рассматриваемом варианте развертывания, могут быть установлены модемы для сбора данных отправленных как на центральные точки доступа [121, 122], так и на центральные точки доступа [123, 124] или их комбинация.

[00101] В носимых устройствах [101-111] также используется два беспроводных приемопередатчика для связи и передачи данных главному серверу [131] по обоим путям через центральные точки доступа [121, 122] и [123, 124]. В системе может быть планшет управления/компьютер [132], который имеет рабочий интерфейс для настройки носимых устройств [101-111], центральных точек доступа [123, 124] и приемников [125-128]. Центральные точки доступа [121, 122] публичные и контролировать их можно, в случае предоставлением оператора связи функций для взаимодействия.

[00102] С помощью планшета управления [132] можно диагностировать неисправность и целостность системы в целом и всех компонентов по отдельности, контролировать различные настройки носимых устройств [101-111]: баланс белого, глубину картинки, разрешение, количество кадров в секунду, включать/выключать передачу данных и др.; выставлять различные параметры на базовых станциях [123, 124] и приемниках [125-128]: количество носимых устройств, рабочие частоты и др. Также на планшете управления [132] можно предварительно просматривать изображение с любого носимого устройства, подключиться к любому носимому устройство посредством аудио связи и переговариваться с носящим (дуплексная аудиосвязь). В момент первого включения системы, планшет управления [132], запрашивает через главный сервер [131] приемники [125-128] информацию о частотах, на которых наиболее благоприятна помеховая обстановка.

[00103] Информация о помеховой обстановке запрашивается только для технологии радиодоступа используемой внутри системы (центральные точки [123, 124], для центральных точек [121, 122] используются установленные частоты оператором связи или инженером точек). Все носимые устройства [101-111] в момент первого включения переходят на частоту, используемую для настройки и ждут команды от планшета управления [132] о перестроении. После получения рабочих частот, носимые устройства [101-111] могут быть использованы внутри рабочей зоны. В дальнейшем за перестроение частот, во время работы системы, отвечает специальный алгоритм внутри главного сервера [131], который через определенный промежуток времени запрашивает информацию у приемников [125-128] о текущей помеховой обстановке.

[00104] Носимые устройства [101-111], центральные точки доступа [123, 124] и приемники [125-128] готовы для работы, после выставления им рабочих частот с планшета управления [101-111]. После готовности всей системы с планшета управления [132] происходит запуск всех носимых устройств и аудио-видео данные начинают поступать на главный сервер [131]. Часть данных от носимых устройств [101-111] поступает от внутренних центральных точек доступа [123, 124] и приемников [125-128] по сети LAN на главный сервер [131], а часть данных от внешних центральных точек доступа [121, 122] поступает через интернет [135] сразу на главный сервер [131] миную локальную сеть. Главный сервер [131] соединен с фермой отображения [137]. Ферма отображения [137] состоит из нескольких серверов, на которых может происходить перекодирование аудио-видео данных, улучшение изображения на счет искусственного интеллекта (увеличение количества кадров, стабилизация изображения, улучшение изображения: повышение разрешения, глубины картинки и т.д.), распознавание объектов, лиц, движения.

[00105] Полученные данные на главном сервере [131], прошедшие обработку на ферме отображения [137] могут быть отправлены в CDN/СДС [133], далее на любые устройства потребителям, либо через ферму отображения [137] на передвижную телестудию [138], далее на ТВ. Главный сервер [131] соединен с сервером лицензирования [136] через интернет [135], который контролирует каждое носимое устройство [101-111]: проверяет оставшееся время работы каждого устройства (оплаченное время работы), расположение всей системы (правильность использования системы), а также позволяет контролировать все те функции, что и планшет управления [132], но удаленно.

[00106] Во время работы системы приемники [125-128] могут передать информацию на главный сервер [131], что частота, на которой работает носимое устройство стала недоступной или появились помехи и необходимо перестроится. Главный сервер [131] через центральные точки доступа [123, 124] передает управляющий сигнал на одно из носимых устройств [101-111], что необходимо перестроить один из модемов на новую частоту. Во время работы системы частоты, используемые центральными точками доступа [121, 122] могут быть изменены (инженером, оператором связи и т.д.). Главный сервер [131] может передать сигнал на приемники [125-128] через локальную сеть о том, что центральные точки доступа (публичные) [121, 122] перешли на новую частоту и несколько модемов внутри приемников [125-128] и один из модемов внутри носимых устройств [101-111] необходимо перевести на новую частоту.

[00107] К каждому носимому устройству может прилагаться Bluetooth наушник или проводная гарнитура для установления полнодуплексной аудиосвязи с носящим. В одном из вариантов исполнения переговариваться с пользователем носимого устройства возможно через планшет управления. На планшете управления [132] может быть установлен микрофон, который захватывает окружающие звуки, кодирует и через главный сервер отправляет их на носимое устройство [101]. На носимом устройстве [101] полученные данные переупаковываются и по средствам Bluetooth радиотехнологии передаются на Bluetooth наушник, установленный внутри уха носящего, полученные данные декодируются и воспроизводятся встроенным динамиком внутри наушника. В случае использования проводной гарнитуры, на носимом устройстве [101] данные полученные с планшета [132] декодируются и воспроизводятся для носящего. Аудиоданные, в том числе и голос носящего, окружающие шлем захватываются микрофоном (несколькими микрофонами), установленным внутри носимого устройства [101-111], и через беспроводные каналы связи (модемы внутри носимых устройств) параллельно, или разными путями, часть через один модем, часть через другой, передаются на главный сервер [131], далее на планшет управления [132], полученные данные декодируются и воспроизводятся встроенным динамиком внутри планшета управления [132]. В качестве управляющего планшета управления может использоваться смартфон с достаточным размером экрана.

[00108] В другом возможном варианте исполнения ферма отображения [137] может состоять из серверов, которые помимо декодирования, улучшения данных с помощью искусственного интеллекта (распознавания) могут отображать эти данные на экранах, присоединенных к ферме отображение. К серверам фермы отображения [137] могут быть присоединены наушники и микрофоны (в том числе и в виде Bluetooth гарнитур) для установления полнодуплексной аудиосвязи с каждым носимым устройством [101-111]. Такой вариант системы может быть использован: на тренировках команд, где тренер может отслеживать передвижение спортсменов на экранах серверов фермы отображения [137] и давать им указания по средствам дуплексной аудиосвязи; во время массовых мероприятий для связи с охранниками/полицейскими и на других объектах. Аудиоданные с микрофонов серверов фермы отображения [137] кодируются и передаются на носимые устройства [101-111] через центральные точки доступа [121-124]. На носимых устройствах [101-111] полученные данные переупаковываются и по средствам Bluetooth радиотехногии передаются на Bluetooth наушники, установленные внутри ушей носящих, полученные данные декодируются и воспроизводятся встроенными динамиками внутри наушников. Аудиоданные, в том числе и голоса носящих, окружающие шлем захватываются микрофонами внутри носимых устройств и через беспроводные каналы связи (модемы внутри носимых устройств) параллельно, или разными путями, часть через один модем, часть через другой, передаются на главный сервер [131], далее ферму отображения [137], полученные данные декодируются и воспроизводятся динамиками/наушниками, подключенными к серверам фермы отображения [137].

[00109] В некоторых вариантах исполнения к носимому устройству может прилагаться планшет/мобильный телефон на котором будет отображаться информация, полученная от удаленного эксперта/тренера/начальника, когда система используется для удаленной поддержки работников предприятия или на тренировке и тд. На экране смартфона/планшета может отображаться информация, которую эксперт хочет подчеркнуть/указать, например, какой болт открутить, какой кран повернуть и тд. В некоторых вариантах исполнения носимое устройство может иметь небольшой экран для отображения инструкций со стороны эксперта или тренера, который установлен возле левого или правого глаза.

[00110] На рисунке 7 представлены программные этапы формирования и передачи аудио-видео данных с носимых устройств [101-111], обработки и приема данных от главного сервера [131] на носимом устройстве. К процессорному модулю [712] подключены: видеосенсор [707] и микрофон [708], а также Bluetooth/проводной наушник [109]. Для коммуникации с сетью передачи данных к процессорному модулю подключено два модема беспроводной сети (два канала для передачи данных) [710, 711], которые используются для обмена дейтаграммами с главным сервером системы [131]. Модемы могут использовать разные технологии радиодоступа, например, WiFi, LTE, 5G, UWB, могут быть разные комбинации модемов WiFi+WiFi/ WiFi+LTE/ WiFi+3G+5G для организации нескольких каналов для передачи данных.

[00111] К сетям доступа предъявляется требование по максимальной задержке не более 0.5 с. При работе с WiFi, UWB, LTE, 5G, 3G модемами предусматривается UDP протокол. Данные, получаемые от видеосенсора поступают в программный видеокодер [701]. Видеокодер может использовать аппаратное ускорение для кодирования видеоданных; аппаратное ускорение может быть использовано для видеостабилизации, распознавания или других дополнительных функций. С выхода видеокодера [701] данные покадрово/потоком поступают в программный модуль фрагментации [702]. Размер фрагмента выбирается на основе используемой беспроводной технологии передачи данных от 50 до 65000 байт. После фрагменты поступают в буфер отправки [705]. Буфер отправки имеет фиксированный размер, достаточно большой для накопления количества данных, соответствующих максимально декларируемой задержки в конкретном случае и зависимости от скорости перемещения носимых устройств в рабочей зоне (до 1 секунды, но не лучше 0,5 секунды). Между буфером отправки [705] и фрагментатором [702] могут располагаться модули FEC и Interleaving (перемежение). Модуль FEC (Forward Error Correction - Прямое исправление ошибок) используется только в том случае если радиосеть через которую передаются данные не содержит FEC. Размер Interleaving (Перемежение) выбирается равный или меньший установленной задержки в сети (не более длительности одного кадра t=1/FPS (frames per second - кадров в секунду). Данные с микрофона [708] поступают в аудиокодер [704], после поступают фрагментами в буфер отправки [705]. Размер фрагмента выбирается на основе используемой беспроводной технологии передачи данных от 50 до 65000 байт. Размер фрагмента не может превышать минимального размера MTU. Все передаваемые фрагменты передаются в буфер отправки со служебной информацией (заголовком), такой как тип данных, номер фрагмента и др. Из буфера отправки [705] данные передаются через оба модема [710, 711] на главный сервер [131]. Данные из буфера отправки [705] могут быть по-разному отправлены на главный сервер [131], в зависимости от полученных инструкций от главного сервера [131] могут быть организованы: параллельные каналы передачи данных через оба модема [710, 711]; в случае использования 3 модемов нагрузка может быть распределена, например, 2 могут быть использованы для работы с аудио-видео данными и управления, а третий для отправки повторов и значимых кадров закодированного видео (характерно для опорных кадров современных кодеков h.264, h.265 и другие).

[00112] Избыточность собираемых данных внутри системы всегда будет присутствовать вне зависимости от того по каким путям доставляются данные и как распределяется нагрузка между модемами внутри носимых устройств [101-111] из-за использования нескольких базовых станций [121-124, 125-128], которые дублируют одну и туже сеть передачи данных (работают на одной частоте) и принимают одни и те же отправленные данные на сервер. Фрагменты с аудиоданными передаются с задержкой несколько раз, которая выбирается исходя из данных о продолжительности типичного замирания в радиосети. Видео поток может зависеть от аудио данных, видео может быть синхронизировано по аудио меткам. Если буфер переполняется, то старые видео фрагменты удаляются.

[00113] Дейтаграммы, принятые модемами [710, 711] от главного сервера [131] разбираются в буфере приема и декодирования [706]. Часть из них интерпретируются как сигналы управления, другие могут быть пакетами с аудиоданными. Аудиоданные поступают в аудиодекодер [704] и далее через аудиокодек передаются на Bluetooth/проводной наушник [709]. Сигналы управления из буфера приема [706] могут оказывать воздействие: на буфер отправки [705] для повтора отдельных фрагментов, сброса части данных; на видеокодер [701] для вызова внеочередных опорных кадров (используемых в современных видео кодеках) чтобы контролировать задержку, джиттер и управления качеством кодирования. Также могут быть сигналы управления аудиокодером [703] для перезапросов, переключения кодеков и т.д.

[00114] Рассмотрим один из вариантов приема данных с носимых устройств [101-111] на главном сервере [131]. После отправки данных с носимых устройств [101-111] через два и более модемов (каналов связи), создается несколько копий одних и тех же данных, которые могут быть приняты несколькими распределенными центральными точками [121-124] и несколькими распределенными приемниками [125-128]. Каждая центральная точка [121-124] может обеспечить подключение от 1 до 64 носимых устройств, в зависимости от радио технологий (WiFi/LTE/UWB/5G/3G/другая технология) используемых в выбранной конфигурации. Каждый приемник [125-128] может обеспечить сбор данных от 1 до 16 носимых устройств, в зависимости от радио технологий (WiFi/LTE/UWB/5G/3G) используемых в выбранной конфигурации.

[00115] На рисунке 8 изображен один из возможных вариантов обработки данных главным серверов [131], полученных от носимых устройств [101-111]. Данные, собранные центральными точками доступа [802] и приемника [801], по локальной сети [808] поступают через сетевой интерфейс [803] в программный модуль [804]. Программный модуль [804] производит по заголовку предварительный отбор и сортировку дейтаграмм. Этот модуль [804] отбрасывает уже полученные дейтограммы. Видеофрагменты поступают в очередь [805] сборки (дефрагментации) кадров видео, фрагменты с аудио данными поступают в очередь аудио [807]. Очереди [805] [807] имеют длину достаточную, для накопления данных в течении декларируемого времени задержки (менее 0,5 секунды). Дейтаграммы с данными управления, в том числе ответы на запросы к носимым устройствам [101-111] поступают в модуль принятия решений [806]. Модуль принятия решений [806] контролирует состояния модулей [805] и [807].

[00116] При наличии потерянных данных модуль [806] может вырабатывать управляющие сигналы к носимым устройствам [101-111]. Управляющие сигналы в виде дейтаграмм через сетевой интерфейс [803] далее по сети LAN (локальная сеть) [808] и через центральные точки доступа [802] поступают к носимым устройствам [101-111]. Успешно собранные данные в очереди сборки кадров [805] и очереди сборки аудио [807] проходят синхронизацию и могут быть отправлены по транспортному TCP/UDP протоколу потребителям [810]. В качестве потребителей могут выступать аппаратные модули отображения, сервера СДС/CDN и прочее. Модуль очереди аудиопакетов [807] может от определенного потребителя (ферма отображения, планшет управления) принимать аудиопоток и транслировать его в виде дейтаграмм носимым устройствам [101-111] для общения с носящим [709]. Модуль интернета [809] используется для прямого подключения к интернету и получения дополнительных команд от сервера лицензирования [136]. Главные сервер [131] может сохранять получаемые аудио-видео потоки от носимых устройств [101-111] на внутренний накопитель для дальнейшего использования.

[00117] Рисунки 14A-14D, которые следует рассматривать как единый рисунок, иллюстрируют схему трансляции аудио- и видеоданных, включающую генерацию, передачу и сборку результирующего потока данных. На рис. 14А показана уточняющая схема формирования аудиовидеопотока и передачи его через несколько беспроводных сетевых интерфейсов. Рисунок 14 В иллюстрирует схему распределенной сборки данных внутри первой беспроводной сети, которая развертывается вокруг рабочей зоны, данные передаются от носимого устройства через первый сетевой интерфейс (см. рис. 14А). 14С иллюстрирует схему распределенной сборки данных внутри второй беспроводной сети, которая развернута вокруг рабочей зоны, данные передаются от носимого устройства через второй сетевой интерфейс (см. рис. 14А). рис. 14D иллюстрирует схему окончательной сборки данных, которые переданы через несколько сетевых интерфейсов и приняты несколькими радиосетями (см. рис. 14А, 14 В, 14С).

[00118] Камера с модемами на борту или транспондер, присоединений к камере [1401], генерирует сжатый кадр, с помощью стандартного алгоритма сжатия видео кадра (h264/h265/другой кодек), или аудио (АС3/Flac/другой). Подробные этапы формирования потока изображены на рисунке 7. Полученный кадр поступает на вход фрагментатора [1402]. Размер фрагмента выбирается на основе используемой беспроводной технологии передачи данных от 50 до 65000 байт. В большинстве случаев размер пакетов вместе с заголовками выбирается равным 1500 байт, что соответствует типичному значению MTU (максимальный размер пакета) в Ethernet.

[00119] После фрагменты поступают в буфер отправки [1405]. Буфер отправки [1405] имеет фиксированный размер, достаточно большой для накопления количества данных, соответствующих максимально декларируемой задержки в конкретном случае и зависимости от скорости перемещения носимых устройств в рабочей зоне (не более 0,5 секунды). Между буфером отправки [1405] и фрагментатором [1402] могут располагаться модули Коррекции ошибок (FEC) [1403] и Перемежения (Interleaving) [1404]. Модуль FEC (Forward Error Correction) [1403] используется только в том случае если радиосеть, через которую передаются данные не содержит FEC.

[00120] Размер Перемежения выбирается равный или меньший установленной задержки в сети (не более t=1/кадров в секунду). Например, при захвате 50 кадров в секунду на получение одного кадра уходит 20 мс, а задержка передачи данных может быть установлена в 10 мс, размер буфера перемежения будет 10 или менее миллисекунд. Из буфера отправки [1405] данные передаются через модемы/каналы (несколько технологий радио доступа) на главный сервер в буфер сборки [1451]. Данные из буфера отправки [1405] могут быть по-разному отправлены на главный сервер в буфер сборки [1451], в зависимости от полученных инструкций от главного сервера могут быть организованы: параллельные каналы передачи данных через несколько модемов/каналов; в случае использования 3 модемов нагрузка может быть распределена, например, 2 могут быть использованы для работы с аудио-видео данными и управления, а третий для отправки повторов и значимых кадров закодированного видео (характерно для опорных кадров современных кодеков h.264, h.265 и другие).

[00121] Данные передаются через модемы/каналы [1411-1413] на главный сервер в буфер сборки [1451]. Каждый модем/канал ассоциирован с отдельной радиосетью [1420, 1430, 1440]. Данные переданные через модемы/каналы собираются разными типами базовых станций, установленных вокруг рабочей зоны. Как уже упоминалось в документе система может быть замкнутая (используются только собственные базовые станции на базе WiFi и губки - приемники или беспроводную систему, установленную на арене с дополнительными собственными губками для дополнительного сбора данных) и не замкнутая (собственная беспроводная система на базе WiFi с губками и дополнительная радио система LTE/3G/Другая предоставляемая оператором или арендуемая у оператора для проведения мероприятия).

[00122] Использование двух и более модемов позволяет получить мульти-сетевое соединение, которое обеспечивает многоточечную связь между носимым устройствами и сервером приема данных для получения нескольких параллельных/агрегированных каналов связи; для обеспечения бесперебойной работы в случае ошибок на одном канале; для обеспечения распределенного приема данных. Данные переданные через оба канала данных могут быть потеряны по одному из каналов связи, но получены по другому каналу связи.

[00123] Также важным аспектом раскрываем в данном документе является распределенный примем данных внутри одной радиосети, когда данные переданные через один из модемов (одна технология радио доступа) будут приняты одной или несколькими центральными точками доступа, а также приняты дополнительными точками доступа (губками), что позволит получить несколько одновременных одинаковых потоков данных на сервер, что в случае потери данных на одном из направлений будут компенсированы принятыми данным по другому пути дополнительной точкой доступа (губка) - координированная передача/прием данных. Используя эти две технологии (многосетевая передача данных и скоординированный прием данных) можно обеспечить стабильную, качественную передачу данных/контента с минимальной задержкой и меньшим количеством ошибок за счет компенсации потерь с помощью этих технологий.

[00124] На рисунке 14А и 14В показано, что в одном из частных случаев, когда данные передаются через 2 собственные радио сети на базе WiFi (многосетевая передача данных multi-network streaming) [1420, 1430] и собираются несколькими типами базовых станций внутри этих сетей (скоординированный прием coordinated multipoint). Беспроводная сеть [1420] состоит из центральной точки доступа [1422] и двух дополнительных приемников-губок [1421, 1423]. Центральная точка [1422] доступа не может обеспечить прием всего потока данных без увеличения задержки в следствии перезапросов потерянных данных во время перемещения носимого устройства [1424] внутри рабочей зоны в следствии перекрытий, попадания в зону радиотени, поэтому применяются приемники-губки, которые дополнительно принимают переданные с носимого устройства [1424] потоки данных и отправляют их в буфер сборки [1451].

[00125] Например, центральная точка доступа [1422] получила только 1 и 5 пакеты, а дополнительные приемники-губки [1421, 1423] приняли 1, 3, 4,5 пакеты, после все принятые данные отправляются в буфер сборки [1451]. Вторая радиосеть [1430], которая также развернута вокруг рабочей зоны, но точки доступа [1431-1433] установлены в других местах, отнесенных от первой радио системы так, чтобы принимать данные, которые могли быть потеряны первой радиосетью [1420].

[00126] Вторая радиосеть приняла через центральную и дополнительные точки доступа пакеты 1, 2, 3, 5, которые также были отправлены в буфер сборки [1451]. Таким образом в буфере сборки [1451] (рисунок 14D) может приходить как несколько копий одних и тех же данных (пакетов), которые будут отброшены (только первый пришедший будет учтен), так и данные полученные один раз из одной из сети или от одного из дополнительных приемников из-за помех, перемещений и других потерь, которые могут возникнуть во время передачи. Конечный поток данных дефрагментируется [1455] и проходит обратную обработку в модулях FEC [1454] и Перемежения [1453], если они были задействованы. Время ожидания получения пакета из сети равно или меньше установленной задержке (не более 0.5 секунды).

[00127] В случае если пакет так и не был получен из сети, срабатывает механизм перезапроса пакета [1452], из буфера отправки [1405]. Потерянный пакет помещается вперед очереди отправки в буфер отправки [1405] и отправляется первым. Пакеты в буфере отправки [1405] сразу не удаляются после передачи в радио сеть, они удаляются из очереди по истечении времени, которое равно установленной задержки или по получению подтверждения от сервера, буфера сборки [1451], что пакет получен. Механизм обработки полученных данных на сервере показан на рисунке 8.

[00128] Раскрываемая технология передачи и сборки данных за счет многосетевой передачи данных (multi-network streaming) и распределенного приема/отправки данных (coordinated multipoint) работает на базе протокола UDP, что позволяет максимально быстро передавать данные от источника до конечной точки не дожидаясь подтверждения полученных данных. Собственная радио сеть на базе WiFi с отключенными подтверждениями по приему пакета данных, также сокращает задержку во время передачи, механизм перезапроса потерянного пакета описан выше, но с использованием FEC и перемежения вероятность перезапроса уменьшается. Фрагментация пакетов до размера стандартного Ethernet пакета, позволяет, в случае потери данных перезапрашивать не весь кадр, а только потерянную дейтаграмму.

[00129] Одним из аспектов, раскрываемых в данном документе, является использование беспроводного транспондера для подключения стационарного съемочного оборудования к радиосети для передачи аудио и видео до сервера. Примерный вариант исполнения транспондера представлен на рисунке 13А. К телевизионной камере, установленной на стационарный штатив [1302], с использованием предусмотренного конструкцией камеры сетевого интерфейса [1303] подключается транспондер [1301] с соответствующим интерфейсу камеры сетевым входом [1304]. В корпусе транспондера предусмотрены разъем для установленного модуля заряда microUSB [1305], светодиодный индикатор [1306], выключатель [1307]. Внутри транспондера установлены два или более модема для одновременного подключения по соответствующему числу беспроводных каналов [1308, 1308а]. Несмотря на то, что на рисунке 13 изображено два подключения, их может два, три или несколько - в зависимости от особенностей места подключения и решаемой задачи. Отсоединяемый транспондер [1301] по двум или более беспроводным каналам связи может передавать аудио и видео контент до сервера, подключаясь к базовой станции [1310] приемнику-губке [1309].

[00130] На рисунке 13В представлен один из возможных вариантов развертывания системы на основе стационарного съемочного оборудования с использованием отсоединяемых беспроводных транспондеров, использующих две технологии радиодоступа - WiFi и LTE - которые используются одновременно/параллельно. В рассматриваемом варианте в транспондере [1301] используется 2 модема WiFi и LTE, но возможны и другие варианты, например, WiFi и UWB, WIFI и 3G, WiFi 2.4 ГГц и WiFi 5 ГГц, WiFi и LTE и 3G, 5G и WiFi или другие комбинации с использованием собственного WiFi. Транспондер [1301] присоединяется к камере [1302] находится в верхней части рабочей зоны и может установить связь с 3 центральными точками [1321, 1322, 1324], через которые происходит обмен данными с главным сервером [1331] в обоих направлениях (двусторонняя связь). Распределенные приемники [1327, 1328] могут обеспечить дополнительный прием данных, которые были отправлены с транспондера [1301], далее эти данные передаются на главный сервер [1331] для обработки. Главный сервер [1331] получает несколько потоков одних и тех же данных от одного носимого устройства [1301] и, отбрасывая повторы, на выходе получается стабильный аудио-видео поток. По мере перемещения устройства потоков данных, приходящих на главный сервер может быть от 4 и более в зависимости от месторасположения устройства. Второй транспондер [1301а], подключенный ко второй камере [1302а] находится в другой части рабочей зоны и может установить двустороннюю связь с центральными точками доступа [1322, 1323], и также отправленные данные с транспондера могут быть получены дополнительными точками доступа приемниками [1325, 1326] и после отправлены на главный сервер [1331] для обработки. Использование двух параллельных, высокоскоростных, беспроводных канала данных позволяет избежать проблем с которыми сталкиваются устройства работающие только с одним высокоскоростным каналом данных, а именно: нестабильный сигнал от транспондера до главного сервера (пропадание связи во время резкого перемещения или перекрытия другим объектов или субъектом, попадание в зону радиотени); множественные повторы потерянных пакетов данных (дейтограмм); возрастающая задержка, в случае множественных перезапросов; недостаточная пропускная способность, в случае перемещения всех используемых транспондеров в одну часть рабочей зоны или увеличения числа транспондеров; проблемы могут возникнуть из-за плохого соотношения сигнал/шум - SNR (signal to noise ratio), что может быть вызвано внешними помехами и использованием перекрывающихся частот (перекрывающиеся частоты могут быть использованы в случае развертывания системы с множеством транспондеров в условиях ограниченности доступных частот для работы; если использовать несколько технологий радиодоступа, как показано на рисунке 13В, то прерывания в связи на одном канале будут компенсированы передачей на другом канала - потерянные данные, переданные по одному каналу, будут доставлены по другому беспроводному каналу. Использование двух и более беспроводных каналов в системе позволит избежать проблем в случае возникновения помехи на той частоте, которая используется одним из беспроводных каналов - потерянные данные, переданные по одному каналу, будут доставлены по другому беспроводному каналу; использование двух и более беспроводных каналов связи одновременно в одном транспондере позволит, не прерывая передачи аудио-видео данных от носимого устройства, перестраиваться между частотами, перестраивая сначала один модем (канал) на новую частоту, затем другой. Множественный примем на двух типах распределенных базовых станций (центральные и приемники) позволяет избежать проблем в случае если какие-либо пакеты/дейтограммы были потеряны из-за попадания транспондера в зону радиотени или перекрытия другим объектом или субъектом; если данные все-таки были потеряны, несмотря на все попытки избежать этого, то пакеты с данными управления также через несколько центральных точек доступа будут доставлены на транспондер и вызовут срабатывание определенной инструкции по перезапросу данных или сбрасывания буфера. Использование двух и более беспроводных канала для приема данных от центральных точек доступа на транспондере позволит принимать два и более потоков с данными управления, что повышает надежность канала управления.

[00131] Одним из аспектов, раскрываемых в данном документе, является обеспечение постоянного качества передаваемого аудио-видео сигнала (установленное с планшета управления или через сервер лицензирования) поддерживаемое на протяжении всего периода, выбранного промежутка времени и минимальной задержкой (менее 0,5 секунды) со всех носимых устройств [101-111] или транспондеров, подключенных к стационарному съемочному оборудованию [1311, 1312], одновременно внутри рабочей зоны вне зависимости от их местоположения. Эта возможность важна как для пользователей системы (спортивные лиги, команды, предприятия), так и для потребителей контента (фанаты определенного игрока, могут захотеть следить именно за ним, имея качество изображения такое же, как и игрок, владеющий мячом/шайбой; во время гонок, качество изображения должно быть постоянным, так как выставить приоритет конкретным гонщикам сложно; во время использования системы на предприятиях или охране массовых мероприятий понижение качества изображения может негативно повлиять на какие-либо события из-за невозможности рассмотреть детали полученного видео/картинки).

[00132] Использование нескольких технологий радиодоступа одновременно позволяет получить более надежный канал передачи данных за счет параллельной передачи данных или агрегации каналов. В результате количество потерь уменьшается, сокращается количество перезапросов потерянных данных и, соответственно, отпадает необходимость в большом буфере для компенсации потерь на главном сервере, который хранит более пол секунды принятых данных, а также, в результате уменьшения потерь, отпадает необходимость в уменьшении качества передаваемого контента (уменьшение качества контента в некоторых случаях позволяет уменьшить общий поток данных от носимого устройства или транспондера, подключенного к стационарному съемочному оборудованию, до главного сервера, а значит уменьшить количество ошибок).

[00133] Использование нескольких, распределенных базовых станций разных типов позволяет поддерживать связь с носимыми устройствами или транспондерами, подключенными к стационарному съемочному оборудованию, по нескольким одновременным каналам через центральные точки доступа и принимать данные от носимых устройств через центральные точки доступа и приемники где бы не находилось носимое устройство или транспондер, подключенный к стационарному съемочному оборудованию, внутри рабочей зоны. В результате поддержание постоянного качества передаваемого аудио-видео сигнала со всех активных носимых устройств и транспондеров внутри рабочей зоны становится возможным, так как отправленные данные от носимых устройств и транспондеров будут собраны множественными, распределенными базовыми станциями (центральные и дополнительные) и доставлены на главный сервер для обработки. При возникновении помехи, перекрытия носимого устройства субъектом или объектом во время передачи данных, отправленные данные по одному пути будут доставлены по другому пути на главный сервер.

[00134] На главный сервер приходит минимум четыре потока одних и тех же данных, из которых собирается конечный аудио-видео сигнал для потребителей, в результате размер буфера по приему более чем пол секунда становится избыточным, так как множество принятых потоков от носимого устройства или транспондера, подключенного к стационарному съемочному оборудованию, компенсируют потерянные данные принятые по разным путям. Если дейтаграммы все-таки были потеряны, то несколько обратных каналов (в зависимости от связи с центральными точками доступа и их количества) до носимого устройства или транспондера обеспечат прием управляющего сигнала на носимом устройстве и может быть вызвана одна из инструкций для повторного отправления потерянных данных, или вызова внеочередного опорного кадра или др.

[00135] Использование распределенных базовый станций и нескольких беспроводных каналов работающих одновременно не всегда способны обеспечить минимальную задержку (не более 0,5 секунды) между формированием аудио-видео потока на носимом устройстве конечным аудио-видео потоком на главном сервере для потребителей, в некоторых случаях необходимо управление буфером отправки на носимом устройстве / транспондере, а также кодирующим устройством для захватываемых видео данных. Если видео данные все-таки были потеряны и задержка не превышает установленного значения (0,5 секунды или меньше), то эти данные могут быть повторно отправлены из буфера отправки на носимом устройстве / транспондере. В другом варианте, если задержка между полученными данными на носимом устройстве / транспондере (видео данные от камеры) и сформированным конечным аудио-видео сигналом (для потребителей) начинает приближаться к критическому значению (0,5 секунда) в результате потерь, то может быть выработана инструкция по вызову внеочередного опорного кадра (характерно для современных кодеков h.264, h.265 и др. или собственных кодеков) и буфер отправки на носимом устройстве / транспондере будет сброшен до только что полученного опорного кадра.

[00136] В некоторых случаях в буфере отправки на носимом устройстве / транспондере уже может находится новый опорный кадр и если, спросив буфер до опорного кадра, который находится в буфере отправки, исправит положение и время образования этого опорного кадра будет удовлетворять требованиям минимально установленной задержки, то необходимость сбрасывать (очищать) полностью буфер отправки отпадет, необходимо сбросить только часть буфера отправки до этого опорного кадра. Также для уменьшения помех, и как следствия потерь и увеличения задержки, от других устройств присутствующих внутри рабочей зоны (фанаты с телефонами, рабочие, люди, другие радиоустройства) стандартная разбивка частот, применяемая для WiFi, а именно полосы по 20/40/60 др. МГц, может оказаться непригодна для использования во время скопления людей из-за создаваемых помех, возможных подключений к базовым станциям и ее перегрузки декодированием данных, полученных с «не своих устройств». Поэтому стандартные полосы частот могут быть сдвинуты на несколько мегагерц относительно стандартной разбивки частот. (5120 МГц -> 5130 МГц, 5180 МГц -> 5185 МГц).

[00137] Также могут использоваться закодированные стандартные пакеты WiFi (beacon, probe request и другие) протокола для защиты и уменьшения нагрузки на базовые станции декодированием «чужих» данных полученных с многотысячных устройств, находящихся внутри или около рабочей зоны. Возможное использование улучшений совместно или по отдельности: закодированные пакеты стандартного протокола WiFi и смещение по частоте, позволят базовым станциям видеть только «свои» носимые устройства. Для уменьшения задержки передаваемых данных от носимых устройств и стационарного съемочного оборудования, подключенного при помощи отсоединяемого беспроводного транспондера, до главного сервера могут быть использованы изменения в стеке WiFi протокола, например, отключены подтверждения по приему пакетов в ядре WiFi протокола. Вместо стандартных подтверждения о доставке внутри протокола WiFi (между базовыми станциями и носимыми устройствами) могут быть использованы собственные алгоритмы доставки как с подтверждением, так и без подтверждения (между носимыми устройствами и главным сервером), a WiFi может использоваться только как инструмент не гарантирующий доставки данных.

[00138] Настоящее изобретение может быть использовано на массовых мероприятиях (спортивные мероприятия, охрана предприятий, охрана общественных собраний, развлечения, такие как картинг, пейнтбол, велоспорт, поло, реалити-шоу).

[00139] На рисунке 15 представлена примерная система для реализации изобретения, которая включает вычислительное устройство общего назначения в виде хост-компьютера или сервера [20] или тому подобного, включающее в себя блок обработки (CPU/Процессор) [21], системную память [22] и системную шину [23], которая связывает различные компоненты системы, включая системную память, с блоком обработки [21].

[00140] Системная шина [23] может быть любой из нескольких типов шинных структур, включая шину памяти или контроллер памяти, периферийную шину и локальную шину, использующую любую из множества архитектур шин. Системная память включает в себя память только для чтения (ПЗУ) [24] и оперативную память (ОЗУ) [25]. Базовая система ввода-вывода [26] (BIOS), содержащая основные процедуры, которые помогают передавать информацию между элементами внутри компьютера [20], например, во время запуска, хранится в ПЗУ [24].

[00141] Компьютер или сервер [20] может дополнительно включать жесткий диск [27] для чтения и записи на жесткий диск, не показанный здесь, магнитный диск [28] для чтения или записи на съемный магнитный диск [29] и оптический диск [30] для чтения или записи на съемный оптический диск [31], такой как CD-ROM, DVD-ROM или другие оптические носители. Жесткий диск [27], магнитный диск [28] и оптический диск [30] соединены с системной шиной [23] интерфейсом [32] жесткого диска, интерфейсом [33] магнитного диска и интерфейсом [34] оптического диска соответственно.

[00142] Накопители и связанные с ними машиночитаемые носители обеспечивают энергонезависимое хранение машиночитаемых инструкций, структур данных, программных модулей и других данных для сервера [20]. Хотя в образцовой среде, описанной здесь, используются жесткий диск (запоминающее устройство [55]), съемный магнитный диск [29] и съемный оптический диск [31], специалисты в данной области должны понимать, что в образцовой операционной среде могут также использоваться другие типы машиночитаемых носителей, которые могут хранить данные, доступные компьютеру, такие как магнитные кассеты, карты флэш-памяти, цифровые видеодиски, картриджи Бернулли, оперативные запоминающие устройства (ОЗУ), запоминающие устройства только для чтения (ПЗУ) и т.п.

[00143] Ряд программных модулей может храниться на жестком диске (запоминающее устройство [55]), магнитном диске [29], оптическом диске [31], ПЗУ [24] или ОЗУ [25], включая операционную систему [35] (например, MICROSOFT WINDOWS, LINUX, APPLE OS X или аналогичную). Сервер/компьютер [20] включает в себя файловую систему [36], связанную с операционной системой [35] или включенную в нее, такую как файловая система Windows NT™ (NTFS) или аналогичную ей, одну или несколько прикладных программ [37], другие программные модули [38] и программные данные [39]. Пользователь может вводить команды и информацию на сервер [20] через устройства ввода, такие как клавиатура [40] и указывающее устройство [42].

[00144] Другие устройства ввода (не показаны) могут включать микрофон, джойстик, игровую панель, спутниковую антенну, сканер или тому подобное. Эти и другие устройства ввода часто подключаются к процессору [21] через интерфейс [46] последовательного порта, который соединен с системной шиной, и они также могут быть подключены другими интерфейсами, такими как параллельный порт, игровой порт или универсальная последовательная шина (USB). Монитор [47] или другое устройство отображения также подключается к системной шине [23] через интерфейс, такой как видеоадаптер [48]. В дополнение к монитору [47] компьютеры обычно включают другие периферийные устройства вывода (не показаны), такие как динамики и принтеры. Хост-адаптер [49] используется для подключения к запоминающему устройству [55].

[00145] Сервер/компьютер [20] может работать в сетевой среде, используя логические соединения с одним или несколькими удаленными компьютерами [49]. Удаленный компьютер (или компьютеры) [49] может быть другим персональным компьютером, сервером, маршрутизатором, сетевым ПК, одноранговым устройством или другим общим сетевым узлом, и он обычно включает в себя некоторые или все элементы, описанные выше относительно сервера [20], хотя здесь проиллюстрировано только запоминающее устройство [50] с прикладным программным обеспечением [37]. Логические соединения включают локальную сеть (LAN) [51] и глобальную сеть (WAN) [52]. Такие сетевые среды распространены в офисах, корпоративных компьютерных сетях, Интранетах и Интернете.

[00146] В среде локальной сети сервер/компьютер [20] подключен к локальной сети [51] через сетевой интерфейс или адаптер [53]. При использовании в сетевой среде WAN сервер [20] обычно включает в себя модем [54] или другие средства для установления связи по глобальной сети [52], такие как интернет.

[00147] Модем [54], который может быть внутренним или внешним, соединен с системной шиной [23] через интерфейс [46] последовательного порта. В сетевой среде программные модули, изображенные относительно компьютера или сервера [20], или их части могут храниться в удаленном запоминающем устройстве памяти. Следует иметь в виду, что показанные сетевые соединения являются лишь образцовыми и могут использоваться другие средства установления канала связи между компьютерами.

[00148] Описав таким образом предпочтительный вариант, специалистам в данной области должно быть понятно, что определенные преимущества описанного способа и устройства были достигнуты.

[00149] Иллюстрации представленные в этом документе являются лишь одними из возможных вариантов реализации тех или иных устройств, схем, которые они представляют. Различные модификации возможны с учетом вышеизложенного.

Изобретение относится к трансляции аудиовидеоданных в реальном времени, в частности, контент транслируется с множества носимых устройств, которые монтируются на головной убор или на/в другой элемент одежды, или с профессионального съемочного оборудования (камер, камкордеров) разного типа с подключаемым внешним беспроводным транспондером, которые могут использоваться в местах скопления людей (спортивные и развлекательные мероприятия). Техническим результатом является улучшение технологии передачи данных в условиях зашумленности радиоканала в местах скопления людей, которая позволит обеспечить стабильный высококачественный аудиовидеопоток в реальном времени (задержка менее 0,5 секунды) одновременно со всех активных носимых устройств. Предложен способ потоковой передачи видео, включающий установление первой линии связи через первую радиосеть между транспондером и сервером через первую базовую станцию, причем транспондер принимает видеоданные от камеры; установление второй линии связи через вторую радиосеть между транспондером и сервером через вторую базовую станцию; генерацию видеопотока и отправку на транспондер; присвоение порядковых номеров пакетам; передачу видеопотока на сервер через первую линию связи в качестве первого потока и через вторую линию связи в качестве дублирующего второго потока; на первой губке первой радиосети, получение радиоданных первого потока и отправку их на сервер в качестве третьего потока; на второй губке второй радиосети, получение радиоданных второго потока и отправку их на сервер в качестве четвертого потока; на сервере, получение первого потока через первое звено и третьего потока от первой губки и получение второго потока через второе звено и четвертый поток от второй губки; отбрасывание дубликатов пакетов; объединение пакетов в результирующий поток. 15 з.п. ф-лы, 21 ил.

1. Способ потоковой передачи видеоконтента, включающий:

установление первого канала связи для потоковой передачи данных через первую радиосеть между удаленным транспондером и сервером через первую базовую станцию, в которой транспондер принимает видеоданные с камеры;

установление второго канала для потоковой передачи данных через вторую радиосеть между удаленным транспондером и сервером через вторую базовую станцию;

генерирование видеопотока на камере и отправку видеопотока на транспондер;

назначение порядкового номера каждому пакету в видеопотоке;

передачу видеопотока от транспондера на сервер по первому каналу связи в качестве первого потока и по второму каналу связи в качестве второго потока, причем второй поток дублирует первый поток;

на первой губке, представляющей собой дополнительную точку доступа для координированной передачи/приема данных, соответствующей первой радиосети, прием радиоданных, представляющих первый поток, и отправку на сервер в качестве третьего потока;

на второй губке, представляющей собой дополнительную точку доступа для координированной передачи/приема данных, соответствующей второй радиосети, прием радиоданных, представляющих второй поток, и отправку на сервер в качестве четвертого потока;

на сервере, прием первого потока по первому каналу и третьего потока от первой губки;

на сервере, прием второго потока по второму каналу и четвертого потока от второй губки;

для каждого пакета в каждом потоке идентификацию пакетов по их порядковому номеру, сохранение первого принятого пакета с определенным порядковым номером и отбрасывание всех оставшихся пакетов с тем же порядковым номером;

и объединение сохраненных пакетов в результирующий видеопоток.

2. Способ по п.1, отличающийся тем, что включает:

генерирование аудиопотока на камере и отправку его на транспондер;

присвоение порядкового номера каждому пакету в аудиопотоке;

передачу аудиопотока от транспондера на сервер через первый канал в виде пятого потока и через второй канал в виде шестого потока, причем шестой поток дублирует пятый поток;

прием радиоданных на первой губке, представляющихся как пятый поток, и отправку их на сервер в качестве седьмого потока;

прием радиоданных на второй губке, представляющихся как шестой поток, и отправку их на сервер в виде восьмого потока;

прием на сервере пятого потока по первому каналу и седьмого потока от первой губки;

прием на сервере шестого потока по второму каналу и восьмого потока от второй губки;

идентификацию пакетов по их порядковому номеру, для каждого пакета в каждом потоке, сохраняя первый принятый пакет с определенным порядковым номером и отбрасывая все оставшиеся пакеты с тем же порядковым номером; и

объединение сохраненных пакетов аудиопотока в результирующий аудиопоток, и

объединение результирующего аудиопотока с результирующим видеопотоком.

3. Способ по п.2, отличающийся тем, что транспондер присваивает временные метки аудио- и видеопакетам, и в котором сервер синхронизирует результирующий аудиопоток и результирующий видеопоток с использованием временных меток.

4. Способ по п.3, отличающийся тем, что сервер передает результирующий видеопоток конечным пользователям.

5. Способ по п.2, отличающийся тем, что губка, представляющая собой дополнительную точку доступа для координированной передачи/приема данных, сканирует радиочастотный диапазон и информирует сервер о том, какие каналы доступны для передачи видеопотока и аудиопотока.

6. Способ по п.1, отличающийся тем, что первой радиосетью является любая из сети сверхширокополосной связи UWB (Ultra-Wide Band), 3G мобильной телефонной сети, мобильной телефонной сети стандарта LTE (Long Term Evolution), 5G мобильной телефонной сети и WI-FI сети.

7. Способ по п.2, отличающийся тем, что вторая радиосеть представляет собой сеть WI-FI.

8. Способ по п.6, отличающийся тем, что сеть WI-FI модифицирована таким образом, чтобы (а) блокировать подтверждение приема пакетов и/или (б) работать на нестандартных диапазонах таким образом, чтобы видеть только свои собственные камеры/транспондеры.

9. Способ по п.8, отличающийся тем, что сервер стабилизирует результирующий видеопоток для удаления дрожащих артефактов.

10. Способ по п.1, отличающийся тем, что сервер принимает видео- и аудиопотоки от нескольких камер, причем каждая камера имеет свой собственный транспондер, и в котором все транспондеры используют первую и вторую радиосети.

11. Способ по п.1, отличающийся тем, что первый канал включает в себя первый модем, который связан с первой базовой станцией, второй канал включает в себя второй модем, который связан со второй базовой станцией.

12. Способ по п.1, отличающийся тем, что губка, представляющая собой дополнительную точку доступа для координированной передачи/приема данных, представляет собой физическое устройство, осуществляющее мониторинг трафика, который передается на первую и вторую базовые станции.

13. Способ по п.1, отличающийся тем, что транспондер представляет собой физическое устройство.

14. Способ по п.1, отличающийся тем, что транспондер представляет собой виртуальное устройство.

15. Способ по п.1, отличающийся тем, что:

на сервере, когда какой-либо пакет теряется, посылают запрос от сервера к транспондеру через первую радиосеть через первую базовую станцию и посылают тот же запрос через вторую радиосеть через вторую базовую станцию для извлечения потерянного пакета;

на транспондере, после получения запроса, выполняется поиск в очереди буфера отправки потерянного пакета по его порядковому номеру;

на транспондере, если потерянный пакет найден в очереди буфера отправки, выполняется передача найденного пакета в позицию в очереди буфера отправки, которая будет отправлена перед любым другим пакетом в очереди буфера отправки;

на сервере, если потерянный пакет получен, выполняется перемещение пакета в позицию в очереди приемного буфера между пакетом с предыдущим порядковым номером и пакетом с последующим порядковым номером;

на сервере, если потерянный пакет не получен, но все еще находится в пределах задержки, определенной сервером, посылается еще один запрос на транспондер для получения потерянного пакета;

на сервере, если потерянный пакет не получен и задержка превышена, выполняется поиск в очереди приемного буфера пакетов, помеченных как пакеты, связанные с ключевым кадром;

на сервере, если в приемном буфере обнаружены какие-либо пакеты, связанные с ключевым кадром, и потерянный пакет не является пакетом, связанным с ключевым кадром, удаляют все пакеты из начала очереди приемного буфера до первого пакета, который связан с ключевым кадром, исключая первый пакет, связанный с ключевым кадром, причем первый пакет, связанный с ключевым кадром, является одним из ближайших к началу очереди приемного буфера;

на сервере, если нет пакетов, которые связаны с ключевым кадром в буфере приема, или если потерянный пакет - это пакет, связанный с ключевым кадром, то

удаляются все пакеты в очереди приемного буфера, а также отправляется запрос с сервера для генерации ключевого кадра транспондеру; и

при этом все пакеты, полученные сервером после отправки запроса на генерацию ключевого кадра, которые не являются первым пакетом ключевого кадра, отбрасываются до получения первого пакета ключевого кадра.

16. Способ по п.15, отличающийся тем, что на транспондере, когда получен запрос для генерации ключевого кадра от сервера, выполняется поиск в очереди буфера отправки первого пакета, связанного с ключевым кадром, причем первый пакет, связанный с ключевым кадром, является самым близким к началу очереди буфера отправки;

на транспондере, если первый пакет, связанный с ключевым кадром, обнаружен в буфере отправки и находится в пределах задержки, удаляются все пакеты из начала очереди буфера отправки до первого пакета, связанного с ключевым кадром, исключая первый пакет, связанный с ключевым кадром;

на транспондере, если первый пакет, связанный с ключевым кадром, не обнаружен в очереди буфера отправки или задержка превышена, выполняется поиск в очереди буфера кодирования ключевого кадра, который находится в пределах задержки, и где при наличии более одного квалифицированного ключевого кадра используется первый ключевой кадр, и где первый ключевой кадр является наиболее близким к началу очереди буфера кодирования;

на транспондере, если ключевой кадр найден в очереди буфера кодирования, удаляют все кадры между ключевым кадром и началом очереди буфера кодирования; и

на транспондере, если ключевой кадр не найден в очереди буфера кодирования, удаляются все кадры в очереди буфера кодирования и генерируется новый ключевой кадр.