РОДСТВЕННАЯ ЗАЯВКА
Данная заявка является непредварительной заявкой предварительной заявки "Reynolds et al.", озаглавленной "System and Method for Communicating Media Signals", номер дела поверенного ID-PAT-001PR1, номер заявки 60/325,483, поданной 26 сентября 2001.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Данное раскрытие относится к системе и способу для обмена сигналами аудиовизуальной информации между исходным и целевым устройствами. Более конкретно оно относится к системе и способу сжатия и декомпрессии (восстановления) сигналов потоковой и статической аудиовизуальной информации для эффективного обмена такими сигналами между исходным и целевым устройствами с использованием способа искусственного интеллекта.
ОПИСАНИЕ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ
Возможность эффективного обмена потоковым и статическим мультимедиа между удаленно расположенными устройствами является значительной потребностью, которая возрастает экспоненциально с появлением объединенный в сеть системы обмена информацией, такой как сеть Интернет. На решение такой потребности недавно были направлены существенные ресурсы разработок во всемирном масштабе.
В настоящем документе термин "аудиовизуальная информация" (или "мультимедиа"), предназначен для обозначения информации, которая в форме сигнала может быть передана от исходного устройства на целевое устройство для использования целевым устройством; и при употреблении в настоящем документе обычно предполагают, что аудиовизуальная информация (мультимедиа) содержит сигналы или потокового или статического мультимедиа. С целью данного раскрытия термин "использование" в применении к оперированию целевого устройства над сигналами мультимедиа предназначен, чтобы включать в себя воспроизведение (например, звучания, изображений, видео), обработку (например, данных дистанционных измерений), или любое другое использование или действие, которое является заданным назначением сигнала мультимедиа.
Термины "потоковое мультимедиа" в настоящем документе предназначены для обозначения сигналов мультимедиа, которые содержат информацию, предназначенную для передачи на целевое устройство и для использования целевым устройством в режиме временной, потоковой передачи данных. Термин "потоковый" в применении к сигналам потокового мультимедиа в настоящем документе предназначен, чтобы включать в себя сигналы, передаваемые и обрабатываемые непрерывным образом во времени, или сигналы, которые могут бытьсигналами, переданными и обработанными непрерывным образом в течение какого-то времени, илисигналами, которые могут быть переданы последовательностями дискретных пакетов, порций или блоков, которые являются взаимосвязанными и могут быть затем использованы целевым устройством в непрерывном и взаимосвязанном режиме. Примеры сигналов потокового мультимедиа для цели данного раскрытия поэтому включают в себя, без ограничения, следующие типы мультимедиа: видео, аудио, аудио, объединенный с видео, и строки данных такие, как временные данные дистанционных измерений. Термины "потоковое мультимедиа" наиболее обычно используют при ссылках на цифровые (оцифрованные) формы данных, представляющих объект (содержимое) мультимедиа.
Термин "статическое мультимедиа" в настоящем документе предназначен в целом для обозначения мультимедиа, которое не является "потоковым", как определено выше. Сигналы статического мультимедиа имеют тип, который обычно можно передавать и предназначен для использования в качестве одиночного пакета, блока, или порции. Статическое мультимедиа поэтому может включать в себя, например, без ограничения перечисляемым, нижеследующее: дискретное изображение, отдельный и относительно короткий по времени видеоклип, звук или звуковой фрагмент, или порцию или блок информации, такой как информация о данных дистанционных измерений. Однако предполагают, что такая "одиночная порция" статического мультимедиа может иметь достаточный размер, чтобы состоять из множества более мелких порций или «под-порций», таких как, например, разделы или пиксели полного изображения, индивидуальные кадры, которые совместно формируют видеоклип, цифровые биты, которые совместно образует звуковой сигнал, группа звуковых сигналов, которая образует звуковой фрагмент, или биты информации, которые совместно образуют более крупный блок информации.
Потоковое мультимедиа обычно включает в себя файлы данных, которые имеют значительно больший размер, чем файлы статического мультимедиа, и также часто представляют намного больше переменных на протяжении временного обмена такими файлами, чем известно из практики сравнения с большинством файлов статического мультимедиа. Поэтому возможность эффективного сжатия потокового мультимедиа для надлежащей передачи данных на целевые устройства для использования часто гораздо более сложна и трудна в достижении такой цели. Соответственно, многое из настоящего раскрытия предоставлено путем ссылки конкретно на обмен потоковым мультимедиа, и настоящее изобретение было рассмотрено, чтобы обеспечить значительные преимущества для такого обмена. Однако в тех случаях, когда потоковое мультимедиа конкретно упомянуто в настоящем документе по отношению к предшествующему для изобретения уровню техники и дополнительно по отношению к многочисленным преимуществам настоящего изобретения, раскрытых в настоящем документе, статическое мультимедиа также дополнительно рассмотрено там, где это необходимо, соответствуя среднему уровню специалиста в данной области техники.
Многие различные системы мультимедиа, поддерживающие конкретный тип мультимедиа (мультимедиа "конкретного типа"), использовались в течение довольно длительного времени для передачи конкретных типов (например, видео, аудио, изображения, речи, и т.д.) сигналов потокового и статического мультимедиа между источниками и удаленными получателями. Обычные примеры таких систем «конкретного типа» мультимедиа включают в себя системы передачи телевизионного сигнала, системы телефонных линий связи, и системы передачи радиосигнала, и каждый телевизионный приемник или телевизор, телефонный аппарат и радиоприемник, следовательно, являются принимающими устройствами для аудиовизуальной информации. Соответственно, потребности в эффективной передаче потокового и статического мультимедиа касаются многих разнообразных отраслей промышленности связи, включающих в себя, например, телефонию, телевидение, кинопромышленность, музыкальную индустрию и более недавнюю индустрию интерактивных игр.
Кроме того, многие системы передачи мультимедийных данных, включающие в себя различные длительное время существующие системы «конкретного типа», являются также системами "конкретного формата", в которых содержимое сигналов мультимедиа передают в конкретном формате, так что источник, канал передачи и целевое устройство должны быть конкретно согласованы, чтобы работать в рамках такого формата. Примеры систем "конкретного формата" мультимедиа включают в себя, например, кодируемые кабельные телевизионные системы, которые работают только для некоторых типов мультимедиа и только доставляемого в конкретных кодируемых форматах от кабельного носителя. Следовательно, такие системы по техническим средствам и программному обеспечению обычно предназначены только для одного типа и формата мультимедиа, которые должны быть предоставлены поставщиком содержимого.
Потребности общества опередили возможности таких специализированных систем «конкретного содержимого» и «конкретного формата». В частности, такие специализированные системы не являются структурированными для приспосабливания указанного потокового мультимедиа к неизменно расширяющимся требованиям клиентов, к реальному времени. Дополнительно, в недавно взаимосвязанном мире технологические разработки привлекли внимание общества возможностью «вытягивать», получать, «проталкивать», и посылать множественные типы мультимедиа в многочисленных форматах, используя одно устройство. Кроме того, поставщики содержимого должны быть способны доставлять множество различных сигналов мультимедиа многим различным типам устройств, которые находятся в учреждениях их клиентов, жилых помещениях и «на руках». Индивидуумы и корпорации также желают взаимодействовать друг с другом, используя различные форматы и используя различные соответствующие устройства.
Соответственно, появилась значительная промышленность для доставки потокового и статистического мультимедиа по централизованной сети Интернет. Компании по доставке содержимого в настоящее время доставляют широкий спектр потокового мультимедиа от «живых» (в реальном времени) скачек и развлечений до данных медицинских дистанционных измерений и образования по Интернет и в форматах видео и аудио. В соответствии с одним из опубликованных отчетов DFC Intelligence потоковое видео в Интернет в 2000 г. увеличилось на 215 процентов до более чем 900 миллионов общих потоков, к которым был осуществлен доступ. Они включает в себя потоки широкополосной сети, которые составили почти 29 процентов от общего доступа. В том же отчете также оценивают, что 15 процентов от доступного запаса поточного мультимедиа в настоящее используют вместе с рекламными объявлениями во входном потоке. В другом отчете, опубликованном исследователем Интернет Jupiter Media, только одни коммерческие затраты на средства потокового видео будут увеличиваться от ста сорока миллионов (US$140M) долларов США в 2000 г, до почти трех миллиардов (US$3B) долларов США к 2005 г., поскольку компании обращаются к электронной передаче данных для связи со служащими, потребителями и другими производствами.
Кроме того, демографический взрыв и увеличивающееся количество людей, осуществляющих передачи данных на таких системах, жестко влияли на имеющуюся в наличии полосу частот (пропускную способность) для доступной информации. Следовательно, возможность эффективного формирования потока мультимедиа, используя ограниченные ресурсы полосы частот и ограниченные доступные скорости передачи, имеет повышенную социальную значимость.
Алгоритмы сжатия/декомпрессии ("CODEC")
Принимая во внимание экспоненциальный рост требования на передачу различных типов мультимедиа, различные системы сжатия/декомпрессии (кодек(и), "CODEC") были разработаны в течение многих лет и, в частности, стали недавней темой значительных научных исследований и разработок. Конкретные типы кодеков и систем для управления действиями кодеков относительно передачи сигналов потокового и статистического мультимедиа были разработаны для конкретных типов мультимедиа, включающих в себя, например, изображения в виде неподвижного кадра, такие как фотоснимки, и потоковое мультимедиа.
Кодеки изображения
Были разработаны разнообразные кодеки для различных типов статического мультимедиа, и широкое разнообразие таких кодеков хорошо известно и используемо. Один конкретный тип статического мультимедиа, который являлся темой особенного внимания, включает в себя изображения (несмотря на то, что протяженную последовательность взаимосвязанных кадров изображения, как в контексте видео, обычно обрабатывают как потоковое мультимедиа вследствие более сложных переменных, например размерных и временных связей между кадрами, что значительно влияет на соответствующие потребности сжатия/декомпрессии). Поэтому примеры формирования кодеков, соответствующие статическому мультимедиа, в настоящем документе иллюстрируют путем ссылки на некоторые конкретные типы традиционных средств и способов для кодеков изображения.
Два наиболее распространенных формата файлов для графических изображений, используемых во «всемирной паутине», известных как форматы "GIF" (Формат графического изображения, ФГИ) И "JPEG" (Формат объединенной экспертной группы по фотографии, ОЭГФ), обычно рассматривают соответствующими стандартами для рисунков (например, штрихового рисунка) и фотоснимков, и дополнительно описаны вместе с другими модальностями сжатия изображения с целью дальнейшего понимания, как следует ниже.
"JPEG" является сокращением для "Joint Photographic Experts Group", и является файлом графического изображения, который соответствует стандарту 10918 ISO (МОС). Используемый обычно для сжатия/декомпрессии фотоснимков, файл JPEG создают выбором качества сжатия из области значений качеств или, как также было описано, выбором (алгоритма) из одного из наборов алгоритмов сжатия. Для создания файла JPEG или преобразования изображения из другого формата в JPEG должно быть задано требуемое качество изображения. Обычно, поскольку самое высокое качество приводит к наибольшему размеру файла, то может быть сделан компромисс, выбираемый пользователем между качеством изображения и размером изображения. Режим «JPEG» для сжатия обычно включает в себя 29 отдельных способов кодирования, несмотря на то, что средство реализации JPEG может не использовать их все. Изображению «JPEG» обычно дают суффикс имени "jpg".
"GIF" является сокращением для "Graphics Interchange Format", и обычно рассматривается в качестве формы стандарта «де факто», используемого для сжатия/декомпрессии изображения рисунка при передаче данных в Интернет. Форматирование по GIF использует алгоритм сжатия, известный как алгоритм LZW (Код Лемпела-Зива-Уэлча, ЛЗУ), который был разработан Abraham Lempel, Jacob Ziv и Terry Welch, и сделан доступным для приобретения корпорацией Unisys (несмотря на то, что обычно подобный алгоритм был сделан общедоступным без требования платы за лицензии). Более конкретно, алгоритм сжатия "LZW" выбирает каждую входную последовательность битов, имеющую заданную длину (например, 12 битов), и создает элемент (запись) в таблице, иногда называемой "словарем" или "кодовой книгой", для данной конкретной битовой комбинации, или образца. Запись состоит непосредственно из образца и более короткого кода. По мере считывания входных данных любой образец, который был считан прежде, приводит к подстановке более короткого кода, эффективно сжимая общее количество входных данных к некоторому меньшему. Более ранние подходы, известные как LZ77 и LZ78, не включали таблицу просмотра в виде части сжатого файла. Однако более современная модальность алгоритма LZW включает таблицу в состав файла, и программа декодирования, которая восстанавливает файл для просмотра, способна построить таблицу самостоятельно, используя алгоритм так, как он обрабатывает кодированные входные данные. Формат GIF использует 2-мерный (2D) тип растровых данных (ассоциируемый с экранами устройства отображения, использующего растровые строки), и является закодированным в двоичном коде.
Две версии форматов GIF включают в себя GIFA 87a, и более недавний GIF89a, который предусмотрен для создания файла "анимационного графического GIF-изображения", или коротких последовательностей изображений внутри отдельного файла GIF, которые воспроизводят последовательно, чтобы представить движение или изменение в изображении (либо посредством бесконечной последовательности, либо посредством последовательности, которая имеет конец). GIF89A также предусмотрен для, и также для "чересстрочного графического формата GIF", являющегося изображением GIF, которое поступает, и приемник его отображает первоначально как нечеткий контур изображения, которое постепенно заменяют семью, следующими один за другим сигналами (волнами) битовых потоков, которые заполняют отсутствующие строки, пока не достигнута максимальная (полная) разрешающая способность. «Чересстрочный» GIF позволяет, например, средству просмотра, использующему современные 14,4 кбит/с и 28,8 кбит/с, соблюдать более краткое время ожидания перед тем, как некоторая информация в предметном изображении может быть обработана так, как, например, для принятия решений (например, чтобы сделать щелчок по изображению для исполнения такого действия, как связь).
Представлением волн последовательностей, увеличивающих разрешающую способность изображения, «чересстрочный» GIF подобен "Прогрессивному JPEG", который описывает изображение, создаваемое с использованием набора применяемых JPEG алгоритмов сжатия, которые будут "постепенно проявлять изображение" в последовательных сигналах. В то время как «прогрессивный» JPEG часто отмечают как более привлекательный способ доставки изображения на скоростях соединения при использовании модемов, пользователи с более быстрыми соединениями могут, вероятно, не заметить различие.
Формат "PNG" (форматпереносимой сетевой графики, ПСГ) PNG), или "Portable Network Graphics", предназначенный для сжатия изображения, был разработан в более недавнее время и был заблаговременно рекламирован для замены формата GIF при использовании в Интернет (хотя не в целом формат JPEG, позволяющий компромиссы размер/качество). Данный формат был разработан для общедоступного употребления и разработки. Подобно GIF, PNG рассматривают как формат сжатия "без потери данных", и следовательно, всю информацию об изображении восстанавливают, когда сжатый файл декомпрессируют в течение просмотра. Однако файлы, форматированные с PNG, обычно являются на 10-30 процентов более сжатыми по сравнению с форматом GIF. Дополнительные особенности форматов PNG для файла представлены, как изложено ниже: (i) прозрачность цвета не может быть ограничена только одним цветом, но степень прозрачности может быть управляемой ("непрозрачность"); (ii) "чересстрочность" изображений усовершенствована относительно стандарта GIF; (iii) "гамма-коррекция" разрешена, допуская "настройку" изображений в терминах яркости цвета, требуемой конкретными производителями устройств отображения; (iv) изображения могут быть сохранены с использованием «естественной цветопередачи» (реальный цвет), набора визуальных атрибутов или палитры, и полутоновых форматов (или градаций серой шкалы), подобно GIF; и (v) "анимацию" (или мультипликацию) обычно не поддерживают, хотя PNG обычно рассматривают расширяемым и, следовательно, программное обеспечение может быть разбито на слои, чтобы предусмотреть такую представляемую сценарием анимацию изображения.
"TIFF" является сокращением для "Tag Image File Format" (формат файла тегированного изображения, ФФТИ), и является общим форматом для обмена растровыми графическими (или "битовыми образами") изображениями между прикладными программами, как, например, графическими представлениями, используемыми для изображений сканирующего устройства. Файл TIFF обычно получает суффикс имени ".tif" или ".tiff", и в целом был разработан в середине 1980х при поддержке Adobe Software, Microsoft и Hewlett-Packard. Файлы TIFF могут быть одним из нескольких классов, включающих в себя «серую шкалу», палитру цветов, или полный набор цветов RGB (красный, зеленый, синий, КЗС), описания и различия которых дополнительно разработаны в другом разделе в настоящем раскрытии. Файлы TIFF могут также включать в себя файлы JPEG, LZW, или CCITT (МККТТ) Group 4 со стандартным сжатием изображения с ограничением длины, которое также далее описано в другом разделе в настоящем раскрытии. Как один из наиболее общих форматов графического изображения, файлы TIFF обычно используют в настольной издательской системе, передаче по факсимильной связи, трехмерных («3-D») приложениях и приложениях для воспроизведения медицинских изображений.
Кодеки видео
Сжатие видеоизображений, или видео, было темой интенсивных разработок для различных приложений, включающих в себя, например: записанное заранее видео (например, «видео по запросу»), проведение телеконференций, и «живое» видео (например, телевещание). Настольные компьютеры, беспроводные устройства, обычное телевидение, и телевидение высокой четкости являются примерами различных типов приемных устройств, которые должна обслуживать эффективная система сжатия видео.
В общем случае алгоритмы кодека видео оперируют как на индивидуальной, «покадровой» основе, так и/или на основе "временного сжатия", причем каждый кадр представлен наиболее общими алгоритмами сжатия видео, находящимися в традиционном использовании, основанными на нескольких математических принципах, включающих в себя следующее: Дискретные косинусные преобразования (ДКП, "DCT"), волновые преобразования и «Чистые фракталы».
"Дискретные косинусные преобразования", или "ДКП", являются намного более популярными преобразованиями, используемыми для приложений сжатия изображения. Обычно ДКП является способом для представления данных формы сигналы в виде суммы взвешенных косинусов. ДКП подобен дискретному преобразованию Фурье (Fourier): он преобразует сигнал или изображение из пространственной области значений в частотную область значений. ДКП помогает разделить изображение на части (или спектральные под-диапазоны) с различающейся значимостью (относительно визуального качества изображения). Причины для его популярности включают в себя не только хорошую производительность в терминах силы сжатия для обычных изображений, но также и в наличии нескольких быстрых алгоритмов. ДКП используют в двух международных стандартах сжатия изображения/видео, JPEG и MPEG.
"Волновые преобразования" являются обычно математическими алгоритмами, которые преобразуют данные сигнала в набор математических выражений, которые могут быть затем декодированы приемным устройством получателя способом, как, например, сходным с преобразованием Фурье. Волновые преобразования были рассмотрены, чтобы увеличить восстановление слабых сигналов из шума, и поэтому изображения, обработанные таким образом, могут быть расширены без существенной «размытости» (размывания контуров) изображения или "загрязнения" деталей изображения. По данной причине обработка сигнала с помощью волнового преобразования особенно применима для рентгеновских изображений и магнитно-резонансных изображений в медицинских приложениях. В передаче данных по Интернет волновые преобразования были использованы для сжатия изображений в большей степени, чем обычно возможно при других обычных способах. В некоторых случаях изображение, сжатое волновым преобразованием, может составлять приблизительно 25 процентов от размера изображения с подобным качеством, которое использует более известный формат JPEG, обсуждаемый с дополнительными подробностями в другой части настоящего раскрытия. Таким образом, например, фотоснимок, который требует 200 Кб и занимает минуту на загрузку в формате JPEG, может потребовать только 50 Кб и занимать только 15 секунд на загрузку в формате, сжатом волновым преобразованием. Файл изображения, сжатый волновым преобразованием, часто получает суффикс имени ".wif" и либо приемник (например, браузер Интернет на компьютере-приемнике) должен поддерживать такие определяемые конкретным форматом файлы, или будет необходима сменная программа, чтобы считывать такой файл.
Фрактальное сжатие изображения является способом модуляции/демодуляции при кодировании изображения с потерями данных, который предусматривает несколько усовершенствований для существующих схем сжатия с помощью рядов Фурье. Изображение контура улучшено, поскольку моделируемые как пошаговые (постепенные) функции контуры требуют большого количества элементов рядов Фурье для изображения надлежащим образом. Другие преимущества фракталов включают в себя малое (быстрое) время декодирования и независимость масштабирования. Фрактальное сжатие основано на множествах Mandelbrot, которое использует преимущество особенности существа (Mandelbrot, 1983) множеств по самоподобию, зависимому масштабированию, статистическому характеру. Фрактальное сжатие и декомпрессия включают в себя подход к группированию для нахождения областей, которые показывают такие же характеристики, что и область образца, независимо от поворота и масштаба. Фрактальное сжатие изображения сжимает изображения в виде рекурсивных уравнений и команд о том, как их воспроизвести. Уравнения описывают изображение в терминах связей между его компонентами. Сокращение в потребности объема хранилища является следствием того, что при фрактальном сжатии сохраняют уравнения и команды вместо представления изображения в пикселях.
"MPEG" (Экспертная группа по движущимся изображениям, ЭГДИ) является сокращением для Moving Picture Experts Group и появился для использования синонимично с некоторыми разработанными стандартами сжатия видео и аудио, опубликованными ею. Обычно для использования видеофайлов MPEG необходим персональный компьютер с достаточным быстродействием процессора, внутренним запоминающим устройством, и пространством на накопителе на жестком диске, чтобы обрабатывать и воспроизводить обычно большой (по размеру) файл MPEG, которому, как правило, дают суффикс имени ".mpg". Указанные средство просмотра MPEG или клиентское программное обеспечение, которое воспроизводит файлы MPEG, должны быть доступны на системе клиента, и обычно могут быть загружены в качестве испытательной версии или коммерческих версий программ воспроизведения MPEG из различных сайтов сети Web. Режимы функционирования для форматированного с помощью MPEG мультимедиа описаны в настоящем документе со ссылкой на такие последовательно развиваемые стандарты, как следует ниже.
Более конкретно, MPEG-1 стандарт был создан для кодирования «постепенного» (прогрессивного) видео обычно на скорости передачи приблизительно 1,5 Мбит/с. В целом он был разработан для конкретного применения для носителей на компакт-дисках (КД, CD), предназначенных для аудиовизуальной информации (Video-CD), и ИКД (Интерактивный компакт-диск, CD-I). Уровень 3 аудио MPEG-1 ("MP3") также был развит из ранней работы MPEG. "MPEG-2" является стандартом, в целом разработанным для кодирования чересстрочных изображений со скоростью передачи более чем 4 Мбит/с, и был в целом предназначен для использования цифровым телевещанием (ТВ, TV) и цифровым универсальным диском. Несмотря на то, что обычно отмечают, что многие средства воспроизведения, или проигрыватели, MPEG-2 могут обрабатывать также данные MPEG-1, обратное обычно не отмечают справедливым и кодированное в MPEG-2 видео обычно несовместимо с проигрывателями MPEG-1. Еще другой прогрессивный стандарт, "MPEG-3", также был предложен для использования для телевидения высокой четкости (ТВВЧ, HDTV), хотя в общем MPEG-3 был объединен с MPEG-2, который обычно предполагают удовлетворяющим требованиям HDTV. В заключение, наиболее недавно был также разработан стандарт "MPEG-4" и предназначен для обеспечения значительно более «претенциозного» стандарта, направленного на синтез речи и видео, фрактальную геометрию, и компьютерную визуализацию, и был дополнительно раскрыт, чтобы включить в состав искусственный интеллект для восстановления изображения.
Стандарты MPEG-1 и MPEG-2 определяют способы для сжатия цифрового видео с коэффициентами, изменяющимися от 25:1 до 50:1. При соответствии данным стандартам такое сжатие достигают, обычно используя пять различных способов сжатия: (i) дискретное косинусное преобразование (ДКП), которое является преобразованием на основе частоты; (ii) «дискретизация», или квантование, которое является способом с потерями выборочной информации, например, "предсказание потерь", в котором некоторые изображения предсказывают по изображениям, непосредственно предшествующим изображению, и следующим непосредственно после.
Дополнительно более подробные примеры коммерчески доступных средств сжатия видео включают в себя: Microsoft Media PlayerТМ (доступный от корпорации Микрософт), RealPlayerТМ или RealSystem G2ТМ (коммерчески доступный от Real NetworksТМ), QuickTimeТМ компании Apple (коммерчески доступный от SorensonТМ); и "VDO". Обычно предполагают, что проигрыватель Microsoft Media PlayerТМ применяет стандарт MPEG для кодека при сжатии/декомпрессии, тогда как предполагают, что другие используют типы кодеков собственного производства (патентованные). Стандартные алгоритмы сжатия, такие как MPEG4, «продвинули себя» в руки разработчиков, которые создают встроенные системы для формирования потоков на предприятии, безопасности, и т.п.
Одним примером более недавнего усилия для обеспечения решений по потоковому видео в сетях беспроводной связи и IP-сетях был опубликован компанией, именуемой Emblaze Systems (LSE:BLZ). Данная компания раскрыла некоторый способ, который предназначен для кодирования и воспроизведения сообщений «живого» видео и «видео по запросу» и содержимого на любой платформе: ПК (PC), ПЦА (PDA), сотового видеотелефона и интерактивного ТВ (TV). Предполагают, что компания Emblaze Systems Emblaze Системы первоначально являлась GEO Interactive Media Group. Последующие опубликованные международные заявки на патент раскрывают некоторые способы сжатия потокового мультимедиа, которые, как предполагают, должны относиться к компании Emblaze Systems в том объеме, которой группой GEO Interactive Media Group назван как "Правопреемник": WO9731445 - Carmel et al.; и WO9910836 - Carmel. Раскрытия данных ссылок включены в настоящий документ во всей полноте путем ссылки на них.
Другой компанией, которая опубликовала способ кодека, предназначенный для усовершенствования передачи потокового мультимедиа для применений беспроводной связи, является корпорация PacketvideoТМ Corporation, более конкретно намеревающаяся передавать потоковое видео на сотовые радиотелефоны. В дополнение, как предполагают, они будут продвигать способ кодека, который предназначен для отслеживания временной масштабируемости, и устойчивости к ошибкам сигнала для того, чтобы защищать потоки видео и аудио от рисков сбоев среды беспроводной связи. Патент США, имеющий номер 6,167,092, выданный Lengwehasatit, раскрывает дополнительные примеры некоторого способа сжатия/декомпрессии потокового мультимедиа, который, как предполагают, должен быть ассоциирован с Packetvideo в качестве названного "Правопреемника" на лицевой стороне ссылки на данной патент. Раскрытие ссылки на данный патент включено в настоящий документ во всей полноте путем ссылки к нему.
Другая предшествующая ссылка раскрывает способ кодека, который предназначен для обеспечения эффективной по стоимости, непрерывно самонастраивающейся системы цифрового видео (телевидения) и способу сжатия данных цветного видео для движущихся изображений. Способ включает в себя выборку кадра аналогового видео и преобразование изображения в цифровую форму в формат входных данных предпочтительного источника для сжатия, используя комбинацию уникальных способов цифрового сжатия с потерями данных и без потери данных, включающих в себя кодирование под-диапазона, волновые преобразования, обнаружение движения, кодирование на основе длины серий и кодирование с переменной длиной. Система включает в себя секции блока кодирования, или кодера, и блока декодирования, или декодера (кодек), обычно раскрываемые для использования кодера по Хаффману ("Huffman"), для сжатия и декомпрессии визуальных изображений с целью обеспечения высокого сжатия, которое предназначено, чтобы обеспечить качество видео от хорошего до отличного. Сжатые видео данные обеспечивают базовый уровень видео и дополнительные уровни видеоданных, которые мультиплексированы совместно со сжатыми цифровыми аудиоданными, чтобы обеспечить поток данных, который может быть объединен в пакеты для распределения внутри сети или между сетями, включающих в себя сети беспроводной связи через местные или территориально распределенные области. Раскрытая система кодека предназначена, чтобы постоянно устанавливать сжатие цифровых изображений «кадр за кадром» в ответ на сравнение доступной полосы частот канала данных с доступной полосой частот на канале для предыдущего кадра, чтобы обеспечить поток выходных данных, соизмеримый с доступной полосой частот канала передачи по сети и с возможностями ресурсов приемников для клиентских пользователей. Сжатие может быть дополнительно установлено посредством настройки частоты кадров потока выходных данных.
Дополнительно более подробные примеры систем кодеков, которые предназначены для использования, по меньшей мере частично, для передачи потокового видео, раскрыты в следующих ниже Патентах США, имеющих номера №: 6,081,295 - Adolph et al; 6,091,777 - Guetz et al; 6,130,911 - Lei; 6,173,069 B1 - Daly et al; 6,263,020 Bl - Gardes et al; 6,272,177 - Murakami et al; и 6,272,180 Bl - Lei. Раскрытия этих ссылок полностью включены в настоящий документ путем ссылок.
Большинство, если не все, предшествующие методики сжатия потокового видео направлены на очень сложные математические инструментальные средства внутри таких кодеков, и искусные изменения к ним, чтобы переносить видео "один размер соответствует всем" по общедоступным и частным сетям всех типов, от сетей с ультранизкой полосой частот такой, какая бывает в сетях беспроводной связи, до спутниковой связи со сверхскоростными устройствами волоконно-оптический связи. Среди различных традиционных способов сжатия существуют обычно определяемые пользователем параметры, включающие в себя компромиссы между размером изображения, частотой кадров, насыщенностью цвета, контрастом, яркостью, воспринимаемым качеством кадра, размером буфера, и т.д. Дополнительно в рамках непосредственно алгоритмов существуют многочисленные, не определяемые пользователем качества и взвешенные вычисления. Разработчикам предоставлено устанавливать их один раз для некоторого "общего" интереса, и затем комплектовать и отправлять продукт.
Однако в то время как рынок потокового видео продолжает быстро расти, мир не выбрал ни один стандарт для сжатия, поскольку ни один алгоритм не является идеальным для всех источников видео, целевых объектов или модальностей передачи. Тогда как первый кодек может быть наилучшим для одного типа сигнала, или для первого блока сигнала (например, кадра или сцены, содержащей последовательность кадров), другой второй кодек может быть наилучшим для другого типа сигнала или даже другого второго блока этого же сигнала. Помимо этого один кодек может наилучшим образом приспособлен для сжатия/декомпрессии конкретного потокового сигнала среди посылающих, принимающих и передающих устройств в сети передачи; другой второй кодек может быть лучше приспособлен, чем первый, для такого же сигнала потокового мультимедиа, но для другого набора параметров устройства передачи данных. Например, некоторые потоки видео могут доставлять цвет на портативные переносные устройства, тогда как другие потоки видео могут использовать преимущество потери пикселей при «черно-белой» передаче на сотовый телефон, чтобы увеличить частоту кадров. Требуемое качество звука, значения частоты кадров, четкость изображения и допуски буферизации - все это определенно влияет на алгоритм сжатия при выборе доставки оптимизированного видео и аудио через разнородные платформы.
Фактически, некоторые параметры устройства передачи данных могут быть в достаточной степени переменными в течение передачи потокового мультимедиа, так что кодек, первоначально подходящий для начального набора параметров, может быть (визуально) воспроизводимым менее эффективно, чем другой кодек, вследствие изменений в этих параметрах в течение передачи одного и того же сформированного в поток сигнала. Примеры таких переменных параметров включают в себя, без ограничения: доступную ширину полосы частот в канале передачи данных, доступные возможности запоминающего устройства или обработки данных либо в посылающем, либо в принимающем устройствах, и назначенная разрешающая способность устройства отображения/окна на принимающем устройстве (например, минимизация окна на экране устройства отображения). Такие сложности комбинируются экспоненциально огромным количеством повторений различных комбинаций таких коэффициентов, которые могут отличать один кодек от другого, как являющегося более эффективным для сжатия, декомпрессии, и доставки конкретного сигнала потокового мультимедиа в конкретной системе устройства передачи данных.
Поскольку системы кодеков являются системами "конкретного формата", то исходное и целевое устройства должны быть "предварительно настроены", чтобы передавать сигналы мультимедиа между собой в соответствии с общими, конкретными модальностями сжатия/декомпрессии, иначе должны быть использованы преобразователи кода, или транскодеры. Однако, даже если используют традиционные транскодеры, ограничения в системе передачи данных (например, источник, канал передачи данных, целевое устройство) обычно не рассматривают, и передача данных может быть значимо некачественной (неправильной). С целью дальнейшей иллюстрации, на Фиг. 1A и 1B показаны две различные схемы традиционных способов передачи мультимедиа между источником 110-120 и целевыми устройствами 130-140. На этих иллюстрациях конкретно приведен пример передачи потокового видео, хотя другие формы мультимедиа могут быть представлены подобными системами.
Было отмечено, что алгоритмы кодека могут быть в целом изменены для конкретного приложения и затем выполнять лучше, чем подобный неизмененный, установленный по такому ограниченному примеру. Однако это обычно должно быть сделано либо для последовательности кадров, либо в идеальном случае для каждого индивидуального кадра. Некоторые алгоритмы, основанные на ДКП, имеют два биллиона (миллиарда) математических действий, совершаемых для каждого кадра при более высоких разрешающих способностях и низком воспринимаемом качестве. Выполнение этих операций от тридцати до шестидесяти раз в секунду является слишком большим количеством математических действий для средних машин, даже коммерческих серверов. Это является причиной для появления специализированной платы сжатия или ИСПО (Интегральная схема прикладной ориентации, ASIC).
Кодеки аудио
В дополнение к недавним интересам общества в усовершенствовании сжатия видео, сжатие аудио аналогично являлось темой значительных усилий также для различных «живых» или заранее записанных приложений, включающих в себя передачу звукозаписи, или аудио, музыки, передачу, синхронизированную с видео, «живую» (прямую) интерактивную речь (например, телефон). Любое и все эти приложения сжатия аудио должны быть совместимы с широким спектром клиентских приемников/проигрывателей, таких как множество переносимых или настольных вычислительных устройств, имеющих в большой степени изменяемые возможности и параметры функционирования (эксплуатационные параметры).
Традиционные кодеки аудио обычно содержат несколько различных типов, некоторые из них в настоящем документе кратко резюмированы с целью иллюстрации.
"Линейное предсказание с кодовым возбуждением", или ЛПКВ ("CELP"), является типом способа сжатия речевого сигнала, или речи, который использует кодеки (речевого) сигнала, и применяет "Анализ-через-синтез", или АчС, внутри структуры фильтра возбуждения для сопоставления сигнала с целевым сигналом. Кодеки, основанные на ЛПКВ, были развиты недавно, как преобладающий способ для высококачественного сжатия речевого сигнала, и были опубликованы для передачи сжатой речи переговорного качества со скоростью передачи данных, приблизительно такой низкой, как 6 кбит/с. Однако по меньшей мере одна публикация раскрывает, что качество кодированной с помощью ЛПКВ речи снижается значительно для битовых скоростей, равных или ниже 4 кбит/с.
"Вокодеры" являются кодеками речи, которые не основаны на схеме кодирования (формы) сигнала, а предпочтительно используют квантованное параметрическое описание целевой входной речи, чтобы синтезировать восстанавливаемую выходную речь. Вокодеры были раскрыты, чтобы доставлять улучшенное качество речи на низких скоростях передачи битов, таких как приблизительно 4 кбит/с, и были разработаны для таких приложений. Вокодеры с низкой скоростью передачи битов используют периодичные характеристики «вокализованной» (или, произнесенной) речи и "шумоподобные" характеристики неизменяющейся «невокализованной» (или, непроизнесенной) речи для анализа, кодирования и синтеза речи. Некоторые ранние версии вокодеров (например, федеральный стандарт 1015 LPC-10) используют способ для анализа и синтеза во временной области. Однако большинство более современных версий, в которых по меньшей мере одна публикация отмечает "гармонические кодеры", использует спектральную модель гармоник для фрагментов вокализованной речи.
Вопреки предшествующему описанию некоторых конкретных способов сжатия речевых сообщений огромное количество кодеков речевых сообщений и стандартов были разработаны промышленностью и находятся под управлением промышленности и некоммерческих групп. Примеры таких групп включают в себя, без ограничения перечисляемым, следующие ниже, и их стандарты часто используют в качестве ссылок на типы кодеков: European Telecommunications Standards Institute (ЕИСТ, ETSI) (Европейский институт стандартов по телекоммуникациям); Institute of Electrical and Electronics Engineers (ИИЭР, IEEE) (Институт инженеров по электротехнике и радиоэлектронике,); и International Telecommunication Union Telecommunications Standards Sector (МСЭ, ITU-T) (Международный союз электросвязи), Сектор Стандартов по телекоммуникациям ("ITU-T")), бывший МККТТ (CCITT).
Еще один недавно раскрытый способ и устройство для комбинированного кодирования речи, определенного для 4 кбит/с, кодирует речь для передачи на декодер для воспроизведения речи, при этом речевой сигнал классифицируют тремя типами речи: (i) установившаяся вокализованная, или "гармоника"; (ii) стационарная невокализованная; и (iii) "временная" или "переходная". Конкретный тип схемы кодирования используют для каждого класса. Кодирование гармоники используют для установившегося состояния вокализованной речи, "шумоподобное" кодирование используют для стационарной невокализованной речи, и специальный режим кодирования используют для переходной речи, который разработан для сбора данных о положении, структуре, и интенсивности локальных временных событий, которые характеризуют переходные блоки речи. Схемы сжатия предназначены для применения к речевому сигналу или к остаточному сигналу для линейного предсказания (LP).
Другой недавно раскрытый способ и структура для добавления к существующей системе дистанционной передачи данных нового способа кодирования речевого сигнала также резюмируется, как изложено ниже. Кодек введен в состав приемопередатчика, передающего речь, в цифровой системе дистанционной передачи данных, чтобы в системе использовать "новый" кодек и "старый" кодек одновременно. Кодек выбирают, осуществляя процедуру подтверждения установления связи между приемопередатчиками, причем во всех приемопередатчиках реализован способ кодирования речи и ранее был использован в рассматриваемой системе дистанционной передачи данных. Процедуру подтверждения установления связи используют в начале каждого соединения. В начале телефонного вызова и после передачи обслуживания способ проверяет, могут ли обе стороны использовать также новое кодирование речи. Сообщения процедуры подтверждения установления связи были выбраны так, чтобы их воздействие на качество речи было минимально, и еще так, чтобы вероятность идентификации сообщений была максимальна.
Тем не менее еще одна относительно недавняя ссылка раскрывает перестраиваемый перцепционный взвешивающий фильтр для тандемных (последовательно соединенных) кодеков, предназначенный для использования при сжатии речевого сигнала. Конкретные параметры фильтра настраиваются так, чтобы обеспечить улучшенную производительность в последовательно соединяемых контекстах. Более конкретно, используемые параметры являются коэффициентами блока кодирования с линейным предсказанием 10-го порядка. Данная система определена для использования кодеков "Линейного предсказания с кодовым возбуждением с малой задержкой", или ЛПКВ-МЗ ("LD-CELP").
Дополнительно более подробные примеры систем передачи потокового аудио, использующих кодеки такие, которые соответствуют непосредственно описанным, предоставлены в нижеследующих ссылках на патенты США: 6,144,935 - Chen et al.; 6,161,085 - Haavisto et al.; и 6,233,550 - Gersho. Раскрытия данных ссылок включены в настоящий документ полностью путем ссылки на них.
Искусственный интеллект (ИИ, AI) и нейронные сети с кодеками
Недавно были раскрыты различные системы и способы, которые предназначены для объединения искусственного интеллекта ("ИИ") или нейронных сетей со сжатием и декомпрессией сигналов потокового мультимедиа.
Термины "искусственный интеллект" в настоящем документе предназначены для обозначения моделирования, осуществляемого посредством компьютерных систем, способов обработки, свойственных мыслительным способностям человека, которые включают в себя обучение (приобретение информации и правил для использования информации), умозаключение (рассуждение) (использование правил для того, чтобы приходить к приближенному или определенному выводу), и самокоррекция. Конкретные применения ИИ включают в себя "экспертные системы", которые являются компьютерными программами, моделирующими рассуждение и поведение человека или организации, имеющих экспертные знания и опыт в конкретной области. Обычно экспертные системы содержат базу знаний для каждой конкретной ситуации, которая описана для программы, и может быть расширена дополнениями к базе знаний или к набору правил.
Термины "нейронная сеть" в настоящем документе предназначены для обозначения системы программ и структур данных, которые аппроксимируют осуществляемую мозгом человека обработку, обычно включающую в себя большое количество процессоров, функционирующих параллельно, каждый со своей собственной небольшой областью знаний и доступом к данным на своем локальном запоминающем устройстве. Обычно нейронную сеть первоначально обучают или задают большое количество данных и правил о связях, или отношениях, данных, после чего программа может сообщить сети, какое поведение должно быть в ответ на внешний стимул (например, на входную информацию). В создании определений, нейронные сети используют некоторые принципы, включающие в себя, не подразумевая ограничений, обучение на основе градиентных способов и нечеткую логику. Нейронные сети могут быть дополнительно описаны в терминах уровней знаний, обычно с более сложными сетями, имеющими более глубокие уровни. В системах нейронных сетей с прогнозированием отношения, или связи, для данных, полученные при обучении, могут осуществлять "прогнозирование" для более высоких уровней знаний. Нейронные сети могут быть также обучены понятиям о времени, или временным, и широко используются при обработке и анализе сигналов с помощью временных рядов. Другие опубликованные приложения нейронных сетей включают в себя анализ данных нефтепоисковых работ, предсказание погоды, интерпретацию нуклеотидных последовательностей в биологических исследованиях, и исследование моделей мышления и сознания.
Термины "нечеткая логика" в настоящем документе предназначены для обозначения подхода к вычислениям, основанного предпочтительно на "степенях истинности", чем на "Булевской логике", которая оперирует только в области истина/ложь (или "двоичном", как 1 или 0). Нечеткая логика была впервые выдвинута Dr. Lotfi Zadeh, University of California, Berkeley (профессором Калифорнийского Университета в Беркли) в 1960-ых годах в связи с работой над задачей понимания компьютером естественного языка, который не является легкопереводимым в абсолютные термины Булевской логики. Нечеткая логика часто включает в себя варианты 0 и 1 в качестве предельного варианта истинности, но также включает в себя различные состояния «промежуточной» истинности (например, определение того, что состояние находится на некотором пороговом значении, таком как 0,98, может помочь в принятии решения для назначения 1 с приемлемо низким возникновением ошибки при операции).
Один пример ранее раскрытой системы сжатия/декомпрессии потокового мультимедиа, предназначенной для использования искусственного интеллекта через нейронную сеть, применяет преобразование Radon для сжатия данных, таких как видеоданные. Несколько ранее раскрытых систем ИИ, и/или нейронных сетей предназначены для использования ИИ и/или нейронных сетей с целью исправления ошибок при использовании некоторых указанных кодеков, осуществляющих сжатие без потери данных. Например, обучающую систему используют, чтобы определить различие между тем, что было получено приемником после сжатия и передачи, и тем, что, как предсказано, должно было быть принято по окончании передачи. Это различие обрабатывают в качестве обучения для того, чтобы изменять настройки кодека для дополнительной передачи.
Другим примером раскрытого способа и устройства являются предназначенные для экстраполяции данных предыстории сигнала для вставки в отсутствующие фрагменты данных для того, чтобы маскировать ошибки цифровых речевых кадров. Способ экстраполяции использует предысторию сигнала, которую сохраняют в буфере. Способ осуществлен устройством, которое раскрыто как использующее (КИХ, "FIR"), многоуровневую с предсказанием искусственную нейронную сеть с конечной импульсной характеристикой, которая обучена посредством обратного распространения ошибки для одноэтапной экстраполяции параметров алгоритма (АСР) сжатия речи. Как только речевое соединение установлено, устройство, осуществляющее алгоритм сжатия речи, начинает посылать кодированные речевые кадры. По мере приема кадров речи их декодируют и преобразуют обратно в напряжения речевого сигнала. В течение нормального процесса декодирования происходит предварительная обработка требуемых параметров АСР и результаты сохраняют в буфере предыстории. Если обнаруживают, что речевой кадр потерян или ошибочен, то исполняют модули экстраполяции и генерируют параметры замены АСР и посылают в качестве параметров, требуемых АСР. Таким образом, передача информации к АСР подразумевает прозрачность, и обработку АСР продолжают так, как обычно. Это раскрытие утверждает, что приемник обычно не будет замечать, что речевой кадр был потерян вследствие плавного перехода между принятым последним, потерянным, и принятым следующим речевым кадром.
Дополнительные более подробные примеры систем, которые подразумевают использование искусственного интеллекта и/или нейронных сетей в системах для сжатия и/или декомпрессии мультимедиа, обычно относящиеся к способам кодеков, «конкретного типа» мультимедиа (например речь, видео), различным образом раскрыты в следующих ссылках на патенты США: 5,005,206 - Naillon et al.; 5,041,916 - Yoshida et al.; 5,184,218 - Gerdes; 5,369,503 - Burel et al.; 5,598,354 - Fang et al.; 5,692,098 - Kurdziel; 5,812,700 - Fang et al.; 5,872,864 - Imade et al.; 5,907,822 - Prieto, Jr.; и 6,216,267 Mitchell. Дополнительные примеры представлены в нижеследующих опубликованных международных заявках на патент: WO 01/54285 - Rising; EPO 0372608 А1 - Naillon et al. Раскрытия всех этих ссылок, приведенных в данном параграфе, включены в настоящий документ полностью путем ссылки на них.
Другие раскрытия систем кодеков, использующих обратную связь, или другие системы действующих кодеков для использования при обработке многообразия сигналов потокового мультимедиа, но о которых предполагают, что не используют конкретно обозначения "ИИ" или "нейронных сетей", раскрыты в следующих патентах США: 6,072,825 - Betts et al.; 6,182,034 Bl - Malvar; 6,253,165 Bl - Malvar; 6,256,608 Bl - Malvar. Раскрытия данных ссылок здесь включены в настоящий документ полностью путем ссылок на них.
Несмотря на существенные продвижения непосредственно в алгоритмах кодеков и несмотря на предшествующие подразумеваемые использования ИИ и других систем с обратной связью для действующих кодеков для того, чтобы повысить эффективности сжатия при передаче, все еще есть потребность в существенном усовершенствовании возможности эффективной доставки широкого многообразия сигналов потокового мультимедиа к широкому многообразию устройств целевого приемника по широкому многообразию каналов передачи с изменяющейся(емой) полосой частот и протоколами передачи данных.
Еще существует потребность встраивания ИИ и/или нейронных сетей, чтобы применять соответствующий кодек для передачи сигнала потокового мультимедиа, основанной на многообразии параметров, включающих, не подразумевая ограничения, один или более из нижеследующих: (a) автоматизированный выбор соответствующим образом оптимизированного кодека из библиотеки доступных кодеков, имеющих различные типы и действия, в особенности включающих в себя действие для выбранного кодека, основанное на интеллектуальных знаниях, по сравнению с действием другого кодека и/или со стандартным (действием), (b) предварительно приобретенное и/или повторно приобретаемое знание конкретного действия кодека в рамках данного набора параметров функционирования, представляющих существующую ситуацию; и (c) настройка соответствующего кодека на основании интеллектуального знания его действия относительно либо одной, либо обеих из существующих ситуаций или проверочной ситуации с указанными в ссылке параметрами.
В частности, все еще существует потребность в такой системе интеллектуального кодека, которая основывает применяемый кодек на существующей ситуации, которая определена одним или более из нижеследующего: параметрами непосредственно сигнала потокового мультимедиа; параметрами возможностей и ограничений канала передачи; и параметрами возможностей и ограничений приемного устройства.
Дополнительно существует также потребность в такой системе интеллектуального кодека, которая действует на основании интеллектуального знания по отношению ко всем таким действиям и ситуационных параметров так, чтобы оптимизировать соответствующее сжатие, передачу, декомпрессию, и воспроизведение содержимого сигнала потокового мультимедиа.
Традиционные транскодеры для потокового мультимедиа
Недавний интерес в области техники передачи потокового мультимедиа также представляет обеспечение взаимодействия между большой совокупностью используемых существующих "конкретного формата" систем кодирования. Существующая область техники для различных "конкретного формата" систем и предварительно кодируемого содержимого создала значительно фрагментированную возможность обрабатывать кодированное содержимое, приводя к существенному затруднительному положению в вопросах совместимости между пользователями-клиентами и поставщиками содержимого. Если один клиент желает видеть или слушать потоковое содержимое из конкретного источника, и это содержимое должно пройти через кодек для сжатия, то на клиентской стороне для декомпрессии должен быть использован совместимый кодек, чтобы воспользоваться сигналом. К сожалению, исходное содержимое часто «привязано» только к нескольким, и часто только к одной, конкретной схеме кодека. Следовательно, если клиент запрашивает такое кодированное содержимое (или если источник желает поместить кодированное содержимое конкретному клиенту), то должен быть удовлетворен один из двух критериев: (1) клиент должен загрузить или, иначе, обладать кодеком (декодером) "конкретного формата"; или (2) исходное мультимедиа должно быть пропущено через "транскодер", чтобы декодировать исходное мультимедиа из первого формата во второй формат, который является совместимым с клиентским устройством/системой. Термин "транскодер" в настоящем документе подразумевает обозначение системы, которая преобразовывает сигнал мультимедиа из одного кодированного (то есть сжатого) формата в другой.
Ранее были раскрыты различные способы для преобразования одного формата мультимедиа в другой. На Фиг. 1C показан один иллюстративный пример способа обработки (информации) в целом, который является характерным для многих известных способов преобразования. Более конкретно, сначала от конкретного типа устройства или проигрывателя принимают запрос 159 на содержимое, которое существует в начальном, несовместном формате. В соответствии с конкретным примером, показанным на Фиг. 1C, принимают запрос 159 от проигрывателя видеосодержимого в реальном времени, разработанного корпорацией Microsoft (Microsoft MediaТМ Player for RealТМ Video Content). Поскольку содержимое запрошено конкретно, то содержимое декодируют из начального формата (например, формата кодирования в реальном времени), и затем "перекодируют", или повторно кодируют, в соответствующий формат для запрашивающего проигрывателя (например, в формат Microsoft MediaТМ). Такая повторно кодируемая аудиовизуальная информация затем поставляется запрашивающему клиенту для декодирования внутри резидентной системы этого проигрывателя.
Данная традиционная система имеет существенные ограничения масшабируемости, по которым одновременная подача на множественные каналы для множественных клиентов должна быть поддержана равным количеством транскодеров. Например, на Фиг. 1D показана схема реализации способа традиционного преобразования, описанного выше, когда осуществляют управление четырьмя одновременными запросами на потоки от четырех проигрывателей Microsoft Media Player, в которых запрашиваемое содержимое первоначально кодировано в формате RealТМ реального времени. Системная архитектура, необходимая для поддержки четырех кодеров 151-154 и четырех декодеров 155-158, требует значительных вычислительных ресурсов. Например, предполагают, что каждому кодеру 151-154, приведенному в примере, необходим компьютер, имеющий частоту 600 МГц. (например, PentiumТМ III), наличие доступных 128 мегабайтов ОЗУ (RAM), или сдвоенные процессоры с частотой 400 МГц (например, PentiumТМ II) с наличием доступных 256 МБ ОЗУ. Дополнительно предполагают, что каждому декодеру 155-158 необходим компьютер с частотой 233 МГц (например, PentiumТМ II) с наличием доступных 64 МБ ОЗУ. Итак, четыре таких потока требуют эквивалента компьютеру Quad 900 Xeon (выпускаемому Compaq, Hewlett Packard, Dell и IBM, оцениваемому по стоимости на время данного раскрытия приблизительно в 9000$ для розничной продажи). Это приведено для четырех одновременных потоков, хотя общество в настоящее время требует тысячи тысяч одновременных потоков.
Существует еще потребность в системе транскодера, которая эффективно преобразует множественные сигналы потокового мультимедиа, кодированные в конкретном формате, в множественные другие форматы, используя минимальные вычислительные ресурсы и в эффективным по стоимости образом.
Параметры, влияющие на передачу мультимедиа
С целью дополнительного иллюстрирования многих переменных, которые могут воздействовать на выбор соответствующего кодека для того, чтобы передавать конкретную потоковую аудиовизуальную информацию требуемому получателю, нижеследующее является кратким резюме разнообразных различных типов форматов потокового видео и систем обработки. Предполагают, что каждая из этих различных систем в целом требует различных типов модальностей сжатия (например, кодеков) для того, чтобы оптимизировать передачу и воспроизведение сигналов потокового мультимедиа, учитывая доступные скорости передачи и полосу частот, а также параметры обработки приемника.
Несмотря на то, что некоторые конкретные типы форматов передачи и систем далее в настоящем документе описаны подробно, нижеследующая Таблица 1 представляет резюме значимого профиля разнообразных различных систем передачи данных и носителей (для) передачи, доступных в настоящее время или раскрытых с учетом доступной скорости или полосы частот.
Скорости передачи данных различных систем и носителей связи
PRI: Доступ для средних и больших предприятий
ISP к инфраструктуре Интернет
ISP к инфраструктуре Интернет
(Е-носитель)
ISP к инфраструктуре Интернет
ISP к инфраструктуре Интернет
Меньшие связи внутри инфраструктуры Интернет
До 1,920 одновременных речевых переговоров
Комментариии ключевые слова для Таблицы:
(i) Термин "кбит/с" является сокращением для "тысячи битов в секунду". В международном Английском языке вне США, эквивалентным использованием является "Кбит сек-1" ("kbits s-1") или "кбит/с" (kbits/s").
(ii) Специалисты-инженеры используют предпочтительноскорость передачи данных, чем скорость, но скорость (как при вопросе "Почему моя Web-страница не попадает сюда быстрее?") представляется более точным словом для менее предрасположенных к технике.
(iii) Что касается передачи данных, соответствующий термин, полоса частот ("емкость") или "пропускная способность", означает насколько широким является канал и как быстро биты могут быть посланы по нисходящим каналам связи в канале. Эти "скорости" являются составными скоростями. То есть данные по множественным сигнальным каналам внутри носителя обычно распределяют посредством канала для различных применений или среди различных пользователей.
Ключ: (i) "T" - система T-носителя в США, Канаде, и Японии...
(ii) "DS" - цифровой сигнал (который передают на T-носителе или E-носителе)...
(iii) "E" - эквивалентно "T", который использует все 8 битов на канал; используют в странах, отличных от США, Канада, и Япония...
(iv) "OC" - оптический носитель (Синхронная оптическая сеть) "STM" - Синхронные транспортные модули (см. Синхронная цифровая иерархия).
(V) Показаны только наиболее общие способы.
(vi) "Физическая среда" констатирована в целом и не определяет классы или количество пар витой пары, или является ли оптическое волокно одномодовым или многомодовым,
(vii) Эффективное расстояние технологии не показано.
(viii) Существуют опубликованные стандарты для многих из этих средств.
Примечание по модему для кабельных линий: верхний предел в 52 Мбит/с для кабеля является для ISP (поставщик услуг Интернет), в настоящее время не для индивидуального ПК (PC). Большинство современных PC ограничено внутренним построением, которое может обеспечивать не более чем 10 Мбит/с (хотя шина PCI непосредственно передает данные с более высокой скоростью). Кабельный канал на 52 Мбит/с разделен между индивидуальными пользователями. Очевидно, чем быстрее канал, тем меньшее количество каналов будет требовать ISP, и тем ниже стоимость для поддержки индивидуального пользователя.
Системы носителей Интернет
Передача потокового видео через Интернет может иметь место через разнообразие модальностей передачи, включающих в себя, например, цифровые абонентские линии (ЦАЛ, "DSL"), линии "T1", модемы кабельных линий, модем коммутируемой линии традиционной телефонной службы (ТТС, POTS), и беспроводные носители. В то время как описание многих различных модальностей беспроводной передачи рассмотрено в настоящем документе отдельно, резюме различных других режимов передачи для них приведено непосредственно ниже с целью дальнейшей иллюстрации, как изложено ниже.
Термины "POTS", или "традиционная телефонная служба обычная", или "коммутируемая линия", в применении к каналам передачи данных в настоящем документе используют, заменяя один другим. Эти термины предназначены для обозначения "узкополосной" передачи, которая обычно соединяет конечных пользователей в жилых домах или на мелких предприятиях с офисом телефонной компании посредством медных проводов, которые являются свитыми, или "витой парой". Традиционная телефонная служба была создана, чтобы позволить вам осуществлять обмен речевой информацией с другими пользователями телефонов с помощью аналогового сигнала, который представляет акустический аналоговый сигнал, преобразованный в электрический эквивалент в терминах уровня громкости (амплитуда сигнала) и основного тона (частота изменения сигнала). Поскольку сигнализация телефонной компании уже установлена для передачи этого аналогового сигнала, то для нее более легким является использовать его как способ передавать информацию назад и вперед между вашим телефоном и телефонной компанией. Поэтому используют модемы коммутируемой линии для демодулирования аналогового сигнала и превращения его значений в строку из значений 0 и 1, которые называют цифровой информацией. Поскольку аналоговая передача использует только малую часть имеющегося в наличии количества информации, которая может быть передана по медным проводам, то максимальным количеством данных, которые вы можете принимать с использованием обычных модемов, является приблизительно 56 кбит/с. Возможность вашего компьютера принимать информацию ограничена тем фактом, что телефонная компания фильтрует информацию, которая прибывает в виде цифровых данных, превращает ее в аналоговую форму для вашей телефонной линии и требует, чтобы ваш модем вернул ее обратно в цифровом виде. Другими словами, аналоговая передача между вашим домом или предприятием и телефонной компанией является узким местом полосы частот.
С АЦСИ (ISDN), или "абонентской цифровой сетью Интернет", которую некоторые рассматривают, как являющуюся ограниченным предшественником к ЦАЛ, скорость поступающих данных до приблизительно 128 кбит/с может быть достигнута для некоторых клиентов - конечных пользователей.
"ЦАЛ" или "цифровая абонентская" линия обычно определяют как носитель для передачи "широкополосной сети", предназначенный для осуществления передачи с высокой пропускной способностью по обычным медным телефонным линиям. Были раскрыты многие различные типы услуг "ЦАЛ", имеющих обычно изменяемую скорость данных и предназначенные применения. Хотя далее в настоящем документе предусмотрено обсуждение некоторых из этих типов ЦАЛ, в нижеследующей Таблице 2 представлено резюме информации некоторых из этих типов ЦАЛ с целью дополнительной выработки понимания краткого обзора:
Типы известных услуг ЦАЛ.
(˜5,5 тыс.м)
Услуги для дома и малого производства; подобно DSL Lite
ростная цифровая абонентская линия
2,048 Мбит/с дуплекс на трех витых парах;
(˜3650 м)
ная ЦАЛ предложенная компанией в Европе
1,5 до 2,3 Мбит/с восходящий;
1,6 Мбит/с до 2,3 Мбит/с нисходящий
Обычно публикуемые скорости передачи данных для службы ЦАЛ, которые могут изменяться в зависимости от расстояния от центрального офиса компании, предлагающей услуги, включают в себя скорости до 6,1 Мбит/с (теоретически опубликовано 8,448 Мбит/с), которые, как предполагают, допускают непрерывную передачу движущегося видео, аудио, и трехмерных эффектов. Более типичные индивидуальные соединения обеспечивают от 512 кбит/с до 1,544 Мбит/с для нисходящего потока и приблизительно 128 кбит/с для восходящего. Линия ЦАЛ может передавать сигналы как данных, так и речевые, и часть линии, относящаяся к данным, является постоянно соединенной. В некоторых публикациях предвосхищалось, что ЦАЛ заменит АЦСИ во многих областях и конкурирует с кабельным модемом за передачу аудиовизуальной информации в жилые дома и на предприятия. ЦАЛ действует правильно в рамках цифровой области и не требует изменения в аналоговую форму и обратно. Цифровые данные передают на целевые компьютеры непосредственно как цифровые данные, и это позволяет телефонной компании использовать намного более широкую полосу частот для прямой передачи. Между тем, если клиентский пользователь выбирает, то сигнал может быть разделен так, чтобы часть полосы частот была использована для передачи аналогового сигнала, так что телефон и компьютер могут быть использованы той же линией и в то же время.
Большинство средств ЦАЛ требует, чтобы разделитель (распределитель) сигнала был установлен в жилом доме или на предприятии, требуя расходов на посещение телефонной компанией и установку. Однако возможно управлять разделением удаленно из центрального офиса. Это известно как ЦАЛ без разделителя, "Упрощенная ЦАЛ", G.Lite, или Универсальная АЦАЛ (Асимметричная цифровая абонентская линия, ADSL) (дополнительно определенная ниже) и недавно было определено в качестве стандарта. Несмотря на то, что их стандартизирует Международный союз электросвязи (МСЭ, ITU), различные виды ЦАЛ используют несколько способов модуляции. Различные производители модемов ЦАЛ используют либо способ Дискретной многочастотной (ДМЧ, DMT) модуляции, либо Амплитудной модуляции без несущей (АМБН, САР). Третий способ, известный как Множественная виртуальная линия (МВЛ), является еще одной возможностью.
Набор параметров действий ЦАЛ является переменным и воздействует на эффективную скорость передачи данных, которая может быть достигнута. Модемы ЦАЛ обычно отслеживают кратные значения скоростей передачи данных, установленные по стандартам Северной Америки и Европы. Обычно максимальной зоной для ЦАЛ без повторителя является 5,5 км (18000 футов). По мере уменьшения расстояния от офиса телефонной компании скорость передачи данных возрастает. Другим показателем является размер, или номер, медного провода. С более тяжелым 24 размером провода на той же скорости передачи данных передают на большее расстояние, чем с 26 размером провода. Для целевого устройства вне зоны в 5,5 километров ЦАЛ еще может быть обеспечена, хотя обычно только если соответствующий поставщик телефонной компании расширил местную сеть оптоволоконным кабелем.
Для подсоединения множественных пользователей ЦАЛ к высокоскоростной сети, такой как "магистральная сеть", телефонная компания использует Мультиплексор доступа к цифровой абонентской линии (МДЦАЛ, "DSLAM"). Обычно МДЦАЛ осуществляет соединение с сетью c Асинхронным режимом передачи (АРП, "ATM"), которая может объединять передачу данных на скоростях передачи данных, измеряющихся гигабитами. На другом конце каждой передачи МДЦАЛ демультиплексирует сигналы и пересылает к соответствующим индивидуальным соединениям ЦАЛ.
"АЦАЛ" или "Асимметричная цифровая абонентская линия" является формой ЦАЛ, которая станет наиболее знакомой пользователям дома и на небольших предприятиях. АЦАЛ называют "асимметричной", потому что большая часть ее двусторонней, или "дуплексной", полосы частот посвящена направлению нисходящего потока, посылая данные пользователю. Только малая часть полосы частот доступна для восходящего потока данных или сообщений о взаимодействии с пользователем. Однако большая часть Интернет и, особенно, графические или мультимедийные интенсивные данные Web требуют большей полосы частот для нисходящего потока данных, но пользовательские запросы и ответы являются небольшими и требуют меньшей полосы частот для восходящего потока данных. Используя АЦАЛ, можно посылать данные по нисходящему потоку до 6,1 Мбит в секунду и до 640 кбит/с по восходящему потоку. Высокая пропускная способность (полоса частот) нисходящего потока данных означает, что телефонная линия может переносить движущееся видео, аудио, и трехмерные изображения на целевые компьютеры или телевизионные дисплеи. В дополнение, небольшая часть полосы частот нисходящего потока может быть посвящена речевым данным, чем просто данным, и речевое общение по телефону можно осуществлять без требования отдельной линии. В отличие от подобной услуги по линиям "кабельного" телевидения, АЦАЛ не конкурирует за полосу частот с соседями в данной зоне. Во многих случаях ваши существующие телефонные линии будут работать с АЦАЛ. В некоторых зонах они могут требовать обновления.
ЦАЛП (CDSL) или "ЦАЛ потребителя" является имеющей товарный знак версией ЦАЛ, которая должна быть сделана доступной корпорацией Rockwell, и которая является несколько более медленной, чем АЦАЛ (1 Мбит/с для нисходящего потока, обычно прогнозируемого как более низкий, чем восходящий поток), но имеет преимущество, что "разделитель" не должен быть установлен на конце линии у пользователя. Могут потребоваться технические средства, чтобы передавать ЦАЛП местными телефонными компаниями в жилые дома или на предприятия. ЦАЛП использует свои собственные технологии носителей вместо технологий ДМЧ или АЦАЛ АМПН.
Различные компании работали с телефонными компаниями при разработке стандартной и более простой версии установки АЦАЛ, называемой "G.Lite", которую, как предполагают, развертывают на момент времени данного раскрытия. "G.Lite" или "Упрощенная ЦАЛ" (также известная как "АЦАЛ без разделителя", и "Универсальная АЦАЛ") как предполагают, является по существу более медленной АЦАЛ, которая не требует разделения линии на пользовательском конце, но удаленно в телефонной компании управляет ее распределением для пользователя, которое, как предполагают, снизит затраты. G.Lite, официально стандарт Г-992.2 ITU-T, опубликован для обеспечения скорости передачи данных от 1,544 Мбит/с до 6 Мбит/с для нисходящего потока и от приблизительно 128 кбит/с до приблизительно 384 кбит/с для восходящего потока данных. По меньшей мере одна публикация прогнозировала, что G.Lite станет наиболее широко (в различных местах) устанавливаемой формой ЦАЛ.
ВЦАЛ (HDSL) или "Высокоскоростная ЦАЛ", как предполагают, является наиболее ранним вариантом ЦАЛ, который должен быть широко использован для широкополосной цифровой передачи внутри общего (корпоративного) сайта и между телефонной компанией и потребителем (абонентом). Основная характеристика ВЦАЛ состоит в том, что она является симметричной: равный объем полосы частот является доступным в обоих направлениях. По этой причине максимальная скорость передачи данных обычно является более низкой, чем для АЦАЛ. ВЦАЛ может передавать по отдельному проводу витой пары столько, сколько можно передать по линии Tl в Северной Америке или линии E1 в Европе (до приблизительно 2,32 Мбит/с).
ИЦАЛ или "АЦСИ ЦАЛ" является отчасти неправильным употреблением термина, поскольку в действительности он ближе к скорости передачи данных и обслуживанию АЦСИ на скорости приблизительно 128 кбит/с по сравнению с намного более высокими скоростями передачи данных, обычно ассоциируемых с АЦАЛ.
"RADSL" или "ЦАЛ с изменяемой (адаптируемой) скоростью потока" является средством АЦАЛ, которое будет сделано доступным от компании Westell, и в котором программное обеспечение способно определять частоту, на которой сигналы могут быть переданы по заданной телефонной линии потребителя, и соответственно настраивать скорость доставки. Версия системы "FlexCap2ТМ" компании Westell использует RADSL для доставки по существующей линии от приблизительно 640 кбит/с до приблизительно 2,2 Мбит/с для нисходящего потока и от приблизительно 272 кбит/с до приблизительно 1,088 Мбит/с для восходящего потока данных.
СЦАЛ (SDSL) или "Симметричная ЦАЛ" является сходной с ВЦАЛ, имеющей единственную линию витой пары, передающей приблизительно 1,544 Мбит/с (США и Канада) или приблизительно 2,048 Мбит/с (Европа) по дуплексной линии в каждом направлении. Она является симметричной, поскольку скорость передачи данных является одинаковой в обоих направлениях.
ОЦАЛ ("UDSL") или "Однонаправленная ЦАЛ" является предложением от Европейской компании, и как предполагают, обеспечивает версию однонаправленной ВЦАЛ.
"VDSL" или "Сверх высокоскоростная ЦАЛ", как предполагают, является технологией, находящейся в разработке, которая обещает намного более высокие скорости передачи данных на относительно короткие расстояния, например, между приблизительно 51 и приблизительно 55 Мбит/с по восходящим линиям на расстояния до приблизительно 1,000 футов или приблизительно 300 метров. По меньшей мере одна публикация прогнозировала, что VDSL может появиться приблизительно после того, как широко развернута АЦАЛ, и сосуществовать с ней. Технология передачи (АМПН, ДМЧ, или другие) и их эффективность в некоторых средах еще не определены. Множество учреждений по стандартам работают над этим.
"x2/ЦАЛ" является модемом от компании 3Com, который поддерживает 56 кбит/с связь с применением модемов, но является расширяемым по функциональным возможностям посредством установки нового программного обеспечения к АЦАЛ, когда она (АЦАЛ) станет доступной в пользовательской зоне. По меньшей мере одна публикация приводит 3Com в качестве описания такого средства являться "последний модем, который вам когда-либо потребуется".
Линию передачи "T1" (передача по схеме Т1) обычно рассматривают в качестве носителя широкополосной сети и определяют как тип системы с "T-несущей", которая, как предполагают, была впервые представлена Bell System в США в 1960-ых годах в качестве первой успешной системы, которая поддерживала цифровую передачу речи. Система с T-несущей является полностью цифровой, использующей импульсную кодовую модуляцию и мультиплексирование с временным разделением. Речевые сигналы обычно дискретизируют приблизительно 8000 раз в секунду и каждую выборку представляют в цифровой форме в слове из 8 битов. При 24 каналах, представляемых в цифровой форме одновременно, кадр из 192 битов, представляющий 8-битовые слова на каждом из 24 каналов, таким образом передают приблизительно 8000 раз в секунду. Каждый кадр разделяют от следующего одиночным битом, что приводит к блоку из 193 битов. Опубликованная скорость передачи данных для Tl, соответствующая 1,544 Мбит/с, обычно представляет 192-битовый кадр, и 1-битовый сигнализирующий бит, умноженный на 8000.
Система T1 обычно использует 4 провода и обеспечивает возможность дуплексной связи посредством двух проводов, выделенных для приема, и двух для посылки в одно время. Цифровой поток T-1 включает в себя 24 канала, имеющих скорость 64 кбит/с, которые мультиплексированы, в которых стандартный канал на 64 кбит/с является основанным на полосе частот, требуемой для сеанса речевого общения. Четыре провода были первоначально двумя витыми парами медных проводов, но более современные системы предусматривают для носителей коаксиальный кабель, оптическое волокно, цифровой сверхвысокочастотный сигнал и другие средства. Количество и использование каналов могут отличаться от рекомендаций стандарта.
Первоначальная скорость передачи (1,544 Мбит/с) для линий T-1 в настоящее время находится в общем использовании для подсоединения к Интернет поставщиком (ПУИ, "ISP") услуг Интернет. Другой уровень, линия T-3, опубликован для обеспечения (скорости) 44,736 Мбит/с, и его также обычно используют поставщики услуг Интернет. Еще одной совместно используемой службой является "усеченный канал Т1", который является вместе с другими неиспользуемыми каналами сдаваемой в аренду некоторой частью из 24 каналов линии T-1.
Возможности/Ограничения устройств отображения и связанные стандарты
Разнообразные различные типы возможностей устройств отображения приемника могут также значительно влиять на соответствующую модальность кодеков для эффективного обмена конкретными сигналами потокового мультимедиа (потоковой аудиовизуальной информации), предназначенными для (устройств) отображения приемником. Краткое резюме некоторых примеров для иллюстрирования таких изменяемых параметров (устройств) отображения (например, разрешающей способности, четкости изображения, цвета, насыщенности цвета, размера, типа/определения форматом) представлено для лучшего понимания, как изложено ниже.
Одним из параметров, который значительно изменяется для различных типов и принимается во внимание устройством приемника потокового мультимедиа, и, следовательно, который может иметь существенное влияние на соответствующий кодек, подлежащий использованию, является диапазон цветов, которые могут быть выражены устройством отображения, или "палитра". Стандартная "безопасная для браузера" палитра, которая может быть предоставлена (адаптирована) большей частью программного обеспечения, предназначенного для (устройств) отображения потокового мультимедиа, основанного на использовании средств Интернет, может включать в себя, например, приблизительно 216 цветов, хотя для основанного на использовании средств Интернет потокового мультимедиа должны быть поняты возможность отображения компьютером, а также возможность программного обеспечения браузера.
Что касается технологии отображения компьютером, то цвет устанавливают для каждого отдельного пикселя или адресуемого элемента освещения на экране. Каждый пиксель имеет красный, зеленый, и синий (КСЗ, RGB) компоненты. Задавая значение интенсивности для каждого из этих компонентов, этому пикселю придают индивидуальный цвет. Отображение с "естественной цветопередачей" обычно определяет цвет пикселя на экране устройства отображения с использованием 24-битового значения, допуская возможность до 16777216 возможных цветов. Количество битов, используемых для определения оттенка цвета пикселя, называют "битовой глубиной". Естественную цветопередачу иногда обозначают как "24-битовый цвет", хотя многие современные системы цветного (устройств) отображения предлагают режим 32-битового цвета. Дополнительный байт, называемый "альфа-каналом", обычно используют для управления и информации о специальных эффектах. Установку (устройств) отображения "серой шкалы" (составленной из дискретных оттенков серого) обычно определяют как имеющую N-битовую глубину, причем N представляет насыщенность черного внутри пикселя. Если N=1, то изображение не называют "серой шкалой", а вместо этого монохромным или черно-белым, поскольку бит может быть только "включен" или "выключен" и не может содержать информацию об оттенке.
Общие значения разрешения компьютера включают в себя, например, и без ограничения перечисляемым, нижеследующее:
(i) VGA, или видеографическая матрица (ВГМ), способная к отображению 640x480 пикселей в 16 цветах или 320x240 пикселей в 256 цветах с соотношением геометрических размеров, равным 4:3;
(ii) SVGA или "супер" видеографическая матрица (СВГМ), способная отображать 800x600x6 битов/пикселей (16 цветов) или 650x480x8 битов/пикселей (256 цветов). СВГМ была создан Ассоциацией (Ассоциация по стандартам в области видеооборудования, АСОВ, VESA) Video Electronics; и
(iii) XGA (vl-4) или расширенная видеографическая матрица (РГМ), способная к отображению 1024x768 пикселей в 32768 цветах.
Были добавлены дополнительные стандарты, такие как SXGA, определяющие размеры пикселя свыше 1960x1440 и насыщенность (глубину) цвета в 32 бита/пикселя и более.
В том случае, когда сигнал мультимедиа использует больший диапазон цветов (или палитру), чем конкретное устройство отображения или браузер могут обрабатывать, большинство браузеров обычно настраивают на "размывание" цветов, которое в настоящем документе предназначено для обозначения того, что браузер будет искать цвета внутри своей палитры, которыми он может заменять любой цвет, который находится вне его палитры. Чтобы дополнительно иллюстрировать широкий диапазон различных системных возможностей отображения, системы, использующие операционные системы, основанные на WindowsTM (доступные для приобретения от корпорации Микрософт) и MacintoshTM (доступные для приобретения от корпорации Apple), не имеют идентичных палитр; в пределах обычной палитры на 256 цветов, 216 являются общими для обоих типов браузеров, тогда как 40 являются различными, и следовательно, требуют сглаживания цветовых переходов браузером, действующим в рамках одной из систем, если сигнал изображения взаимодействует с таким типом системы в формате, указанном другой.
Существуют также многие различные технологии, которые касаются того, как визуальное отображение запускают из электронной информации. Термины "VDT" или "видео дисплейный терминал" (ВДТ, VDT) обычно используют в рамках компьютерной промышленности и в настоящем документе предназначены для использования, чтобы заменять простые ссылки на "устройство отображения". Что касается использования терминала компьютера, то ВДТ содержит поверхность для выводимых данных компьютера и проецирующее устройство, которое демонстрирует текстовые и графические изображения пользователю компьютера. ВДТ может использовать разнообразие конкретных средств отображения, включающих в себя, например, электронно-лучевую трубку (ЭЛТ, "CRT"), жидкокристаллические дисплеи (ЖКД, "LCD"), светоизлучающие диоды (СИД, "LED"), плазменные, или другую технологию проецирования изображения. Обычно предполагают, что устройство отображения, или дисплей, включает в себя экран, или поверхность для проецирования, и устройство, которое выводит информацию на экран. В некоторых компьютерах дисплей конструктивно помещают в отдельный модуль или "монитор", или дисплей может быть полностью объединен в единый модуль вместе с процессором компьютера.
Что касается в частности ЖКД, то такое средство обычно требует минимального объема и физической толщины по сравнению с другими ВДТ, и поэтому его обычно используют в портативных ЭВМ и сотовых телефонах/персональных цифровых ассистентах (ПЦА, PDA). Дисплеи ЖКД потребляют значительно меньше энергии, чем ВДТ, использующие СИД и газоплазменные дисплеи, потому что они функционируют предпочтительнее по принципу обычно блокирования света, чем излучения его. ЖКД может быть также "пассивной матрицей" или "активной матрицей", которая также известна как "тонкопленочный транзистор" или "TFT" дисплей. Пассивная матрица ЖКД имеет сетку проводников с пикселями, расположенными на каждом пересечении в сетке. Ток подают через два проводника на сетку для управления светом произвольного пикселя. Активная матрица имеет транзистор, расположенный на каждом пиксельном пересечении, требуя меньшего тока для управления яркостью пикселя. По этой причине ток в дисплее с активной матрицей можно "включать" и "выключать" более часто, совершенствуя время обновления экрана, и следовательно, эффективность для более высоких скоростях потокового мультимедиа (например, видеоизображение действия). Некоторые ЖКД с пассивной матричный имеют двойную развертку изображения, при которой они сканируют сетку током дважды, одном сканирование в более ранних версиях; однако активную матрицу обычно рассматривают как средство, превосходящее оба. Технология отражательного цветного дисплея является интеграцией цветных фильтров в устройство дисплея с пассивной матрицей и является менее мощной недорогой альтернативой средств активной матрицы. Поскольку они отражают окружающий свет, отражательные ЖКД предоставляют особенно высокую эффективность при использовании на открытом воздухе при дневном свете. Разнообразные различные средства устройств отображения, и следовательно, форматы передачи, также были конкретно разработаны для телевизионного просмотра. Таким образом, несколько различных стандартов были разработаны для телевизионной передачи, и их различия могут значительно влиять на сущность и степень требуемого сжатия (и следовательно, выбор конкретного кодека) для передачи сигналов потокового мультимедиа в среде телевидения. Такие стандарты включают в себя, в частности и без ограничения перечисляемым: традиционную телевизионную систему (ТТВ, "SDTV"); и телевидение высокой четкости (ТВЧ, "HDTV").
"ТТВ" или "традиционная телевизионная система" и "ТВЧ" или "телевидение высокой четкости" являются двумя категориями форматов отображения для передач цифрового телевидения (ЦТВ, "DTV"), которые становятся стандартом. Такие форматы обеспечивают качество изображения, подобное цифровому универсальному диску (ЦУД, "DVD"), и резюмированы относительно их сходств и различий, как изложено ниже.
ТВЧ обеспечивает отображение с более высоким качеством, при отображении с разрешающей возможностью по вертикали от приблизительно 720п. до, по меньшей мере, приблизительно 1080ч. и соотношением геометрических размеров (отношение для экрана ширины к высоте) обычно 16:9, для впечатления от визуального отображения, сходного с просмотром кинофильма. Для сравнения, ТТВ имеет диапазон более низких разрешающих способностей и не имеет определенного соотношения геометрических размеров. Новые телевизионные приемники будут либо с возможностями ТВЧ, либо с возможностями ТТВ, причем с приемниками, которые смогут преобразовывать сигнал к их внутреннему формату отображения. ТТВ, в качестве общего с ТВЧ, использующий способ сжатия файла MPEG-2 таким образом, который обычно понижает цифровой сигнал от приблизительно 166 Мбит/с до приблизительно 3 Мбит/с. Это позволяет станциям телевизионного вещания передавать цифровые сигналы с использованием существующего кабеля, спутника и наземных систем. MPEG-2 использует способ сжатия с потерями данных, что означает, что цифровой сигнал, посылаемый телевидению, является сжатым и некоторые данные потеряны, но эти потерянные данные могут или не могут влиять на то, как глаз человека просматривает изображение. В обоих стандартах и ATSC (Комитет систем перспективного телевидения, КСПТ), и DVB (цифровая ТВ-трансляция, ЦТВТ) MPEG-2 выбран для сжатия и переноса видео. Стандарт сжатия MPEG-2 описан с дополнительными подробностями в другой части настоящего документа.
Поскольку сжатый цифровой сигнал ТТВ меньше, чем сжатый сигнал ТВЧ, станции телевизионного вещания могут осуществлять передачу до пяти программ ТТВ одновременно вместо только одной программы ТВЧ, иначе известную как "мультивещание". Мультивещание является привлекательной возможностью, поскольку телевизионные станции могут получать дополнительный доход от дополнительного рекламирования этих предоставляемых дополнительно программ. В современной системе аналогового телевидения одновременно можно передавать только одну программу. Следует обратить внимание, что такое использование термина "мультивещание" является отличным от его использования для потокового видео, в котором он включает в себя использование специальных способов адресации.
Когда в США решили сделать переход от аналогового телевидения к ЦТВ, Федеральная Комиссия Связи (ФКС, FCC) приняла решение позволить станциям телевизионного вещания решать, передавать по ли программы ТТВ или ТВЧ. Большинство решили передавать программы ТТВ в дневное время и передавать программы ТВЧ в течение более выгодного эфирного времени. И ТТВ, и ТВЧ поддержаны набором стандартов цифрового видеовещания, (ЦТВ, DTV) и Комитетом систем перспективного телевидения (КСПТВ, ATSC).
ТВЧ в качестве технологии телевизионного отображения обеспечивает качество изображения, подобное кинофильму на пленке 35 мм с качеством звучания, подобным таковому для современного компакт-диска (дополнительно, что касается качество звучания, ТВЧ принимает, воспроизводит и выводит Dolby Digital 5.1). Некоторые телевизионные станции начали передачу ТВЧ вещания пользователям по ограниченному количеству каналов. ТВЧ обычно использует передачу предпочтительно цифрового, чем аналогового сигнала. Однако в Японии первая аналоговая программа ТВЧ была транслирована 3 июня 1989. Первым изображением для появления были Статуя Свободы и Нью-йоркская гавань. Оно требовало канал с частотой 20 МГц, из-за которого трансляция (вещание) аналогового ТВЧ не является выполнимой в большинстве стран.
ТВЧ обеспечивает отображение с более высоким качеством, чем ТТВ, с разрешающей возможностью по вертикали от 720п. «П.» обозначает «прогрессивная развертка», что означает, что каждое развертывание включает в себя каждую строку для полного изображения, и «ч» обозначает«чересстрочную развертку», что означает, что каждое развертывание включает в себя чередующиеся строки для половины изображения. Такие частоты переводят в частоту кадра до 60 кадров в секунду, вдвое больше, чем для обычного телевидения. Одной из наиболее выдающихся возможностей ТВЧ является его более широкое соотношение геометрических размеров (отношение ширины к высоте для экрана), равное 16:9, разработка, которая основана на убеждении, основанном на исследовании, что впечатление телезрителя расширяют с помощью экранов, которые являются более широкими. Количество пикселей ТВЧ находится в диапазоне от одного до двух миллионов по сравнению с диапазоном ТТВ от 300000 до одного миллиона. Новые телевизионные приемники будут либо с возможностями ТВЧ, либо с возможностями ТТВ, причем с приемниками, которые могут преобразовывать сигнал к их внутреннему формату отображения.
В Соединенных Штатах Америки ФКС назначила каналы вещания для ЦТВ передач. В форматах ТТВ ЦТВ делает возможным использование обозначенных каналов для множественных сигналов на существующих уровнях качества вместо одиночных сигналов на уровнях ТВЧ, что позволит иметь большее количество программ при том же использовании полосы частот. Коммерческие и общедоступные станции вещания в настоящее время принимают решение как раз о том, как они осуществят свое использование ТВЧ.
Одновременная передача вещательных программ является одновременной передачей одной телевизионной программы в обеих версиях: и аналоговой, и цифровой, с использованием двух различных каналов или частот. В конце периода перехода к ЦТВ, как предполагают, аналоговая передача будет существенно заменена такой, что существующие в настоящее время аналоговые каналы будут использовать исключительно для ЦТВ. Дополнительные каналы, которые были использованы для цифрового вещания, могут, например, затем быть проданы с аукциона и использованы для большего количества телевизионных каналов или других услуг, таких как преобразование (распределение) данных. Одновременную передачу вещательных программ также используют для передачи одновременно телевидения и услуг Интернет, передачи аналогового и цифрового вещания, и передачи телевизионных программ в различных форматах экрана, таких как традиционный формат и формат широкого экрана. Одновременную передачу вещательных программ используют во всем мире.
Переход к ЦТВ не является простым или недорогим переходом для того, чтобы телевизионная станция передавала программы ЦТВ, должны быть созданы ее функциональные возможности ЦТВ, но станция должна иметь доход, чтобы создать такие возможности. Одновременная передача вещательных программ позволяет станциям продолжать получать доходы от традиционного аналогового программирования и также получать дополнительные доходы от дополнительных цифровых программ. Другим препятствием в переходе к ЦТВ является недостаток интереса среди потребителей. Необходимость в специальном оборудовании является препятствием для телезрителей увидеть различия между цифровыми и аналоговыми программами, которая также замедляет общественный энтузиазм к ЦТВ.
Оборудование, необходимое для функционирования ЦТВ, зависит от того, используют ли наземные, кабельные или спутниковые услуги в качестве канала/носителя передачи. В любом случае и в соответствии с известным или ожидаемым системам обычно предполагают, что потребители, как минимум, должны купить конвертер для просмотра ЦТВ передач на своих старых телевизионных приемниках. В дополнение, потребители, которые используют наземные услуги или антенны для приема телевизионных сигналов, нуждаются в антенне, оборудованной для цифровых сигналов. Потребитель, находящийся в горной местности в удовлетворяющей требованиям КСПТ стране, может не быть способен принимать наземно-размещенные цифровые сигналы из-за эффектов многолучевого распространения. Это является обычным даже для современной системой аналогового телевидения. В странах, удовлетворяющих требованиям ЦТВТ, физические особенности местности не затрагивают прием цифровых сигналов. Пользователи спутниковых антенн уже наслаждаются вещанием ЦТВ, но для просмотра программ ТВЧ может быть необходима большая (по размеру) спутниковая антенна.
"Компьютерная приставка к телевизору" в настоящем документе определена как устройство, которое дает возможность телевизионному приемнику стать пользовательским интерфейсом к Интернет и также дает возможность аналоговому телевизионному приемнику принимать и декодировать телевизионные передачи ЦТВ, ЦТВ. Компьютерные приставки к телевизору иногда называют приемниками. Оценивают, что 35 миллионов жилых домов будут использовать цифровые компьютерные приставки к телевизору к концу 2006 года, оцениваемого как год окончания перехода к ЦТВ.
Типичная цифровая компьютерная приставка к телевизору содержит один или более микропроцессоров для исполнения операционной системы, обычно Linux или Windows CE, и для анализа транспортного потока MPEG. Компьютерная приставка к телевизору включает в себя также ОЗУ, микросхему декодера MPEG и, кроме того, микросхемы для декодирования и обработки аудио. Содержимое компьютерной приставки к телевизору зависит от используемого стандарта ЦТВ. ЦТВТ-совместимые компьютерные приставки к телевизору содержат элементы для декодирования передач КОЧУ (Кодовое ортогональное частотное сжатие, COFDM), тогда как КСПТ-совместимые компьютерные приставки к телевизору содержат элементы для декодирования передачи VSB. Более сложные компьютерные приставки к телевизору содержат жесткий диск для сохранения записанных телевизионных передач, для сохранения загруженного программного обеспечения и для других приложений, предоставляемых поставщиком услуг ЦТВ. Цифровые компьютерные приставки к телевизору могут быть использованы для спутникового и наземного ЦТВ, но по большей части их используют для кабельного телевидения. Цена компьютерной приставки к телевизору находится от 100$ для базовых функциональных возможностей до по 1000$ для более сложной приставки.
В области Интернет компьютерная приставка к телевизору часто в действительности функционирует в качестве специализированного компьютера, который может "общаться" с Интернет - то есть она содержит Web-браузер (который в действительности является клиентом протокола передачи языка гипертекста) и главной программой Интернет, TCP/IP. Услуга, к которой подсоединяют компьютерную телевизионную приставку, может быть (доставлена) через телефонную линию, как, например, с Web TV, или через компанию кабельного телевидения, подобной TCI (TeleComminication, Inc.).
Чтобы воспользоваться преимуществом канала Dolby Digital 5.1 для спутниковых передач, необходим спутниковый приемник, который обеспечивает выходные данные Dolby Digital. Для пользователей, использующих кабели, все цифровые компьютерные приставки к телевизору оборудованы двухканальным декодером Dolby Digital. Для использования звучания канала 5.1 необходима совместимая с каналом 5.1 компьютерная приставка к телевизору или внешний модуль канала 5.1 декодера.
Наиболее впечатляющей демонстрацией преимуществ цифрового телевидения с использованием ТВЧ с широкими функциональными возможностями является больший экран, более широкое соотношение геометрических размеров и лучшее разрешение. Однако, подобно большинству новых технологий, ТВЧ является дорогим. Тем не менее, менее дорогие цифровые TV обеспечивают заметно улучшенное впечатление от просмотра по стандартному ТВ, и для тех, кто выбирает сохранение своих старые приемников, даже добавление конвертера компьютерной приставки будет доставлять заметно улучшенные изображение и звучание.
План ФКС для перехода к ЦТВ предлагает, чтобы каждый в США имел доступ к ЦТВ к 2002 г., и что переключение на цифровую передачу должно быть закончено либо к 2006 г., либо, когда 85% домашних хозяйств в конкретной области уже купят цифровые телевизоры или конвертеры к компьютерным приставкам.
В начале 1990-ых, Европейские компании телевизионного вещания, производители потребительского оборудования и регулятивные органы сформировали Европейскую группу запуска (ЕГЗ), которая запустила проект "ЦТВТ" ("Цифрового видеовещания"), чтобы представить ЦТВ повсюду в Европе. ЦТВТ предназначено для обеспечения открытой системы в противоположность закрытой системе. Закрытые системы являются определяемыми конкретным поставщиком содержимого, не расширяемыми, и оптимизированными только для системы, для которой они были разработаны. Открытая система, такая как ЦТВТ, позволяет абоненту выбирать различных поставщиков содержимого и запуска интеграцию PC и телевидения. ЦТВТ системы предназначены для оптимизации к телевидению, а также для поддержки осуществляемых из дома покупки товаров и банковских услуг, вещания частной сети, и интерактивного просмотра. ЦТВТ предназначено для обеспечения совершенно прозрачного вещания телевизионных программ для телевизоров в автобусах, автомобилях, поездах, и даже портативных телевизоров. ЦТВТ также продвигают в качестве полезного для поставщиков содержимого, потому что они могут предлагать свои «услуги» везде, где поддерживают ЦТВТ, независимо от географического местоположения. Они могут также расширять свои услуги легко и недорого и гарантировать ограниченный доступ для абонентов, сокращая потерянные доходы из-за несанкционированного просмотра. В настоящее время Проект ЦТВТ состоит из более чем 220 организаций в более чем 29 странах во всем мире, и услуги вещания ЦТВТ доступны в Европе, Африке, Азии, Австралии, и частях Северной и Южной Америки.
Аудиовизуальная информация конкретного формата
Разнообразные различные форматы непосредственно для сигналов потокового мультимедиа (потоковой аудиовизуальной информации) также резюмированы в настоящем документе посредством неограничивающего примера, чтобы обеспечить также дополнительное понимание того, как кодеки могут отличаться для конкретного случая.
"DVD" является сокращением для "цифрового универсального диска" (ЦУД), который обычно определяют в качестве относительно недавнего технического средства - оптического диска, который хранит до приблизительно 4,7 Гигабайт информации на одной из его двух сторон, или достаточной для кинофильма, имеющего в среднем продолжительность приблизительно 133 минуты. При двух слоях на каждой из двух его сторон он может хранить до 17 гигабайт видео, аудио, или другой информации по сравнению с существующими в настоящее время компакт дисками CD-ROM (КД-ПЗУ), имеющими приблизительно такой же физический размер, которые хранят приблизительно 600 мегабайт (ЦУД хранит информации приблизительно в 28 раз больше). Проигрыватели DVD необходимы для воспроизведения DVD, хотя они также воспроизведут стандартные (обычные) диски CD-ROM. Цифровые видеодиски могут быть записаны в любом из трех общих форматов, различным образом оптимизированных для: (i) видео (например, непрерывного фильма); (ii) аудио (например, «долгоиграющего» музыкального произведения); и (iii) или композиции, или «смеси» (например, интерактивные мультимедийные презентации). Диск ЦУД имеет скорость передачи несколько более высокую, чем 8-скоростной проигрыватель КД-ПЗУ. Формат ЦУД обычно использует файл MPEG-2 и стандарт сжатия, который приблизительно в 4 раза выше разрешения изображений в MPEG-1 и может быть доставлен в приблизительно 60 чересстрочных полукадрах (или полях) в секунду, в которых два полукадра составляют одно изображение (MPEG-1 доставляет приблизительно 30 нечересстрочных кадров в секунду. Стандарты MPEG-2 и MPEG-1 в другой части настоящего документа определены более подробно. Качество звучания на "Видео-DVD" сопоставимо таковому для существующих в настоящее время аудио компакт-дисков.
"Видео-DVD" является названием, которое обычно дают для формата DVD (ЦУД), разработанного для полнометражных фильмов и является готовым продуктом (блоком), который будет функционировать с телевизором. "ЦУД-ПЗУ" (DVD-ROM) является наименованием, которое дают проигрывателю, который, как предполагают некоторые, должен быть заменой в будущем накопителю на КД-ПЗУ в компьютерах, поскольку эти более новые накопители предназначены для воспроизведения обоих обычных дисков КД-ПЗУ, а также дисков ЦУД-ПЗУ. "ЦУД-ОЗУ" (DVD-RAM) является наименованием, которое дают перезаписываемый версиям ЦУД. "ЦУД-Аудио" является наименованием, которое обычно дают проигрывателям, разработанным, чтобы заменить проигрыватель компакт-диска.
"VHS" является сокращением для "Системы домашнего видео" (СДВ) и обычно определен, как формат для кассеты магнитной видеопленки, обычно шириной в половину дюйма, разработанный для домашнего использования с возможностью записывания и воспроизведения сигналов аналогового видео и аудио. СДВ стал популярным форматом и неофициальным стандартом для распространения домашних фильмов и воспроизведения главным образом вследствие его расширяющегося наличия и «перезаписываемости». СДВ хранит сигналы так, как в аналоговом формате на магнитной ленте, используя способ, подобный таковому для кассе аудио. Ленты воспроизводят и на них записывают с использованием кассетных записывающих устройств (VHS VCR), или видеомагнитофонов, предназначенных для СДВ видео. Обычно ленты СДВ сохраняют видео до приблизительно «двухчасовой» продолжительности, хотя некоторые VCR способны осуществлять запись на них при более медленной скорости, допуская до шести или даже до восьми часов записи на одну ленту.
Формат СДВ выводит немного более, чем 200 строк разрешения по горизонтали. Это сравнимо с ЦУД, которые выводят более чем, 500 строк разрешения по горизонтали. Технически и по восприятию СДВ является форматом, который был превзойден другими форматами, включающими в себя, например ЦУД, S-VHS, Hi-8 и другие. Однако СДВ остается распространяемыми средствами для просмотра видео, и ленты СДВ все еще легко находят по стране и во всем мире везде, от бюро проката фильмов до бакалейных магазинов, превращающих их в легко доступные.
"КД" (CD) является сокращением для "компакт-диска", который обычно определяют как небольшой портативный круглый по форме носитель для осуществляемых электронными средствами записывания, сохранения, и/или воспроизведения, аудио, видео, текстовой и другой информации в цифровой форме. Первоначально КД были дисками лишь «только для считывания»; однако, более новые версии допускают также записывание (например, "КД-RW").
"Супер аудио компакт-диск" (САКД) или "SACD" является форматом аудио КД высокого разрешения, который вместе с ЦУД-Аудио ("ЦУД-A") являются двумя форматами, конкурирующими для того, чтобы заменить стандартный аудио КД (хотя большая часть в промышленности обычно поддерживает ЦУД-A (DVD-A), с обычным исключением, предполагая, что это Philips и Sony). SACD, подобно ЦУД-A, предлагает объемное звучание канала 5.1 в дополнение к 2 канальному стерео. Оба формата совершенствуют сложность звука, увеличивая скорость передачи битов и частоту дискретизации, и могут быть воспроизведены на существующих проигрывателях КД, хотя обычно только на уровнях качества, сходных с таковыми для традиционных компакт-дисков. SACD использует Прямую запись потоковую цифрового потока DSD, которая опубликована в качестве являющейся собственностью Sony, и которая преобразовывает аналоговую форму сигнала в 1-битовый сигнал для прямой записи, вместо импульсно-кодовой модуляции (ИКМ и фильтрации, используемой стандартными компакт-дисками. DSD использует сжатие без потери данных и частоту выборки приблизительно 2,8 МГц, чтобы совершенствовать сложность и «естественность» звука. SACD может также включать в себя дополнительную информацию, такую как текст, графические данные и видеоклипы.
Также с целью дополнительного понимания передача данных на основе Интернет также имеет конкретные протоколы передачи, которые должны быть предоставлены системой передачи потокового мультимедиа с использованием "супермагистрали" Интернет. Такие протоколы, в частности, что касается относительно передачи потокового мультимедиа, кратко резюмированы непосредственно ниже с целью обеспечения более подробного понимания.
Что касается передачи данных в Интернет, то сигналы потокового мультимедиа обычно передают в цифровом формате посредством пакетов данных. Термины "пакеты" в настоящем документе предназначены, чтобы обозначать блоки данных, которые маршрутизируют между источником и целевым объектом через Интернет или любую другую сеть с коммутацией пакетов. Более конкретно, когда файл посылают, то уровень протокола системы передачи данных (например, уровень TCP для основанной на TCP/IP системы) разделяет файл на порции эффективного для маршрутизации размера. Каждый из таких пакетов отдельно пронумерован и включает в себя Интернет-адрес получателя. Индивидуальные пакеты для данного файла могут проходить по различным маршрутам через Интернет. Когда все они прибыли, их повторно собирают в исходный файл, например, посредством уровня TCP на принимающем конце. Схема пакетной коммутации является эффективным способом управления передачами в сети без установления соединения, такой как сеть Интернет. Альтернативную схему, с коммутацией каналов, используют для сетей, распределяемых обычно для передачи речевых данных. При коммутации каналов линии в сети является разделяемыми между многих пользователей, как при пакетной коммутации, но каждое соединение обычно требует выделения конкретного пути на продолжительность соединения.
Система беспроводной связи и Шлюз WAP
Из равной значимости для современной эпохи Интернет эпоха системы беспроводной связи значительно расширила возможность границы общества взаимодействовать вне установленных рамок дома и офиса, позволяя удаленной связи освободиться от зависимости от шнуров, проводов и кабелей. Например, в 2000 г. количество подвижных абонентов возросло почти на 50%.
Однако системы беспроводной связи, протоколы, и предоставляющие средства были разработаны на значительно фрагментированном рынке "конкретного формата" в международном масштабе. Это особенно справедливо при сравнении систем в широком использовании в Соединенных Штатах по отношению к остальной части мира. Поэтому значительные усилия были затрачены на преодоление вопросов совместимости между системами, определяемыми конкретным форматом, и между соответствующими устройствами беспроводной связи, или беспроводными, функционирующих на различных платформах. С целью дополнительного понимания беспроводной связи, поскольку она далее относится к настоящему изобретению, нижеследующее является кратким обзором существенных средств, систем, и протоколов, используемых в промышленности беспроводной связи.
Обычно прогрессу в системах беспроводной передачи для сотовых телефонов в обсуждениях дают термины "1G", "2G", " 2.5G" и "3G", представляющих, соответственно, первое поколение, второе поколение и так далее. Первоначальные системы были полностью аналоговыми, известными как телефоны и системы 1G. Однако с быстрым ростом использование доступной полосы частот для сотового телефона быстро ослаблялась, уступая цифровой обработке сигнала во 2G, который значительно расширил доступную полосу частот и возможность сложной обработки сигнала для усовершенствованной сети связи. Однако поскольку требование беспроводного доступа к Интернет прогрессировало, то разработка средств пошла от телефонов 2G (обычно не предоставляющих Интернет), к 2.5G и 3G (постепенно все более предоставляющих). Как дополнительно раскрыто непосредственно ниже, системы, протоколы и предоставляющие средства, таким образом были разработаны в направлении концентрированного сосредоточения на обеспечение режимов 2.5G и 3G для промышленности и потребителей.
В целом, существуют четыре основные цифровые беспроводные сети, основанные на средствах 2G: множественный доступ с временным разделением (каналов) (МДВР, "TDMA"), множественный доступ с кодовым разделением (каналов) (МДКР, "CDMA"), Глобальная система подвижной связи (ГСПС, "GSM") и сотовая цифровая пакетная передача данных (СЦППД, "CDPD"). Они кратко описаны в настоящем документе, как изложено ниже.
Множественный доступ с временным разделением ("МДВР") является способом, используемым в цифровой сотовой телефонной связи, которая разделяет каждый сотовый канал на три слота, чтобы увеличить количество данных, которые можно передавать. МДВР используют Цифровой усовершенствованной мобильной телефонной службой (Ц-УМТС, D-AMPS), Глобальной системой подвижной связи ("ГСПС"), и Персональной системой цифровой сотовой связи (ПСЦСС, "PDC"). Однако каждая из этих систем осуществляет МДВР несколько различающимся и несовместимым способом. Альтернативной для МДВР и МДЧР (множественный доступ с частотным разделением, FDMA) схемой сжатия (мультиплексирования) является множественный доступ с кодовым разделением каналов ("МДКР").
Множественный доступ с кодовым разделением каналов ("МДКР") ссылается на любой из нескольких протоколов, используемых в беспроводной связи 2G и 3G. Как подразумевает термин, МДКР является вариантом мультиплексирования, который позволяет множественным сигналам занимать один(очный) канал передачи, оптимизируя использование доступной полосы частот. Технологию используют в сотовых телефонных системах ультравысокой частоты (УВЧ, UHF), на полосе от 800 МГц до 1,9 ГГц. МДКР использует аналого-цифровое преобразование (АЦП, ADC) в комбинации со способом расширения спектра. Входные аудиоданные сначала преобразуют в двоичные элементы. Затем частоту переданного сигнала делают переменной в соответствии с конкретным образцом (кодом), так что она может быть перехвачена только приемником, частотную характеристику которого программируют таким же кодом, так что он принимается полностью вместе с частотой передатчика. Существуют триллионы возможных кодов частотных последовательностей, совершенствуя, таким образом, секретность и затрудняя получение абсолютных копий. Номинально канал МДКР имеет полосу шириной 1,23 МГц. Сети МДКР используют схему, называемую "мягкой передачей обслуживания", которая минимизирует разрыв сигнала при перемещении телефонной трубки из одной сотовой ячейки в другую. Комбинация режимов цифрового и расширенного спектра поддерживает в несколько раз больше сигналов на единицу полосы частот по сравнению с аналоговыми режимами. МДКР является совместимым с другими способами сотовой связи; это позволяет роуминг в масштабах страны.
Первоначальный МДКР, также известный как МДКР Один, был стандартизирован в 1993 и его рассматривают средством 2G, которая еще является обычной в сотовых телефонах в США. Одной версией cdmaOne, IS-95A, является протокол, который использует частоту 1,25 МГц для несущей и функционирует на полосах радиочастот (РЧ, RF) либо 800 МГц. либо 1,9 ГГц.; что поддерживает скорость передачи данных до 14,4 кбит/с. Другая версия, IS-95B, имеет возможность поддержки скоростей до 115 кбит/с, посредством связывания до восьми каналов.
Более современные разновидности МДКР, CDMA2000 и широкополосный МДКР предлагают скорости данных во много раз выше. CDMA2000, также известный как IMT-МДКР с множественной несущей, или IS-136, (международный стандарт - 136) является версией МДКР для стандарта IMT-2000, разработанного Международным союзом электросвязи (МСЭ). CDMA2000 стандарт является способом 3G, который предназначен для поддержки передачи данных на скоростях, варьирующихся от 144 кбит/с до 2 Мбит/с. Компании, которые разработали версии данного стандарта, включают в себя корпорации Ericsson и Qualcomm. Широкополосный МДКР, или "WCDMA", являются стандартом МСЭ, происходящим от МДКР, который также известен как IMT-2000 прямого спектра. WCDMA является способом 3G, предназначенным для поддержки скорости передачи данных до 2 Мбит/с для доступа в локальной зоне, или 384 кбит/с для доступа в зоне всей сети, и поддерживает возможности обмена подвижной/портативной передачи речи, изображений, данных, и видео на этих скоростях. WCDMA преобразует в цифровую форму входные сигналы, и передает цифровые выходные данные в кодированном с расширенным спектром режиме на несущей шириной 5 МГц, намного более широкий диапазон, чем узкополосный МДКР шириной 200 кГц.
Глобальная система подвижной связи ("ГСПС") GSM является цифровой системой подвижной телефонной связи, которую широко используют в Европе и других частях мира; данная система использует разновидность "МДВР" (представляемую непосредственно ниже) и является наиболее широко используемой из трех цифровых средств беспроводной телефонной связи (МДВР, ГСПС, и МДКР). ГСПС преобразует в цифровую форму, сжимает и затем посылает данные по каналу вместе с двумя другими потоками пользовательских данных, каждый в своем собственном временном слоте. Она использует полосу частот либо 900 МГц либо 800 МГц. На момент времени настоящего раскрытия, ГСПС обычно рассматривают стандартом беспроводной телефонной связи в Европе, и была опубликована как имеющая более 120 миллионов пользователей во всем мире, и доступна в 120 странах. По меньшей мере одна компания в Соединенных Штатах Америки, American Personal Communications связь (филиал SprintTM), использует ГСПС в качестве средств для широкополосной сети Службы персональной связи (СПС, "PCS"). PCS предоставляет услуги удаленной связи, которые объединяют передачу речи, обмен числовыми и текстовыми сообщениями, речевую почту и различные другие возможности в одно устройство, обслуживают контракт и составляют счета к оплате за услуги связи. Наиболее часто услуги PCS передают по линиям цифровой сотовой связи. Такую услугу планируют, чтобы иметь более 400 базовых станций для различных компактных подвижных телефонных трубок, которые сделаны производителями такими, как корпорации Ericsson, Motorola, и Nokia; такие устройства обычно включают в себя телефон, текстовый пейджер, или устройство персонального вызова, и автоответчик. ГСПС является частью развития системы беспроводной подвижной связи, которая включает в себя Высокоскоростные данные с коммутацией каналов (HCSD), УОНПР (Услуги (система) пакетной радиосвязи общего назначения, GPRS), Расширенные данные для Глобальной системы подвижной связи (EDGE), и УМТС (Универсальная мобильная телекоммуникационная Система, UMTS).
Сотовая цифровая пакетная передача данных (СЦППД, "CDPD") является стандартом беспроводной связи, обеспечивающий двустороннюю, со скоростью 19,2 кбит/с передачу пакетных данных по существующим каналам сотовой телефонной связи.
Несколько различных протоколов также были введены в использование для передачи данных через различные сети беспроводной связи. Различные конкретные подобные протоколы кратко представлены ниже.
"X.25" является протоколом на основе пакетной передачи, на момент времени настоящего раскрытия преимущественно используемым в Европе и адаптированным в качестве стандарта Международным консультативным комитетом по телеграфии и телефонии (МККТТ, CCITT). X.25 является общедоступным сетевым протоколом, который позволяет компьютерам в различных общедоступных сетях (например, сетях CompuServe, Tymnet, или TCP/IP) взаимодействовать через промежуточный компьютер на уровне, относящемуся к сетевому уровню. Протоколы X.25 близко соответствуют протоколам канального и физического уровней, определенных для Взаимодействия открытых систем (ВОС, "OSI").
"ВОС" является моделью сетевой архитектуры и набора протоколов (стека протоколов) для ее реализации, разработанной ISO (Международная организация по стандартизации, МОС) в 1978 в качестве структуры для международных стандартов в архитектуре неоднородных вычислительных сетей. Архитектура ВОС разбита на семь уровней, от нижнего до высшего: (1) физический уровень; (2) канальный уровень; (3) сетевой уровень; (4) транспортный уровень; (5) сеансовый уровень; (6) уровень представления данных; и (7) прикладной уровень. Каждый уровень использует уровень непосредственно ниже себя и обеспечивает планируемого получателя на уровне выше. В некоторых реализациях уровень сам может быть составлен из подуровней.
Услуги пакетной радиосвязи общего назначения ("УОНПР") являются беспроводной связью на основе пакетной передачи, которые обещают скорость передачи данных от 56 до 114 кбит/с и непрерывное соединение с Интернет для мобильного телефона и пользователей компьютеров. Более высокие скорости передачи данных позволяют пользователям принимать участие в видеоконференциях и взаимодействовать с мультимедийными Web-сайтами и подобными приложениями, с использованием подвижных портативных устройств, а также «блокнотных компьютеров» (ноутбуков). УОНПР основана на Глобальной системе подвижной ("ГСПС") связи и будет дополнять существующие услуги, такие как соединения для сотового телефона, осуществляемых с коммутацией каналов, и Службы коротких сообщений (СКС, "SMS"). СКС является службой сообщений, которую предлагает ГСПС системе цифровой сотовой телефонной связи. Используя СКС, короткое алфавитно-цифровое сообщение (160 алфавитно-цифровых символов) может быть послано мобильному телефону, чтобы быть на нем отображенным, во многом подобно системе алфавитно-цифрового пейджера. Сеть ГСПС буферизует сообщение, пока телефон не станет активным.
Служба GPRS на основе пакетной передачи, как рекламируется, для пользователей будет стоить меньше, чем услуги с коммутацией каналов, поскольку каналы связи находятся в общем пользовании, на основании предпочтительно «по мере требования пакетов», чем выделенный одновременно только одному пользователю. Она (служба) также предназначена делать приложения доступными для подвижных пользователей, поскольку более высокая скорость передачи данных означает, что посредническое обеспечение, которое необходимо в настоящее время для настройки применений для систем беспроводной связи с более низкой скоростью, более не будет необходимым. По мере того, как УОНПР становится широко доступными, мобильные пользователи виртуальной частной сети (ВЧС,"VPN") будут способны осуществлять доступ к частной сети предпочтительно постоянно, а не через коммутируемое соединение по телефонной линии. УОНПР также предназначена, чтобы дополнить "Bluetooth", стандарт для замены проводных соединений между устройствами на беспроводные соединения радиосвязи. В дополнение к Интернет-протоколу (ИП,"IP"), УОНПР поддерживает протокол X.25. УОНПР, как предполагают, должна быть эволюционным этапом в направлении Среды Расширенных Данных ГСПС (СРДГ, "EDGE") и Универсальной мобильной телекоммуникационной системы (УМТС, "UMTS").
Универсальная мобильная телекоммуникационная система/служба ("УМТС") является широкополосной сетью 3G с пакетной передачей текста, дискретизированного речевого сигнала, видео, и мультимедиа со скоростью данных до 2 Мбит/с. УМТС также предназначена, чтобы предложить согласованный набор услуг для пользователей подвижных компьютеров и телефонов независимо от того, где они расположены в мире. Данная служба основана на стандарте связи ГСПС, и подтверждена основными организациями по стандартам и производителями, и является планируемым стандартом для подвижных пользователей во всем мире к 2002. Как только УМТС будет полностью реализована, пользователи компьютеров и телефонов смогут быть постоянно присоединенными к Интернет, по мере их перемещения.
Расширенная служба предметной области цифровой ГСПС ("СРДГ", EDGE) является более скоростной версией Глобальной системы для услуг подвижной (ГСПС) радиосвязи (GSM), разработанной для доставки данных со скоростями до 384 байт/сек и допускает доставку мультимедиа и других приложений широкополосной сети к пользователям мобильных телефонов и компьютеров. Стандарт СРДГ создан на существующем стандарте ГСПС, с использованием той же структуры кадра множественного доступа с временным разделением (МДВР) и существующей схемы сотовых ячеек. Как ожидают, СРДГ будет коммерчески доступным в 2001 г. Ее (службу) рассматривают в качестве развивающегося (эволюционного) стандарта на пути к Универсальной мобильная телекоммуникационной системе (УМТС).
Протокол мобильной интерактивной связи с Интернет (ПМИСИ, "WAP") является описанием набора протоколов связи для стандартизации способа, с помощью которого беспроводные устройства, такие как сотовые телефоны и приемопередатчики радиосвязи, могут быть использованы для доступа в Интернет, включая электронную почту, Всемирную паутину, сетевую службу новостей, и оперативный обмен текстовыми сообщениями Интернет (Ретранслируемая беседа по сети Интернет, РБСИ, "IRC"). Хотя доступ к Интернет был возможен до WAP, различные производители использовали "определяемые форматом" способы. WAP дает возможность устройствам и системам обслуживания взаимодействовать между собой.
В самые недавние времена значительные усилия были затрачены на объединение областей техники беспроводной связи и Интернет для того, чтобы заполнить промежуток между шнурами, проводами, и кабелями, который прежде отделял "информационную супермагистраль" от установления общения с людьми, находящихся у беспроводных устройств. Такое объединение технических средств было разработано, например, в рамках установки непосредственно домашней и учрежденческой вычислительной и сети, в которой системы беспроводной связи, использующие радио- и инфракрасные частоты, были разработаны для сопряжения оборудования внутри "беспроводного" учреждения или дома. Другое существенное усилие было также на стадии разработки и предназначалось для передачи и совместного использования информации с помощью более удаленных беспроводных устройств, таких как сотовые телефоны и «персональные цифровые ассистенты» ("ПЦА").
ПЦА являются обычно небольшими, подвижными устройствами, которые могут быть "карманными" и обычно содержат ограниченные по возможностям процессоры и устройства отображения на экране для управления, сохранения и отображения телефонных книг, календарей, калькуляторов, и т.п. Доступный в последнее время ПЦА был сделан "допускающим беспроводную связь", либо посредством наличия беспроводных модемов, встроенных внутри непосредственно ПЦА, либо сопряжением со сменными платами для беспроводного модема типа сотового телефона. "Допускающие беспроводную связь" ПЦА являются также обычно "допускающими Интернет" с ограниченной возможностью "браузера", позволяющей ПЦА взаимодействовать с серверными устройствами по Интернет. Примеры коммерчески доступных «допускающих беспроводную связь» ПЦА включают в себя Palm VII (от Palm, Inc.), и iPAQTM (от Compaq, Inc.). Такие ПЦА включают в себя операционную систему Windows CETM, которая обеспечивает ограниченную возможность браузера и отображение содержимого на экране. Такие телефоны имеют возможности обработки (на частоте) от приблизительно 33 МГц до приблизительно 220 МГц и различные возможности экранного индикатора такие, как, например, экранный индикатор на 320x240 пикселей.
Подобным образом сами сотовые телефоны также были недавно представлены "допускающими Интернет", также с ограниченной возможностью браузера и экранами для отображения содержимого. Примеры "допускающих Интернет" сотовых телефонов, включают в себя, например: Sanyo SCP-4000ТМ, Motorolai1000plusТМ, среди широкого диапазона других; такая широкая область (техники) представляет сотни различных обработок и возможностей устройств отображения.
В случае либо ПЦА, либо сотового телефона, который является "допускающим Интернет", необходимо достичь совместимости с Интернет-протоколами связи. Обычно беспроводную связь осуществляют по Протоколу мобильной интерактивной связи с Интернет ("WAP"), тогда как передача данных по Интернет происходит в соответствии с одним из нескольких различных протоколов, наиболее общим является Протокол управления передачей/протокол Интернет ("TCP/IP"). Поэтому Шлюз WAP, как показано на Фиг. 1E, формирует мост между «миром» Интернет (или любой другой сетью с IP-протоколом пакетной передачи) и беспроводным телефоном/сетью передачи данных, которые являются существенно различными по лежащим в их основе способах. Шлюз, в сущности, осуществляет интерпретацию между этими двумя различными элементами, позволяя потребителю использовать его сотовый телефон или портативное вычислительное устройство (например, ПЦА) для доступа к Интернет «беспроводно».
Однако потоковое мультимедиа, которое отформатировано для передачи на более мощные вычислительные устройства, такие как настольные компьютеры, имеющие значительные возможности отображения, не являются в целом совместимыми для приема и просмотра на таких устройствах, которые имеют строго ограниченную функциональность обработки и отображения. Конкретные "определяемые форматом" схемы сжатия были разработаны для использования специально только с этими устройствами, и только конкретное содержимое мультимедиа может быть передано на эти устройства в таких форматах.
Есть все еще потребность в системе передачи потокового мультимедиа, которая адаптирована для передачи широкого разнообразия сигналов потокового мультимедиа в соответствующих форматах, которые подлежат воспроизведению посредством беспроводных устройств, таких как сотовые телефоны и ПЦА, имеющие уникальные ограничения такие, как например, ограниченные и изменяемые возможности обработки, устройств хранения, и отображения.
КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Согласно варианту осуществления настоящего изобретения раскрыт способ кодирования для сжатия сигналов с аудиовизуальной информацией, заключающийся в том, что: принимают сигнал с аудиовизуальной информацией, подлежащий передаче агенту получателя; и для каждой из множества сцен, содержащихся внутри сигнала с аудиовизуальной информацией: определяют (идентифицируют) множество характеристик сцены; осуществляют поиск ассоциации между определенными характеристиками сцены и одним из множества кодеков; и в ответ на то, что ассоциация найдена: кодируют сцену, используя ассоциированный кодек; доставляют кодированную сцену агенту получателя; и сообщают агенту получателя, какой кодек был использован для кодирования сцены. При этом в ответ на то, что ассоциация не найдена осуществляют тестирование множества кодеков в отношении сцены; выбирают кодек, который производит для сцены кодированные выходные данные с самым высоким качеством в соответствии с набором критериев без превышения ограничения на пропускную способность; кодируют сцену, используя выбранный кодек; доставляют кодированную сцену агенту получателя; и сообщают агенту получателя, какой кодек был использован для кодирования сцены. Кроме того, дополнительно сохраняют ассоциацию между определенными характеристиками сцены и выбранным кодеком, а на этапе тестирования дополнительно сохраняют базовый снимок сцены; и для каждого кодека, подлежащего тестированию, кодируют сцену ниже ограничения на пропускную способность, используя один из кодеков; декодируют сцену, используя тот же кодек; и осуществляют сравнение качества сцены с базовым снимком в соответствии с набором критериев. На этапе сравнения дополнительно сравнивают качество в соответствии с пиковым отношением сигнал/шум (ПОСШ), кроме того, устанавливают ограничение на пропускную способность на основании ограничений по меньшей мере одного из агентов получателя и канала передачи данных к агенту получателя. В раскрытом способе на этапе поиска ассоциации дополнительно осуществляют поиск ассоциации между определенными характеристиками и набором параметров, подлежащих использованию с ассоциированным кодеком; на этапе кодирования сцены кодируют сцену, используя ассоциированный кодек с ассоциированным набором параметров; и сообщение агенту получателя заключается в том, что сообщают агенту получателя ассоциированный набор параметров. В ответ на то, что ассоциация не найдена, осуществляют тестирование множества кодеков в отношении сцены, используя различные наборы параметров; выбирают кодек и набор параметров, которые производят для сцены кодированные выходные данные с самым высоким качеством в соответствии с набором критериев без превышения ограничения на пропускную способность; кодируют сцену, используя выбранный кодек с выбранными параметрами; доставляют кодированную сцену агенту получателя; и сообщают агенту получателя, какие кодек и набор параметров были использованы для кодирования сцены. Дополнительно сохраняют ассоциацию между выбранным кодеком, выбранным набором параметров и определенными характеристиками сцены.
В упомянутом способе на этапе поиска дополнительно используют систему Искусственного интеллекта (ИИ) для обнаружения кодека, ассоциированного с определенными характеристиками сцены, причем система ИИ содержит нейронную сеть, а входные данные заранее установленного типа сигнала с аудиовизуальной информацией получают для того, чтобы предварительно обучить по меньшей мере один кодек для данного типа сигнала с аудиовизуальной информацией. Кроме того, входные данные заранее установленного типа сигнала с аудиовизуальной информацией принимают для того, чтобы предварительно обучить по меньшей мере один набор параметров кодека для данного типа сигнала с аудиовизуальной информацией.
В способе каждая сцена содержит один или более кадров сигнала с аудиовизуальной информацией, и дополнительно выявляют изменение сцены в ответ на то, что один кадр из сигнала с аудиовизуальной информацией является достаточно отличающимся от предыдущего кадра, причем этап поиска выполняют в ответ на изменение сцены. Изменение сцены выявляют в ответ на предельный срок, и этап поиска выполняют в ответ на изменение сцены. Характеристики сцены выбирают из группы, состоящей из временных характеристик, пространственных характеристик и логических характеристик; кодеки выбирают из группы, состоящей из блочных кодеков, фрактальных кодеков и кодеков волновых преобразований.
Кодированную сцену передают агенту получателя через сеть; на этапе сообщения посылают агенту получателя через сеть указание того, какой кодек был использован для кодирования сцены; на этапе доставки дополнительно сохраняют кодированную сцену в запоминающей среде; на этапе сообщения сохраняют в запоминающей среде указание того, какой кодек был использован для кодирования сцены.
В еще одном варианте осуществления раскрыта система кодирования для сжатия сигналов с аудиовизуальной информацией, которая содержит: входной модуль для получения сигнала с аудиовизуальной информацией, подлежащего передаче агенту получателя; блок классификатора для идентификации множества характеристик сцены для каждой из множества сцен, находящихся внутри сигнала с аудиовизуальной информацией; модуль выбора для поиска для каждой сцены ассоциации между определенными характеристиками сцены и одним из множества кодеков; модуль кодирования для кодирования каждой сцены, для которой найдена ассоциация, с использованием ассоциированного кодека; и выходной модуль для доставки каждой кодированной сцены агенту получателя и сообщения агенту получателя о том, какой кодек был использован для кодирования каждой сцены. При этом модуль выбора тестирует множество кодеков по каждой сцене, для которой не найдена ассоциация, и выбирает кодек, который производит для каждой сцены выходные кодированные данные с самым высоким качеством в соответствии с набором критериев без превышения ограничения на пропускную способность; модуль кодирования кодирует каждую сцену, для которой не найдена ассоциация, используя выбранный кодек; а выходной модуль доставляет каждую кодированную сцену агенту получателя и сообщение агенту получателя о том, какой кодек был использован для кодирования каждой сцены. В этой системе модуль выбора сохраняет ассоциацию между определенными характеристиками сцены и выбранным кодеком. Модуль выбора также может сохранять базовый снимок каждой сцены и для каждого кодека, подлежащего тестированию, имеет сцену, кодированную при ограничении или ниже ограничения на пропускную способность с использованием одного из кодеков, имеет сцену, декодированную с использованием того же кодека, и сравнивает качество декодированной сцены с базовым снимком в соответствии с набором критериев, в частности в соответствии с пиковым отношением сигнал/шум (ПОСШ).
Модуль выбора также может устанавливать ограничение на пропускную способность в ответ на ограничения для по меньшей мере одного из агента получателя и канала передачи данных к агенту получателя; осуществлять поиск для каждой сцены ассоциации между определенными характеристиками и набором параметров, подлежащих использованию с ассоциированным кодеком. Модуль кодирования кодирует каждую сцену, используя ассоциированный кодек с ассоциированным набором параметров; и выходной модуль сообщает агенту получателя о каждом ассоциированном наборе параметров.
Модуль выбора также тестирует множество кодеков по каждой сцене, используя различные наборы параметров, и выбирает кодек и набор параметров, которые производят для каждой сцены кодированные выходные данные с самым высоким качеством в соответствии с набором критериев без превышения ограничения на пропускную способность; модуль кодирования кодирует сцену, используя выбранный кодек с выбранными параметрами; и выходной модуль доставляет каждую кодированную сцену агенту получателя и сообщает агенту получателя о том, какие кодек и набор параметров были использованы для кодирования каждой сцены.
Модуль выбора также может сохранять ассоциацию между выбранным кодеком, выбранным набором параметров, и определенными характеристиками для каждой сцены.
В варианте осуществления модуль выбора содержит систему Искусственного интеллекта (ИИ), которая может содержать нейронную сеть. Система ИИ принимает входные данные для заранее установленного типа сигнала с аудиовизуальной информацией для того, чтобы предварительно обучить по меньшей мере один кодек для такого типа сигнала с аудиовизуальной информацией. Система ИИ также принимает входные данные для заранее установленного типа сигнала с аудиовизуальной информацией для того, чтобы предварительно обучить по меньшей мере один набор параметров кодека для такого типа сигнала с аудиовизуальной информацией.
В раскрытой системе каждая сцена содержит один или более кадров сигнала с аудиовизуальной информацией.
Блок классификатора в заявленной системе выявляет изменения сцены в ответ на то, что один кадр сигнала с аудиовизуальной информацией является достаточно отличающимся от предыдущего кадра; модуль выбора осуществляет поиск ассоциации в ответ на изменение сцены, причем блок классификатора выявляет изменение сцены в ответ на предельное время; и модуль выбора осуществляет поиск ассоциации в ответ на изменение сцены.
Характеристики сцены могут выбирать из группы, состоящей из временных характеристик, пространственных характеристик и логических характеристик.
Кодеки выбирают из группы, состоящей из блочных кодеков, фрактальных кодеков и кодеков волновых преобразований.
В варианте осуществления системы выходной модуль передает агенту получателя через сеть каждую кодированную сцену вместе с указанием кодека, который был использован для кодирования каждой сцены; а выходной модуль сохраняет в запоминающей среде каждую кодированную сцену вместе с указанием кодека, который был использован для кодирования каждой сцены.
В одном из вариантов осуществления настоящего изобретения раскрыт способ кодирования для сжатия сигналов с аудиовизуальной информацией, заключающийся в том, что: получают сигнал с аудиовизуальной информацией, подлежащий передаче агенту получателя; определяют множество характеристик первой сцены в сигнале с аудиовизуальной информацией; осуществляют поиск ассоциации между определенными характеристиками первой сцены и одним кодеком из множества кодеков; кодируют первую сцену, используя ассоциированный кодек, в ответ на то, что найдена ассоциация для определенных характеристик первой сцены; доставляют первую кодированную сцену агенту получателя; сообщают агенту получателя, какой кодек был использован для кодирования первой сцены; определяют множество характеристик второй сцены, содержащейся внутри сигнала с аудиовизуальной информацией; осуществляют поиск ассоциации между определенными характеристиками второй сцены и одним кодеком из множества кодеков; кодируют вторую сцену, используя ассоциированный кодек, в ответ на то, что найдена ассоциация для определенных характеристик второй сцены; доставляют вторую кодированную сцену агенту получателя; и сообщают агенту получателя, какой кодек был использован для кодирования второй сцены.
В способе дополнительно тестируют множество кодеков в отношении первой сцены в ответ на то, ассоциация не найдена для определенных характеристик первой сцены; выбирают кодек, который производит для первой сцены кодированные выходные данные с самым высоким качеством в соответствии с набором критериев без превышения ограничения на пропускную способность; кодируют первую сцену, используя выбранный кодек; доставляют первую кодированную сцену агенту получателя; сообщают агенту получателя, какой кодек был использован для кодирования первой сцены; тестируют множество кодеков в отношении второй сцены в ответ на то, что ассоциация не найдена для определенных характеристик второй сцены; выбирают кодек, который производит для второй сцены кодированные выходные данные с самым высоким качеством в соответствии с набором критериев без превышения ограничения на пропускную способность; кодируют вторую сцену, используя выбранный кодек; доставляют вторую кодированную сцену агенту получателя; и сообщают агенту получателя, какой кодек был использован для кодирования второй сцены.
В другом варианте изобретения раскрыт способ замены кодеков во время передачи сигнала с аудиовизуальной информацией, заключающийся в том, что: передают агенту получателя сигнал с аудиовизуальной информацией, кодированный посредством первого кодека; динамически заменяют первый кодек на второй кодек в ответ на выявление изменившихся характеристик сигнала с аудиовизуальной информацией; и уведомляют агента получателя о замене на второй кодек.
В другом варианте способа замены кодеков во время передачи сигнала с аудиовизуальной информацией: передают сигнал с аудиовизуальной информацией, кодированный посредством первого кодека, агенту получателя; и динамически заменяют первый кодек на второй кодек в ответ на выявление измененных характеристик для одного из агентов получателя и канала передачи к агенту получателя; и уведомляют агента получателя о замене первого кодека на второй кодек.
В настоящем изобретении раскрыт также способ кодирования для сжатия сигналов с аудиовизуальной информацией, заключающийся в том, что: получают сигнал с аудиовизуальной информацией, подлежащий передаче агенту получателя; и для каждого из множества фрагментов сигнала с аудиовизуальной информацией: определяют (идентифицируют) множество характеристик фрагмента; осуществляют поиск ассоциации между определенными характеристиками фрагмента и одним кодеком из множества кодеков; и в ответ на то, что ассоциация найдена: кодируют фрагмент, используя ассоциированный кодек; доставляют кодированный фрагмент агенту получателя; и сообщают агенту получателя, какой кодек был использован для кодирования фрагмента. В этом способе в ответ на то, что ассоциация не найдена: тестируют множество кодеков в отношении фрагмента; выбирают кодек, который производит для фрагмента кодированные выходные данные с самым высоким качеством в соответствии с набором критериев без превышения ограничения на пропускную способность; кодируют фрагмент, используя выбранный кодек; доставляют кодированный фрагмент агенту получателя; и сообщают агенту получателя, какой кодек был использован для кодирования фрагмента. В качестве дополнительной возможности сохраняют ассоциации между определенными характеристиками фрагмента и выбранного кодека.
На этапе тестирования дополнительно сохраняют базовый снимок фрагмента; и для каждого кодека, подлежащего тестированию, кодируют фрагмент при граничном значении пропускной способности или ниже граничного значения, используя один из кодеков; декодируют фрагмент, используя тот же кодек; и осуществляют сравнение качества фрагмента с базовым снимком в соответствии с набором критериев.
Раскрыт также способ кодирования для сжатия сигналов с аудиовизуальной информацией, заключающийся в том, что разделяют сигнал с аудиовизуальной информацией, подлежащий передаче агенту получателя, на множество сцен; определяют (идентифицируют) множество характеристик для каждой сцены; устанавливают для каждой сцены ассоциацию между определенными характеристиками и одним кодеком из множества кодеков; кодируют каждую сцену, используя ассоциированный кодек; доставляют каждую кодированную сцену агенту получателя с указанием кодека, который был использован для кодирования каждой сцены.
Раскрыт способ кодирования для сжатия сигналов с аудиовизуальной информацией, заключающийся в том, что: разделяют сигнал с аудиовизуальной информацией, подлежащий передаче агенту получателя, на множество сцен; тестируют множество кодеков в отношении каждой сцены; выбирают кодек, для каждой сцены который производит кодированные выходные данные с самым высоким качеством в соответствии с набором критериев без превышения ограничения на пропускную способность; кодируют каждую сцену, используя выбранный кодек; доставляют каждую кодированную сцену агенту получателя вместе с указанием кодека, который был использован для кодирования каждой сцены.
В способе декодирования сигналов с аудиовизуальной информацией принимают сигнал с аудиовизуальной информацией, который содержит первую сцену, кодированную с использованием первого кодека, и вторую сцену, кодированную с использованием второго кодека, при этом первый и второй кодеки выбираются отправителем сигнала с аудиовизуальной информацией на основании определенных характеристик сцен, используя систему искусственного интеллекта (ИИ); принимают вместе с сигналом с аудиовизуальной информацией индикацию первого и второго кодеков; декодируют первую сцену, используя первый указанный кодек; и декодируют вторую сцену, используя второй указанный кодек.
Раскрыто устройство кодирования для сжатия сигналов с аудиовизуальной информацией, которое содержит: средство для получения сигнала с аудиовизуальной информацией, подлежащего передаче агенту получателя; средство для идентификации для каждой из множества сцен в сигнале с аудиовизуальной информацией, множества характеристик сцены; средство для поиска для каждой сцены ассоциации между определенными характеристиками сцены и одним кодеком из множества кодеков; средство для кодирования каждой сцены, для которой найдена ассоциация, с использованием ассоциированного кодека; и средство для доставки каждой кодированной сцены агенту получателя; и средство для сообщения агенту получателя о том, какой кодек был использован для кодирования каждой сцены.
Упомянутое устройство дополнительно содержит: средство для испытания множества кодеков в отношении каждой сцены, для которой не найдена ассоциация, и выбора кодека, который производит кодированные выходные данные с самым высоким качеством для каждой сцены в соответствии с набором критериев без превышения ограничения на пропускную способность; средство для кодирования каждой сцены, для которой не найдена ассоциация, с использованием выбранного кодека; средство для доставки каждой кодированной сцены агенту получателя; и средства для сообщения агенту получателя о том, какой кодек был использован для кодирования каждой сцены. Устройство дополнительно содержит средство для сохранения ассоциации между определенными характеристиками сцены и выбранным кодеком.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На Фиг.1А-В показаны схематические изображения блок-схемы, представляющие два соответствующих варианта систем передачи мультимедиа, относящихся к предшествующему уровню техники, которые используют обычные системы кодеков.
На Фиг.1C-D показаны схематические изображения блок-схемы, представляющие два соответствующих варианта систем транскодеров мультимедиа, относящихся к предшествующему уровню техники.
На Фиг.IE показано схематическое изображение блоков различных взаимосвязанных компонентов в системе межсетевого шлюза WAP для предшествующего уровня техники.
На Фиг.2-3 показаны схематические изображения блок-схемы системы транскодера для одного варианта осуществления настоящего изобретения в двух соответствующих режимах использования.
На Фиг. 4A-5 показаны изображения блоков с различной подробностью, соответственно, для системы передачи мультимедиа в соответствии с одним вариантом осуществления изобретения.
На Фиг. 6 показано схематическое изображение в виде блоков различных взаимосвязанных компонентов для системы передачи потокового видео для "видео по запросу" в соответствии с одним вариантом осуществления настоящего изобретения.
На Фиг. 7 показано изображение в виде блоков различных взаимосвязанных компонентов для беспроводной системы передачи потокового видео в соответствии с одним вариантом осуществления настоящего изобретения.
На Фиг. 8 показано схематическое изображение в виде блоков различных взаимосвязанных компонентов для шлюза WAP системы передачи потокового мультимедиа в соответствии с одним вариантом осуществления настоящего изобретения.
На Фиг. 9 показано схематическое изображение различных взаимосвязанных компонентов шлюза системы беспроводной связи во время ретрансляции в соответствии с одним конкретным режимом использования системы передачи мультимедиа для варианта осуществления настоящего изобретения.
На Фиг. 10 показано схематическое изображение в виде блоков различных взаимосвязанных компонентов, взаимодействия игры системы связи для интерактивной игры и просмотра посредством компьютерной приставки к телевизору, для одного варианта осуществления настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Настоящее изобретение, проиллюстрированное различным образом посредством вариантов осуществления, описанных ниже (и со ссылками на чертежи), обеспечивает систему передачи аудиовизуальной информации, которая включает в себя систему сжатия, систему доставки, и систему декомпрессии, и в другом аспекте включает в себя систему транскодера. Обычно комбинация таких отдельных подсистем обеспечивает возможность эффективного преобразования кодов для мультимедиа между множественными форматами кодирования, в дополнение к настройке сжатия, доставки и декомпрессии выбранных случайным образом сигналов потокового мультимедиа, основанного на большом наборе системных параметров в качестве переменных. Такие переменные включают в себя, например, без ограничения перечисляемым, параметры, относящиеся к нижеследующим: исходный видеосигнал, исходное передающее устройство, модальность передачи и целевое устройство (устройство назначения). Сжатие, доставка и декомпрессия сигнала мультимедиа являются, таким образом, настроенными так, чтобы быть оптимально эффективными для данной и изменяющейся среды использования. В результате широкий диапазон сложных сигналов потокового мультимедиа может быть передан с уровнем эффективности и с диапазоном совместимости устройств, которые значительно усовершенствованы по сравнению с другими известными системами.
Несмотря на преимущества полной системы передачи потокового мультимедиа, описанной в настоящем документе, каждая подсистема, описанная также независимо, обеспечивает преимущественно полезные результаты для передачи потокового мультимедиа. Различные подсистемы непосредственно сами и различные возможные комбинации таких подсистем, очевидные среднему специалисту в данной области техники, на основании, по меньшей мере частично, настоящего раскрытия, также рассмотрены в рамках объема настоящего изобретения. В дополнение, различные аспекты полной системы связи, а также каждой описанной подсистемы, также рассмотрены в качестве полезных для других применений, отличных, в частности, от специально предназначенных для передачи потокового мультимедиа (потоковой аудиовизуальной информации). Поэтому в тех случаях, когда очевидно среднему специалисту в данной области техники, такие дополнительные приложения дополнительно рассмотрены в пределах объема настоящего изобретения, вопреки особенно полезным режимам, применяемым к усовершенствованной передаче потокового мультимедиа.
Транскодер
Видео/аудиотранскодер 200 предусмотрен в соответствии с настоящим изобретением, что дает возможность одному исходному сигналу 210 входящего видео быть переданным в виде потока посредством множественных форматов 215 (например MPEG4, Real VideoТМ, и QuickTimeТМ) от одного устройства без вмешательства человека. Транскодер 200 в соответствии с настоящим осуществлением обеспечивает существенно большие функциональные возможности по части цены по сравнению с другими коммерчески доступными системами транскодеров. Более того, поскольку система функционирует оперативно ("на лету"), предварительное сжатие для источника 210 видео значительно снижено.
Более конкретно, система транскодера 200 и способ в соответствии с настоящим изобретением адаптированы для преобразования оцифрованного мультимедиа, создаваемого из любого сжатого или несжатого формата, для воспроизведения в любом другом сжатом формате - «по запросу», «в реальном времени». Система 200 и способ также допускают эффективную одновременную «переработку» множественных потоков 215 различающихся данных с многообразными различными сжатыми или несжатыми форматами в множество различных сжатых форматов.
Транскодер 200 согласно настоящему варианту осуществления описан в настоящем документе в полной системе в качестве иллюстрации посредством ссылки на Фиг. 3. Как показано, первый проигрыватель первоначально осуществляет соединение с сервером 300, в котором размещается транскодер 200. Формат проигрывателя (например, Microsoft Media), скорость соединения (например, 32 кбит/с) и протокол (HTTP) являются идентифицированными. Сервер 300 перемещает «реальное» или предварительно кодированное видео в "Буфер видео в реальном времени" или "кэш" 310 и кодирует его как оцифрованные, но почти несжатые данные (например, AVI или MPEG2). Сервер 300 затем загружает соответствующий под-процесс кодека (например, Microsoft MediaТМ) на скорости соединения (например 32 кбит/с). Затем сервер 300 загружает под-процесс проигрывателя HTTP/MS для обслуживания первого клиента. Затем клиент, использующий M/S проигрыватель на скорости 100 кбит/с с MMS, запрашивает второй поток. Сервер загружает соответствующий под-процесс MS кодека на соответствующей скорости 100 кбит/с. Затем сервер 300 загружает под-процесс ММ/MS проигрывателя, чтобы обслужить второго клиента. Затем клиент, использующий Real Player на скорости 40 кбит/с с RTSP (Потоковый протокол реального времени), запрашивает третий поток. Сервер 300 загружает соответствующий под-процесс кодека Real на соответствующей скорости 40 кбит/с. Затем сервер 300 загружает под-процесс RTSP/Real проигрывателя, чтобы обслужить третьего клиента. Вновь, такая иллюстрация является примером, и другие конкретные кодеки могут быть применены, а также использованы другие скорости передачи битов, и т.д.
Чтобы обеспечить еще большее понимание настоящего осуществления транскодера, на Фиг. 3 показан транскодер 200 в качестве дополнительного примера в применении к обслуживанию множественных потоков различной видеоинформации для различных клиентов.
Кратко, настоящий, показанный и описанный транскодер 200 использует взаимодействие "под-процессов" вместо "IPC", т.е. "Межпроцессного взаимодействия" (МПВ), которое используют в соответствии со многими обычными средствами преобразования кодов. С целью описания такого транскодера 200, термин "под-процесс" в настоящем документе предназначен для обозначения инкапсуляции потоков управления в программе. Программами с единственным под-процессом являются, т.е. которые "одновременно" исполняют только одну ветвь в своем коде. Многопроцессные программы могут иметь несколько под-процессов, исполняющих различные ветви кода "одновременно". В обычном процессе, в котором существуют множественные под-процессы, ноль или большее количество под-процессов могут быть фактически выполняемы в произвольный момент времени. Это зависит от количества ЦП (CPU) компьютера, на котором исполняют процесс, и также от того, как осуществлена система под-процессов. Тогда как компьютер или система с количеством ЦП, равным n, могут быть настроены для исполнения не более чем n под-процессов параллельно, функционирование под-процессов в соответствии с транскодером настоящего изобретения может создавать видимость "одновременного" исполнения намного более чем n, посредством совместного использования ЦП под-процессами.
Транскодер 200 предоставляет абстрактный ИПП (Интерфейс прикладного программирования, API) и следовательно, к кодеку получают доступ без (намного больших) накладных расходов внутреннего кодера. Буферизацию 310 создают в качестве функции для «выталкивания» клиентом различных потоков видео. Кроме того, транскодер 200 по настоящему изобретению использует сетевую архитектуру - с единственным под-процессом для каждого различного соединения, объединяя клиентов в один под-процесс, если таковые есть, если они «находятся» внутри буферизированного фрагмента одного и того же содержимого. Транскодер 200 использует под-процессы способом, который показан и описан в настоящем документе, и рассматривается весьма полезным, поскольку переключение контекста между двумя под-процессми в одиночном процессе, как предполагают, является значительно более дешевым (Обработка/Память/Ввод/Вывод), чем использование переключения контекста между двумя процессами. В дополнение, тот факт, что все данные, за исключением стека и регистров, являются совместно используемыми между под-процессами, делает их естественным «транспортным средством» для осуществления задач, которые могут быть разбиты на подзадачи, которые могут быть исполнены совместно.
Тогда как могут быть созданы различные конкретные архитектуры вокруг непосредственно описанных вариантов осуществления транскодера 200, для достижения особенно желательных результатов на основании «от варианта к варианту». Однако с целью дополнительной иллюстрации нижеследующее является примером более подробной системы, использующей описанный транскодер 200. Транскодер 200 предоставляют настраиваемым для поддержания большого количества одновременных клиентских потоков, каждый имеет отличающийся формат. В частности, такая система может поддерживать более 5000 одновременных потоков, и в некоторых обстоятельствах - более 7000 одновременных клиентских потоков, каждый с отличающимся форматом видео. Дополнительно транскодер 200 может быть реализован, чтобы преобразовывать любой из большого количества источников видео в формат, однозначно соответствующий или требуемый многими различными индивидуальными клиентами, имеющими каждый отличающиеся потребности. В одном конкретном примере транскодер 200, как описано в настоящем документе, может быть реализован, чтобы поддерживать такую высокую потребность одновременно в любом из следующих форматов: MPEG 1; MPEG 2; MPEG 4; JPEG Движущегося изображения; AVI; H.261; H.263; H.263 +; RealVideoТМ; G-8; QuickTimeТМ; Shockwave FlashТМ; Indeo CinepakТМ; ASF.
Дополнительно рассмотрено, что транскодер 200 может быть настроен в полной системе связи так, чтобы быть совместимым со всеми существующими и ожидаемыми в будущем неподвижными (стационарными) и подвижными терминалами и устройствами. Кроме того, транскодер 200 может быть реализован, чтобы настраивать переменные формата выходного потока для динамического согласования условий (ситуаций) канала и платформы для каждого клиента. Кроме того, систему, включающую в себя транскодер, настраивают, чтобы поддерживать серверы выравнивания нагрузки и маршрутизаторы для инсталляций со множеством транскодеров. Соответственно, предполагают, что транскодер 200 по настоящему изобретению предоставляет значительно большие функциональные возможности со значительно более низкой стоимостью, чем другие способы и системы преобразования кодов предшествующего уровня техники.
Как описано выше, разнообразные различные системные архитектуры могут включать в себя транскодер 200 настоящего изобретения без того, чтобы выйти за рамки объема изобретения. Однако большее количество подробностей конкретной архитектуры, которая, как предполагают, надлежащим образом обеспечивает требуемый уровень поддержки, описанной выше, включает в себя следующие особенности: (i) сдвоенный процессор P3-933; (ii) любые варианты Unix OS; (iii) ОЗУ на 512 Мб; избыточный FireWire или Gigabit Ethernet; избыточные источники питания. Такую систему можно поставлять в «закрепленной в стойке» конфигурации или другим образом, чтобы удовлетворять конкретную потребность.
Нижеследующие особенности транскодера 200 из настоящего изобретения следует рассматривать в значительной степени полезными как независимо, так и в различных комбинациях, что является очевидным среднему специалисту в данной области техники, на основании, по меньшей мере части (из) данного раскрытия.
Предусмотрены система и способ для использования асинхронного программного взаимодействия под-процессов в обоих пространствах, как пользовательском, так и базовой программы (программного ядра), для выполнения эффективного преобразования кодов на мультипроцессорной и/или распределенной вычислительных платформах (такой как кластеризация). Было отмечено, что такой способ более эффективен, чем использование традиционных способов МПВ для реализации транскодера. Создана совместно используемая библиотека алгоритмов кодеков и ее используют для доступа к различным алгоритмам кодеков, что приводит к более низким непроизводительным издержкам обработки, а также к меньшему использованию запоминающих устройств, чем это требует традиционная объединенная функциональность кодера, которую используют в большинстве коммерческих кодеров. Для конкретной пользы, общие под-процессы могут быть использованы для множественных соединений, и фактически даже одиночный под-процесс может быть использован для каждого индивидуального соединения при использовании настоящего транскодера.
Предусмотрены также система и способ для объединения множественных клиентов, подлежащих обслуживанию одним и тем же под-процессом (для эффективности) всякий раз, когда запрашивают одинаковое содержимое, и динамические буферы (кэши) могут размещать все требуемые элементы данных.
Сжатие Мультимедиа и Система Доставки
В соответствии с настоящим изобретением предусмотрены также система 400 сжатия и доставки данных и способ, предназначенные для обработки сигнала динамических данных реального времени для оптимального воспроизведения приближений исходных данных аудиовизуальной информации при заданном наборе ограничений. Такая система 400 и способ иллюстрированы схематично посредством изображения блоков на Фиг. 4A и 5. Дальнейшее описание различных полезных признаков и работа такой системы приведены, как изложено ниже, посредством примерных вариантов осуществления, обычно путем ссылки на описание применительно к Фиг. 4A-5.
На Фиг. 4А показана иллюстрация блок-схемы одного варианта осуществления для системы 400 сжатия и доставки данных по настоящему изобретению. Как показано на Фиг. 4 A, система 400 сжатия и доставки данных включает в себя модуль 405 мультимедиа (аудиовизуальной информации), модуль 407 динамического проигрывателя, процессор 410 изображений, модуль 415 базовых снимков, блок классификатора 417, модуль 420 качества обслуживания (стандарта) (КО, QoS), входной модуль 425 сетевого уровня и выходной модуль 430 сетевого уровня. Система 400 дополнительно включает в себя обрабатывающий модуль 440 нейронной сети, блок таймера 435, модуль 445 библиотеки кодеков, модуль 450 динамических запросов клиента, модуль 455 ICMP (протокола управляющих сообщений в сети Интернет), модуль 460 измерения параметров устройств и сети и модуль 465 доставки и передачи.
В одном варианте осуществления система 400 является постоянно размещенной на узле(ах) сервера, обрабатывает входящие несжатые или предварительно сжатые данные. Система 400 использует нейронные сети 440 искусственным интеллектом для управления входящими данными, чтобы определять множество ключевых характеристик каждого фрагмента данных. Система 400 соотносит характеристики входящих данных с библиотеками 445 из заранее разработанных, ссылающихся сами на себя, экспериментально обучаемых правил для образцов в сцене из последовательности кадров входного сигнала (например, сигнала видео), и с внешне наложенными ограничениями, для того, чтобы оптимально выбрать предпочтительный коммерчески доступный алгоритм сжатия/декомпрессии (например, кодек) для каждого фрагмента данных. Система 400 затем устанавливает исчерпывающий набор средств управления использованием, параметров и переменных, чтобы оптимизировать выбранный алгоритм. Выбор алгоритма и установка параметров и переменных будут динамически изменяться для каждого фрагмента входящих данных в зависимости от характеристик данных, а также непосредственно от развития алгоритма оптимизации. Набор возможных алгоритмов является значительным по количеству, ограничен только доступностью и другими коммерческими соображениями. Каждый фрагмент данных кодируют и сжимают вышеупомянутым способом и затем обслуживают для передачи по каналу данных.
Система 400 сжатия, непосредственно описанная, особенно полезна в качестве механизма сжатия потоковой аудиовизуальной информации, который на основании информации от доступного кодека и системы доставки потокового мультимедиа выполняет покадровый анализ входящего видео, используя другую нейронную сеть 440 с искусственным интеллектом. Затем система 400 выбирает наиболее подходящий формат сжатия и настраивает параметры сжатия для оптимального сжатия видео на основании лучшего качества, измеряемого, как в одном варианте осуществления, посредством выбора максимального отношения сигнал/шум в среде базовой системы. Результат является "оптимальным" видео и аудио для существующих условий и устройства.
Более конкретное изложение (учет) аспекта искусственного интеллекта /нейронной сети 440 данной системы в применении к потоковому мультимедиа предусмотрены так, как указано ниже. Первоначально библиотеку отдельных и различных кодеков добавляют к системе в качестве справочной или анализируемой с целью поиска кодека, библиотеки 445 кодеков. Предусмотрены также дополнительные библиотеки релевантной ссылочной информации, включающие в себя: библиотеку 443 Сетевых транспортных стандартов (СТС); и библиотеку 447 Качества обслуживания (КО, QoS). Затем видео (источник мультимедиа) вводят либо в оцифрованном, либо в неоцифрованном формате (используют аналого-цифровое (АЦ, AD) преобразование) посредством процессора 410 изображений. Затем процессор 410 изображений декомпрессирует источник (если требуется) и использует различные стандартные алгоритмы обработки изображений, используемые для "очистки" исходного изображения(ий). Результирующее исходное мультимедиа (исходную аудиовизуальную информацию) затем передают в хранилище 415 базовых снимков, в котором его будут использовать в качестве "совершенного золотого стандарта" впоследствии для сравнения. Одновременно эту результирующую исходную аудиовизуальную информацию также подают на блок классификатора 417.
Блок 417 классификатора анализирует исходное мультимедиа на наличие временных, пространственных и логических признаков с целью создания под-фрагментов исходного мультимедиа, которые показывают сходные комбинации временных, пространственных и логических свойств (признаков). "Сходство" определяют как непрерывный под-фрагмент исходного мультимедиа, который содержит общие временные, пространственные и логические свойства (признаки), которые будут представлять себя конкретному алгоритму кодирования/сжатия (найденному в справочной библиотеке 445 кодеков). Такой под-фрагмент исходного мультимедиа (или, как в одном варианте осуществлении, группа из непрерывных видео и аудио кадров) обозначают как "сцена".
Затем с такой сценой оперирует процесс 440 нейронной сети 440, посредством использования кодеков из библиотеки 445 кодеков, чтобы сжать сцену. Внутренняя структура каждого кодека является управляемой/изменяемой в соответствии с входными данными, принятыми из библиотеки 443 СТС, библиотеки 447 КО, блока таймера 435, входного модуля 425 сетевого уровня, агента 455 ICMP и агента 460 измерения параметров устройств и сети. Затем сжатую сцену декомпрессируют и делают сравнение с базовым снимком 415, используя измеренные значения, сделанные процессором 420 качества обслуживания. В одном варианте осуществления настоящего изобретения, процесс 420 качества обслуживания использует алгоритм (ПОСШ) пикового отношения сигнал/шум, чтобы выполнять сравнение декомпрессированной сцены с базовым снимком исходного мультимедиа. Процесс повторяют с различными кодеками из библиотеки 445 кодеков, пока процесс 440 нейронной сети не будет удовлетворен качеством результирующей сжатой сцены с учетом ограничений входных данных, принятых из библиотеки 443 СТС, библиотеки 447 КО, процесс таймера 435, входного сетевого уровня 425, агента 455 ICMP и агента 460 измерения параметров устройств и сети. В заключение результирующую сжатую сцену посылают выходному модулю 430 сетевого уровня, который передает сжатую сцену клиенту, используя соответствующий Сетевой протокол транспортного уровня и алгоритм КО.
Вышеупомянутые действия повторяют, пока клиенту не будет передано полное исходное мультимедиа (аудиовизуальная информация), или пока действия не будут прерваны из-за различных возможных условий, которые могут включать в себя: запрос клиента на преждевременное прекращение, отказ транспортной сети, отказ технических средств клиента и т.д.
Библиотека 443 СТС является хранилищем сетевых транспортных услуг, которые выбирает и использует выходной модуль 430 сетевого уровня, чтобы транспортировать сжатое исходное мультимедиа клиенту, и входной модуль 425 сетевого уровня, чтобы принимать информацию от клиента. Выбор основан на качественных и количественных входных данных, принятых от входного модуля 425 сетевого уровня, агента 445 ICMP и агента 460 измерения параметров устройств и сети.
Библиотека 447 КО является хранилищем алгоритмов качества обслуживания, которые выбирает и использует выходной модуль 430 сетевого уровня, чтобы транспортировать сжатое исходное мультимедиа клиенту. Выбор основан на качественных и количественных входных данных, принятых от входного модуля 425 сетевого уровня, агента 455 ICMP и агента 460 измерения параметров устройств и сети.
Агент 455 ICMP генерирует входные данные для процесса 440 нейронной сети, который динамически обеспечивает их количественными и качественными характеристиками транспортных средств, используемых между процессором и клиентом. В одном варианте осуществления настоящего изобретения для этой цели используют протокол ICMP.
Агент 460 измерения параметров устройств и сети генерирует входные данные для процесса 440 нейронной сети, который динамически обеспечивает их качественными и количественными характеристиками клиентской среды. В одном осуществлении настоящего изобретения такие характеристики клиентской среды включают в себя производительность модуля центрального процессора (ЦП), характеристики сетевого интерфейса, емкость запоминающих устройств и возможности устройств воспроизведения мультимедиа.
Что касается Фиг. 4A, то входной модуль 425 сетевого уровня предоставляет входящим (исходящим от клиента) сетевые транспортные услуги. Выходной модуль 430 сетевого уровня предоставляет выходящим (исходящим от процессора) сетевые транспортные услуги. Процесс 435 таймера обеспечивает пользователю, согласно изобретению, возможность ограничения максимального времени, которое процесс 440 нейронной сети будет отводить на обработку данного исходного мультимедиа.
На Фиг. 4B показана иллюстрация блок-схемы одного варианта осуществления схемы выбора кодека обрабатывающим модулем 440 нейронной сети для одного варианта осуществления настоящего изобретения. Обрабатывающий модуль 440 нейронной сети, показанный на Фиг. 4B, содержит модуль 475 выбора кадра видео, модуль 480 параметров кодека, модуль 485 входного уровня, скрытые уровни 486-487 и модуль 488 выходных данных. В одном варианте осуществлении настоящего изобретения сигнал, представляющий кодек, пригодный для использования в качестве опорного базового сигнала для входящих сигналов обрабатывающего модуля 440 нейронной сети, генерируют посредством обрабатывающего модуля 440 нейронной сети. В одном варианте осуществления блок 417 классификатора определяет, какие сцены во фрагментах входящего видеосигнала представляют лучшую сцену «в свете» доступных параметров базового кодека. Обрабатывающий модуль 440 нейронной сети использует список стандартов, чтобы определить, какая сцена в сигнале представляет наилучшую сцену. В одном варианте осуществления процесс 440 нейронной сети производит выборку некоторого количества пикселей в таком конкретном кадре видео, чтобы определить изменения в количестве пикселей в этом конкретном кадре в отношении заранее определенных параметров видеосигнала. В другом варианте осуществления значительные изменения в движении для конкретной сцене в видеосигнале могут быть использованы в качестве базовой опорной сцены ("лучшая сцена") для последующего входящего видео.
В одном варианте осуществления настоящего изобретения обрабатывающий модуль 440 нейронной сети получает фрагмент видео от блока 417 классификатора в качестве входных данных и впоследствии осуществляет выборку таких входных данных для извлечения достаточной информации, которая характеризует видеосигнал. Например, в схеме, иллюстрированной на Фиг. 4B, процесс 440 нейронной сети берет снимок окна (например, окно на 176 X 144 пикселей) для анализа. Процессу 440 нейронной сети выгодно осмотреть центр окна-образца, чтобы сгенерировать достаточную информацию о видеосигнале. В одном варианте осуществления настоящего изобретения процесс 440 нейронной сети использует минимально 8 кадров, чтобы сгенерировать необходимую информацию о видеосигнале. Информацию от окна-образца представляют с конкретными параметрами кодека от модуля 480 параметров кодека на модуль 485 входного уровня.
Модуль 485 входного уровня соединен с множеством скрытых уровней 486-487 через множество нейронов, при каждом соединении формируя либо сильную, либо слабую синоптическую связь от одного нейрона к другому. В одном варианте осуществления каждый кодек, поддерживаемый обрабатывающим модулем 440 нейронной сети, обеспечивается своей собственной нейронной сетью, чтобы обработать конкретные параметры кодека, которые поступают с конкретным кодеком. Процесс 440 нейронной сети генерирует "лучший" видеосигнал посредством процесса, подобного обхода по кругу, называемого как "отбор" (отбрасывание), по множеству кодеков, обработанных в течение интервала времени выборки образцов видео. При обработке лучшего представления видео по входящим сигналам каждая из соответствующих нейронных сетей для каждого из кодеков генерирует лучший представительский образец из скрытых уровней 486-487 и подает сигнал на модуль 488 выходных данных. В одном варианте осуществления настоящего изобретения набор выходных данных от лучшего кодека из каждого класса кодеков, обрабатываемых Процессом 440 нейронной сети, имеет две возможности. Первая обеспечивается Процессом 440 нейронной сети, подающим лучшие результаты для каждого кодека на модуль 488 выходных данных, на нейронную сеть для отбора из множества "лучших" образцов для каждого из множества кодеков, которая в свою очередь генерирует наилучший кодек из множества лучших кодеков. Нейронная сеть с отбором является меньшей и более быстрой, чем нейронные сети, которые управляют обработкой кодеков.
Во второй схеме обработки процесс 440 нейронный сети может реализовывать генетический алгоритм, обрабатывающий лучшие кодеки, произведенные посредством множества кодеков. Генетический алгоритм руководствуется тем же подходом статистического выбора для "мраморной" игры. Таким образом, вместо подачи лучшего выходного кодека из различных нейронных сетей в нейронную сеть с отбором, может быть применена обработка по генетическому алгоритму, чтобы осуществлять подачу данных на модуль 488 выходных данных из различных нейронных сетей в выделенную область (памяти) и выбор лучшего представления кодека из совокупности сцен при окончании исходного мультимедиа, например кинофильма, и т.д. В одном варианте осуществлении настоящего изобретения процесс 440 нейронный сети использует для обработки кодеков комбинацию алгоритмов распространения (передачи) в прямом и обратном направлении.
Обращаясь вновь к Фиг. 4A, с целью обеспечения дополнительного понимания способа действия искусственного интеллекта, представлен нижеследующий пример одного конкретного приложения. Должно быть оценено, что признаки и работа системы, предусмотренные данным иллюстративным приложением, должны быть рассмотрены в общих чертах, описательных для аспекта нейронной сети 440, касающейся сжатия и доставки данных, в соответствии с настоящим изобретением. Могут быть созданы другие приложения и подпадать под объем изобретения.
Поставщик видеосодержимого инсталлирует систему, соответствующую настоящему изобретению, на своем сервере. Образцы видео вводят в систему, чтобы выполнить начальный процесс ИИ, как описано выше. Создают сложную таблицу характеристик кодеков, например, для каждой скорости передачи битов, образцов видео, и т.д., для последующего извлечения. Затем конечный пользователь-клиент осуществляет соединение с системой поставщика содержимого, чтобы просматривать видео М. Система связи, соответствующая изобретению, постоянно находящаяся на сервере, доставляет агент программного обеспечения на клиентское устройство, таким образом позволяя клиенту соединяться с системой связи для того, чтобы доставлять информацию, относящуюся к устройству, и принимать соответствующий сжатый сигнал вместе с кодеком декомпрессии для воспроизведения. Затем система ИИ начинает загрузку видео М в буфер как потокового сигнала с целью выбора соответствующего кодека для каждого кадра и соответственного сжатия каждого кадра для передачи. Интервал времени для буфера зависит от многих переменных, в основном от мощности обработки системы, и может составлять, например, приблизительно 15 секунд для систем, имеющих соответствующую возможность для заранее записанной, но несжатой видеоинформации. Внутри буфера каждый кадр сравнивают с каждым кодеком в соответствии с "типами" последовательностей, заранее испытанных в таблице, как изображено на схеме.
Затем система 400 просматривает параметры конечного пользователя, например, разрешение экрана, доступные запоминающие устройства, посредством информации, принятой от агента программного обеспечения в клиентском устройстве. Большинство подходящих кодеков затем выбирают и настраивают/регулируют для оптимальной производительности, устанавливая в рамках кодека некоторые переменные равным заданным значениям (например, на основании сравнения исходного видео с образцами в прошлом, возможностями или ограничениями канала передачи, и возможностями или ограничениями целевого устройства). Способ обработки, описанный выше, обычно осуществляет блок 417 классификатора кадр за кадром, но кодеки сравнивают по эффективности сжатия во времени, так что обработка для каждого кадра рассматривает другие опережающие и отстающие кадры. Если соответствующий кодек выбран и настроен для каждого кадра (или блока кадров, что соответственно определяется системой автоматически), система доставки сообщает агенту клиента и доставляет настроенный кодек с опережением соответствующего(их) кадра(ов) для осуществления декомпрессии и воспроизведения.
Должно быть оценено, что нейронная сеть 440 данной системы 400 непрерывно обучается и запоминает характеристики и действия кодеков в библиотеке 445 кодеков, и непрерывно используют свое обучение для повышения эффективности сжатия входного сигнала мультимедиа. Ход обработки по прогону кадра сигнала через библиотеку, изменению операционных параметров кодека, сравнению характеристик сжатия посредством логической 525 схемы сравнения (Фиг. 5) с эталонным стандартным сжатием, и исполнению цикла вновь с дополнительными модификациями является итерационным 550 (Фиг. 5), что обычно продолжает повышать эффективность сжатия. Фактически, сжатие одним или более кодеком из библиотеки 445 может достигать повышенных уровней лучше, чем эталонный алгоритм сжатия.
Тем не менее, когда присутствуют временные ограничения 435 (Фиг. 4A) (такие как запрос на «проталкивание» или получение в реальном времени содержимого потокового мультимедиа), такой ход обработки должен в конечном счете быть остановлен в некоторой точке так, чтобы конкретный кадр или последовательность обрабатываемых кадров могли быть сжаты 575 и доставлены 580 получателю без недопустимой задержки таймером 435. Затем следующий кадр или последовательность могут быть обработаны нейронной сетью 440 в рамках операционной системы кодека. Такие конечные точки могут быть определены посредством достижения заранее определенного требуемого результата, например, такого, но без ограничения, как перечислено ниже: (i) достижение заранее определенного процента (%) эффективности сжатия, например, по сравнению с эталонным стандартом; или (ii) достижение заранее определенного или наложенного временного ограничения, установленного на ход обработки, такого как, например, время, относящееся ко времени буферизации (например, 15 секунд); или (iii) более раннее наличие случаев (i) или (ii). В любом случае, хотя конечную точку достигают, чтобы выбрать соответствующий кодек и выполнять действия по сжатию 575 и доставке 580, ее не отмечают в качестве конечной точки для нейронной сети 440, обучение которой продолжается. Информация, которую собирают в каждом повторении хода обработки, сохраняют 550. Когда последующие подобные кадры или ограничения системных параметров во входящем кадре встретятся 545 впоследствии, сохраненную информацию вспоминают и извлекают нейронной сетью 440 для повышения эффективности сжатия 575 и доставки 580.
Тогда как рассмотрены многие различные протоколы связи, одно конкретное осуществление, которое, как предполагают должно быть полезным, использует "стек протоколов полнодуплексной сети", который предусматривает двунаправленную связь между сервером и клиентским устройством. Вновь, тогда как другие протоколы могут быть подходящими для конкретного применения, полнодуплексная система является предпочтительной.
Система 400, описанная выше, направлена на разрешение трудностей, с которыми сталкиваются в известных ранее системах кодеков, посредством использования архитектуры доставки потокового мультимедиа для устранения проблем задержек и встроенной нейронной сети 440 для устранения опасений за скорость. Система 400 способна перенастраивать алгоритмы, используемые для сжатия в нейронной сети 440, с целью достижения оптимальных результатов всякий раз при любой структуре сети.
Широкое разнообразие кодеков может быть использовано в рамках библиотеки 445 кодеков в соответствии с полными системами и способами сжатия, описанными выше, хотя выгодное использование любого конкретного кодека в соответствии с настоящим изобретением рассматривает такой кодек, взятый отдельно или в комбинации с другими кодеками. Например, соответствующая библиотека 445 кодеков может включать в себя один или большее количество следующих типов кодеков: (i) блочные кодеки (например, версии MPEG, такие, как Microsoft MediaТМ или QuickTimeТМ); (ii) фрактальные кодеки; и (iii) кодеки волновых преобразований (например, RealТМ). В соответствии с другим аспектом, соответствующая библиотека 445 кодеков может включать в себя один или большее количество следующих типов кодеков: (i) кодеки с предсказанием движений; и (ii) кодеки неподвижных изображений. Дополнительно, библиотека 445 кодеков может содержать одно или более из следующего: (i) кодеки с потерями данных; и (ii) кодеки без потери данных.
В одном варианте осуществления настоящего изобретения все из таких различных типов кодеков могут быть представлены библиотекой 445 кодеков в соответствии с настоящим изобретением; и более чем один конкретный кодек данного типа могут быть включены в состав библиотеки. Или разнообразные комбинации таких различных типов могут быть предусмотрены, чтобы достигать требуемого свойства оптимизации сжатия потокового мультимедиа для передачи по широкому диапазону переменных реального времени непосредственно в сигнале, ограничениях канала передачи или ограничениях устройства назначения. Кроме того, дополнительный весьма выгодный аспект изобретения предусматривает, что новые кодеки, подлежащие загрузке в библиотеку 445, немедленно доступны для использования в нейронной сети 440 и системе 400 сжатия/доставки. Однако один конкретный пример библиотеки 445 кодеков, который, как предполагают, должен быть полезным для использования при оптимальном обмене множества ожидаемых сигналов потокового мультимедиа, и обладающий конкретным преимуществом для сигналов изображения, включает в себя нижеследующие конкретные кодеки: версии 1,2, и 4 MPEG (например, Microsoft MediaТМ и QuickTimeТМ); DUCK TruMotionТМ; ON2; Real MediaТМ; MJPEG: H.261; H.263; H.263 +; GIF; JPEG; JPEG2000; BMP; WBMP; DIVX.
Ниже представлены дополнительные примеры различных аспектов системы и способа сжатия, непосредственно описанных, которые следует рассматривать как предпочтительные, как независимо, так и в различных комбинациях, что является очевидным среднему специалисту в данной области техники, на основании по меньшей мере части (из) данного раскрытия. Дополнительные примеры таких широких аспектов представлены в разделе "Краткое описание сущности изобретения", а также в прилагаемой формуле изобретения.
Использование нейронных сетей 440 с искусственным интеллектом для достижения различных описанных действий кодека является в значительной степени и однозначно предпочтительным. В частности, разработаны система и способ предварительной обработки 410 исходных данных, определенных посредством применения обученных ответов на качество сигнала, содержимое данных и формат данных. Разработаны система и способ обработки каждой единицы (например, кадра или блока кадров) исходных данных посредством выбора и применения подходящего кодека (из набора всех доступных кодеков в библиотеке 445 кодеков) в зависимости от наблюдаемых характеристик исходных данных и применения обученных в прошлом ответов на сжатие сходных данных. Разработаны система и способ обработки каждого элемента исходных данных посредством установки разнообразия характеристик сжатия в рамках выбранного алгоритма сжатия, чтобы оптимизировать сбор данных и сохранение исходной целостности данных. Дополнительно каждый или все вышеупомянутые этапы обработки сигналов применяют к каждому уникальному последовательному элементу данных сигнала, например, усечению сигнала, кадру видео или индивидуальному пакета, как требуется.
Дополнительно рассмотрено, что система 400 управления кодеками в соответствии с настоящим изобретением обеспечивает систему и способ для обработки изображения, которая приспособлена для того, чтобы нормализовать первоначальные исходные данные/изображения, а также изменять размеры и делать повторную выборку изображения первоначальных данных, чтобы согласовывать с техническими условиями обрабатывающего модуля 440 нейронной сети. Обеспечена также возможность обслуживать любой канал передачи или записи с помощью единственной системы и с любым исходным потоком данных. Кроме того, различные системы и способы, описанные в настоящем документе, индивидуально и преимущественно в комбинации, предусматривают совместимость с любым протоколом с соединением или без соединения, включающих в себя, не будучи ограниченными, TCP, UDP, WTP/WDP, HTTP, и т.д.
Изобретение, как показано и описано в настоящем документе, также предусматривает в значительной степени предпочтительные применения для повышения скорости обучения нейронных сетей 440 при снижении требований к хранилищу данных при реализации упомянутых сетей. Каждый из различных классов потоков данных имеет уникальные характеристики, которые требуют существенно большей обработки нейронными сетями 440. Например, потоки видеоданных отличаются преобладанием и степенью движения, цветовыми контрастом и растром, и видимостью деталей. Большая обработка требует большего времени для достижения оптимальных функциональных возможностей. Больший объем обработки также требует большего хранилища библиотеки прогнозов, часто вырастая до неограниченно больших размеров. Для обработки в реальном времени нейронной сетью время обработки и хранилище могут быть минимизированы, чтобы значительно увеличить функциональные возможности посредством обеспечения заранее разработанных библиотек прогнозов характеристик для класса потока данных.
Соответственно, ниже приведены примеры аспектов заранее обученной нейронной сети 440, признаков изобретения, которые следует рассматривать в значительной степени полезными как независимо, так и в комбинации (включая в состав комбинацию с другими вариантами осуществления, показанными и описанными в другой части настоящего документа). Разработаны система и способ, которые создают и используют искусственный интеллект в нейронной сети 440 и заранее обучают данную интеллектуальную сеть для использования при решении задачи, причем такой задачей может быть, например, но не обязательно ограничиваться перечисляемым, сжатие потокового мультимедиа в соответствии с конкретным выгодным аспектом изобретения. Разработаны также система и способ, чтобы подразделить совокупность задач, подлежащих решению, на полезные классы, которые могут быть обработаны интеллектуальной сетью в соответствии с обученной предысторией.
Разработана также интеллектуальная система и способ доставки потокового мультимедиа в соответствии с настоящим изобретением, которые управляют передачей содержимого на основании возможностей конечного пользователя и ограничениях канала передачи таких как, например, но без ограничения, доступные скорости передачи или полоса частот, и перегрузка Интернет. Система 400 сжатия и доставки данных использует реализуемый компьютером способ интеллектуальной обработки, такой как способ искусственного интеллекта на основании нейронной сети, для того, чтобы анализировать аспекты соединения (включающие в себя, но без ограничения, различные скорости передачи битов, задержки, характеристики передачи и ограничения устройств), чтобы осуществить модификации в методике сжатия и управлять вопросами качества обслуживания (КО, "КО") 420. Сжатые, цифровые, восстанавливаемые и/или декомпрессируемые потоки данных могут быть, следовательно, доставлены к множеству различных локальных и/или удаленных устройств через множество сред передачи, характеризуемых отличающимися возможностями. Кроме того, разработана система декомпрессии для воспроизведения декомпрессированных данных на терминальном устройстве.
В одном полезном осуществлении, терминальное устройство устанавливает линию связи с системой, резидентной на узле(ах) сервера. За исключением программного обеспечения, обычно требуемого для установления связи, терминальное устройство может первоначально не иметь резидентного программного обеспечения, встроенного в него и ассоциированного с существующей системой. После соединения терминального устройства с узлом сервера система передает агент программного обеспечения на терминальное устройство, которое взаимодействует с другими программными модулями на стороне сервера, что совместно формирует полную систему доставки. Агент программного обеспечения сообщает системе о конфигурации и возможностях обработки терминального устройства для декомпрессии и отображения данных. Агент программного обеспечения сообщает также о некоторой релевантной к системе информации о характеристиках канала связи между терминалом и сервером. Такая информация включает в себя, без ограничения: время ожидания, полосу частот и целостность маршрута сигнала. На основании конфигурации терминального устройства и обновлений в реальном времени характеристик и возможностей канала, система активно управляет передачей сжатого потока данных, изменяя параметры, такие как размер буфера длины, скорость переданных битов и исправление ошибок. Система также выдает условия функционирования на систему сжатия, чтобы динамически изменять установки для кодирования и сжатия с целью оптимизации доставки данных. Агент доставки программного обеспечения, резидентный на терминальном устройстве, осуществляет декомпрессию потока данных, который составлен из изменений «фрагмент-за-фрагментом» в алгоритме сжатия/декомпрессии и параметрах для него. В зависимости от конфигурации терминального устройства, и особенно для очень «тонких» клиентов, команды могут быть обновляемы на основании «фрагмент-за-фрагментом» для каждой комбинации параметров алгоритма декомпрессии и кодирования. Команды для декомпрессии могут также быть резидентными, если это является подходящим для терминального устройства.
Агент программного обеспечения, описанный для передачи на устройство назначения и оперирования им устройством назначения, является, следовательно также рассматриваемым весьма полезным аспектом описанных систем и способов сжатия/доставки. Доставляя агента программного обеспечения на устройство от источника, широкий диапазон существующих устройств назначения может быть использован для передачи в соответствии со способами, которые могут включать в себя переменные использования одного или более алгоритмов или других действий на источнике передачи. Другими словами, устройства назначения могут быть необязательно проигрывателями "конкретного формата", как это требуют многие обычные системы передачи потокового и статического мультимедиа. Также, предоставив агенту получателя возможность диагностики, на устройстве получателя может быть собрана диагностическая информация и передана обратно к источнику в формате, который является совместимым для использования источником в его ходе обработки нейронной сети, чтобы достичь надлежащего действия кодека для заданного набора обстоятельств.
Также представлено в настоящем документе использование клиентского агента для поставки информации о качестве обслуживания, включающей в себя клиентские данные об устройствах и состоянии канала связи в реальном времени, которое, как предполагают, должно быть в значительной степени выгодным помимо конкретных приложений и комбинаций других аспектов изобретения. В дополнение, обработка каждой единицы сжатых, готовых к передаче данных для настройки устройства клиентской стороны и условий канала передач в реальном времени также в общих чертах рассматривается, как предпочтительная. Дополнительно описаны система и способ, которые обеспечивают команды агенту клиентской стороны для того, чтобы обеспечить декомпрессию каждого последовательного уникальным образом сжатого элемента данных. Поэтому другое общее преимущество настоящего изобретения обеспечивает целевое устройство (такое, как для источника передачи, как описано в настоящем документе для конкретных примеров осуществления) с кодеком, который приспособлен для декомпрессии сжатого представления исходного сигнала мультимедиа в декомпрессированное представление, на основании переменных параметров, ассоциированных с по меньшей мере одним из нижеследующего: аспектами исходного сигнала мультимедиа (аудиовизуальной информации), ограничениями канала передачи и ограничениями целевого устройства. В другом общем аспекте, целевое устройство приспособлено для использования кодека, который выбран из библиотеки кодеков, на основании параметра, относящегося к аспекту исходного сигнала мультимедиа.
Системы и способы, описанные в настоящем документе, также рассматриваются применимыми к обработке сигнала каждой уникальной последовательной единицы данных сигнала, например усечения сигнала, кадра видео или отдельного пакета, по обстановке. В дополнение, система и ее различные подсистемы могут быть реализованы полностью как программное обеспечение, которое должно быть загружено на каждое соответствующее устройство, или оно может быть встроено в компонент технических средств или микросхему ведущего компьютера, например, на стороне сервера, или, при некоторых обстоятельствах, на стороне клиента (например, различные аспекты агента получателя), или, например, может быть сохраняемо, как в запоминающем устройстве с флэш-памяти.
Различные аспекты системы и способа сжатия мультимедиа, непосредственно описанные, рассматриваются как предпочтительные для использования в соответствии с широким диапазоном известных и ожидаемых в ближайшем будущем потребностей передачи мультимедиа, включая в себя, например, различные устройства связи, форматы и стандарты канала связи/передачи, и типы и форматы мультимедиа, описанные в настоящем документе в других разделах (например, в разделе "Предшествующий уровень техники" выше).
Однако с целью дополнительного понимания, на Фиг. 6 показано схематическое представление полной системы 600 передачи потокового мультимедиа в качестве конкретно применяемой в аспекте "видео по запросу" в соответствии с одним вариантом осуществления настоящего изобретения, в которой множество различных конечных пользователей 610-620 во множестве различных местоположений могут запрашивать и принимать в реальном времени (например, без существенной задержки) заранее записанное видео от удаленного источника. В дополнение к информации, представленной на Фиг. 6, по меньшей мере одна конкретная реализация системы 600 передачи мультимедиа доставляет следующие типы видео на следующих скоростях передачи битов (обозначает сжатые представления исходных сигналов, которые являются преобразуемыми целевым устройством в декомпрессированные представления, не имеющие или имеющие незначительные потери данных, как замечаемо глазом обычного человека-наблюдателя): видеоформата СДВ (VHS) на (скорости) приблизительно 250 Кбайт/сек; видеоформата ЦУД (DVD) на (скорости) приблизительно 400 кбит/с; и видео формата ТВЧ (HDTV) на (скорости) приблизительно 900 кбит/с. В соответствии с этими скоростями предполагают, что «видео по запросу» может быть обеспечено телефонными несущими по постоянным каналам линии связи, например, по существующим линиям 630-640 ЦАЛ.
Однако, поскольку доступная полоса частот и массовая связь продолжают представлять сложности, предполагают, что даже более значительная эффективность может быть достигнута, приводя к доставке сжатых представлений таких типов видеосигналов даже на более низкой скорости передачи битов. Вновь, как описано в настоящем документе в другом разделе, эффективность сжатия по настоящему изобретению тесно связана и повышается в результате возможностей по обработке данных, доступных для нейронной сети 440, и непрерывного обучения и подготовки нейронной сети 440 в отношении различных типов мультимедиа. Такие ресурсы могут достичь даже более значительной эффективности сжатия, достижимой без модификации существенных признаков настоящего изобретения.
Поэтому нижеследующее является дополнительными примерами скоростей передачи для некоторых сжатых видеосигналов, которые, как полагают, должны быть желательными и достижимыми в соответствии с одним вариантом осуществления изобретения: видеоформат СДВ на (скорости) приблизительно 200 кбит/с, более предпочтительно приблизительно 150 кбит/с, и еще более предпочтительно приблизительно 1000 кбит/с; видеоформат ЦУД на (скорости) приблизительно 350 кбит/с, более предпочтительно приблизительно 300 кбит/с, и еще более предпочтительно приблизительно 250 кбит/с; и видеоформат ТВЧ на (скорости) приблизительно 800 кбит/с, и еще более предпочтительно приблизительно 700 кбит/с.
Кроме того, по меньшей мере одна реализация системы 400 передачи мультимедиа для одного варианта осуществления изобретения доставляет 20-24 кадра/сек, цветового видео на скорости передачи 7 кбит/с. Это, как предполагают, допускает существенные усовершенствования в передаче сигналов потокового мультимедиа на беспроводные целевые устройства через шлюз WAP, как дополнительно раскрыто ниже в настоящем документе.
Должно быть оценено также, что тогда, как передача видео была подчеркнута в данном раскрытии, рассматривают также другие типы потокового или статического мультимедиа. Например, по меньшей мере одна реализация воплощения сжатия и доставки была отмечена, предназначенная для обеспечения звука по существу с качеством КД (например, посредством сжатых представлений исходных сигналов, которые являются преобразуемыми целевым устройством в декомпрессированные представления, не имеющие или имеющие незначительные потери данных, которые замечает ухо обычного человека-наблюдателя), на скорости передачи битов такой низкой, как приблизительно 24 кбит/с. На таких скоростях звук с качеством «любителя звукотехники» может быть доставлен для воспроизведения через модем коммутируемой связи. Однако в отношении к использованию и объему доступных ресурсов для обучения нейронной сети дополнительно рассмотрено, что изобретение приспособлено для доставки звука с качеством КД на скоростях низких, приблизительно 20 кбит/с, и даже столь низких, как приблизительно 15 кбит/с или даже l0 кбит/с.
Беспроводная система передачи аудио
Дополнительно рассматривают, что система передачи потокового мультимедиа согласно настоящему изобретению имеет особенно выгодные применения в рамках беспроводных систем передачи аудио, и конкретно в сетях сотовой телефонной связи. Поэтому на Фиг. 7 и 8 схематично показаны, с соответствующим образом увеличенным количеством подробностей, системы 700 и 800 передачи потокового мультимедиа, соответственно конкретно примененные к беспроводным системам передачи аудио в соответствии с некоторыми конкретными вариантами осуществления настоящего изобретения. Тогда как показанные конкретные устройства, системные параметры, или структуры взаимодействующих устройств, как полагают, должны быть выгодны в полном применении настоящего изобретения, они не должны быть рассмотрены ограничивающими и могут быть надлежащим образом заменены другими заменителями средним специалистом в данной области техники, на основании данного раскрытия. Различные системы 700 и 800 беспроводной связи, стандарты, и протоколы, упомянутые в других разделах в настоящем раскрытии, являются, таким образом, включенными в данный фрагмент с целью объединения с различными аспектами сжатия, доставки, декомпрессии, и преобразования кодов в соответствии с некоторым вариантом осуществления изобретения.
Комбинация системы 400 передачи данных из одного варианта осуществления настоящего изобретения с другими компонентами сети сотовой связи предусматривает усовершенствованное сжатие, доставку и декомпрессию в соответствии с настоящим изобретением, чтобы подтвердить (проявить) повышенное качество обслуживания для беспроводной передачи аудио. Усовершенствования сотовой связи в соответствии с настоящим изобретением включают в себя, без ограничения, нижеследующие примеры: увеличение доступной полосы частот, расширяющуюся зону приема и обеспечение постепенного сокращения возможностей при поддержании связности (компонентов) в течение интервалов времени с низким качеством сигнала или уровней приема.
Более конкретно, сигналы сотовой телефонной связи характеризуются относительно высокими степенями изменчивости, например, вследствие роуминга клиентов, и ограниченных размеров сотовой ячейки, атмосферных условий, и значительно ограниченных и изменяющихся доступных полос частот на протяжении циклов ежедневного использования. Поэтому самоорганизующаяся система управления кодеками в соответствии с настоящим изобретением особенно хорошо подходит для подстройки соответствующих модальностей передачи и сжатия к изменяющейся среде. По меньшей мере, повышенная эффективность сжатия и результирующее уменьшение полосы частот, используемой для данных сигналов, является значимым достижением, поскольку трафик канала беспроводной связи продолжает переполняться.
В одном конкретном отношении повышенная эффективность сжатия в соответствии с настоящим изобретением хорошо применима для решения вопросов о полосе частот во время "мягкой передачи обслуживания" между сотовыми ячейками, как показано на Фиг. 9. В течение связи по сотового телефону, всякий раз когда передатчик или приемник мигрируют между зонами обслуживания сотовой ячейки, требования к полосе частот передачи и результирующие затраты возрастают посредством систематического требования на "прекращение" активной связи между сотовыми ячейками сотами. Действие прекращения связи приводит к каналу "ретрансляции" от предварительно активного сотового передатчика к центральной телефонной станции для пересылки к новому активному сотовому передатчику. Канал "ретрансляции" представляет существенное использование полосы частот. Экономия будет следовать из повышенного сжатия. Как показано на чертеже, такая "ретрансляция" может включать в себя удвоение (аудиовизуальную информацию, посылаемую от первой сотовой ячейки, оставляют и вновь посылают ко второй сотовой ячейке для передачи) или даже «учетверение» (перекрывающаяся передача от обеих, и первой, и второй ячеек-сот) в полосе частот, используемой для передачи конкретного сигнала.
Система 400 передачи мультимедиа по настоящему изобретению может распознавать, когда происходит ретрансляция, например, в соответствии с диагностической информацией канала передачи, предусмотренной в агенте(ах) программного обеспечения, и может для компенсации реагировать посредством подстройки сжатия.
Шлюз WAP Видео
При конкретном видении быстрого роста, наблюдаемого и предсказываемого в беспроводном или подвижном Интернет, варианты осуществления настоящего изобретения рассматривают применение вариантов осуществления интеллектуального сжатия/доставки/декомпрессии в комбинации с функциональными возможностями шлюза WAP.
Поэтому разработаны также в соответствии с настоящим изобретением система и способ для кодирования, сжатия и передачи сложного цифрового мультимедиа (например, видеоизображений) через системы беспроводной связи с ограниченной полосой частот, использующие Протокол связи с Интернет для беспроводных приложений (WAP). В одном варианте осуществления данные обрабатывает системой, резидентной на узле(ах) сервера, применяя нейронные сети с искусственным интеллектом. Образцы фрагментов данных собирают из входного потока и обрабатывают, чтобы удовлетворить требованиям, уникальным для класса клиентов. Как описано подробно выше, система сопоставляет непрерывно изменяющиеся характеристики потоков цифровых данных с библиотеками заранее разработанных, экспериментально обучаемых правил и со внешне наложенными ограничениями для того, чтобы оптимально скомпоновать последовательность, непрерывность и детализацию данных, которые в конечном счете будут приняты, декодированы и представлены на клиентском интерфейсе.
Шлюз, обеспеченный добавленными функциональными возможностями системы передачи потокового мультимедиа, описанными в настоящем документе, схематично показан на Фиг. 8. В соответствии с системой 830 шлюза WAP, предусмотрен агент клиента, который приспособлен для исполнения на многообразии платформ и не требует никаких специализированных технических средств для декодирования потоков видео. В соответствии с использованием системы доставки потокового мультимедиа по настоящему изобретению, описанной в другом разделе в настоящем документе, средство просмотра устройства WAP поддерживает постоянную связь с системным сервером восходящего потока данных, так что клиент 825 на стороне пользователя может обеспечить платформу кодирования релевантной информацией для передачи потокового мультимедиа, включающую без ограничения перечисляемое ниже: доступный размер экрана, мощность обработки, клиентскую операционную систему и версию браузера, скорость соединения и время задержки, таким образом позволяя системе доставки потокового мультимедиа подстраивать поток для каждого индивидуального клиента, с которым она "разговаривает". Соответственно, управляемый посредством ИИ сервер 830, включающий в себя сжатие с помощью ИИ, как описано в настоящем документе, может быть объединен со Шлюзом 830 WAP, комбинируя необходимое преобразование WAP в протокол TCP/IP (или другой протокол, например, стек сдвоенного сервера) с Сервером 835 Видео и Аудио, использующим системы и способы сжатия, доставки и декомпрессии, описанные в настоящем документе. Шлюз WAP 830 может дополнительно включать в себя транскодер видео, такой как, например, описан для системы и способов согласно настоящему документу. Соответствующая архитектура главного компьютера в соответствии с данной системой (не показана) обычно включает в себя «закрепленную в стойке» систему, выполняющую ОС Linux с модифицированным Шлюзом 830 WAP, или сменное программное обеспечение для существующих серверов.
Такая система 830 шлюза WAP может быть дополнительно обеспечена связью «Главный/Подчиненный», в качестве другого аспекта полной архитектуры доставки потокового мультимедиа (применимой к другим системам доставки, отличающимся от именно беспроводной связи). Различные сети передачи содержимого такие, как доступные от Akamai и Inktomi, сосредоточились на концепции усовершенствованной доставки данных по Интернет, используя "интеллектуальное использование кэша" на серверах, которые постоянно находятся на границах Интернет. Такие связи «Главный/Подчиненный» поддерживаются настоящей системой, в которой Главный Сервер постоянно находится в источнике содержимого, подлежащего доставке, а Подчиненные Серверы постоянно находятся на границах. Такие серверы взаимодействуют "разумно", чтобы оптимизировать доставку содержимого по Интернет и уменьшить время задержки, полосу частот и требования к хранилищу, повышая итоговое качество видео/аудио потока для конечного пользователя и уменьшая стоимость доставки мультимедиа для поставщика содержимого.
Шлюз 830 WAP по настоящему изобретению поддерживает продолжающееся развитие связи с подвижными объектами, поскольку крупные операторы сетей связи переходят к широкополосным сетям с множественными услугами, и поскольку количество абонентов мобильного Интернет продолжает быстро расширяться. В частности, связь с подвижными объектами является широким классом систем и протоколов, имеющих свои собственные ограничения и потребности для взаимодействующих устройств при передаче потокового мультимедиа. Шлюз 830 в качестве особенно предпочтительного аспекта может поддерживать разнообразные системы "2G" с возможностью обновления для новых сетевых способов "2.5G" и "3G" (прогрессия в числовых обозначениях систем обычно представляют прогрессию в поддержке возможностей Интернета).
В нижеследующей Таблице 3 предусмотрены примеры известных стандартов связи с подвижными объектами, и предусмотрена некоторая связанная информация, используемая системой ИИ согласно настоящему изобретению для оптимизации передачи потокового мультимедиа в области техники подвижных целевых устройств, таких как проигрыватели мультимедиа:
Существующие/Ожидаемые в ближайшее время Стандарты связи с подвижными объектами
Кроме того, настоящее изобретение особенно выгодно из-за возможности направлять в виде потока широкое разнообразие сигналов мультимедиа к разнообразным различным типам устройств беспроводной связи. Примеры устройств беспроводной связи, которые подходят для использования с системами передачи потокового мультимедиа и способами согласно изобретению, и которые системы и способы поддерживаются взаимозаменяемым образом, приведены в нижеследующей Таблице 4:
Примеры ПЦА, допускающих Интернет
Различные конкретные примеры, описанные далее ниже, предоставляют наблюдения фактических применений для беспроводной связи в Интернет настоящего изобретения, как описано в настоящем документе. Такие примеры включают в себя использование библиотеки кодеков в соответствии с различными параметрами, ассоциированными с, по меньшей мере, нижеследующим (без ограничения): целевое устройство беспроводной связи; канал передачи; протокол связи и соответствующие сами сигналы потокового мультимедиа. Различные конкретные признаки систем и способов, используемых в соответствии с данными примерами, рассмотрены как дополнительно независимо определяющие выгодные аспекты изобретения.
Общедоступная интерактивная среда
Разработаны также система и способ в соответствии с настоящим изобретением для взаимодействия в реальном времени удаленного клиента с моделируемой средой, имеющей высокую четкость, многомерной, со многими участниками, без необходимости в существенной обработке на стороне клиента. Более конкретно, на Фиг. 10 показана полная система передачи потокового мультимедиа в применении к общедоступной интерактивной игре в соответствии с изобретением.
Данная система включает в себя: (i) промежуточный (прокси-) сервер; (ii) возможности визуализации графического изображения; (iii) клиентский агент программного обеспечения для обратной связи в ответ на клиентские входные данные для игры; (iv) клиентский агент программного обеспечения для поддержания системы доставки согласно настоящему изобретению; и (v) поток от сервера к клиенту. Рассматривают, что для множественных клиентов, которые обычно представляют совместно используемую интерактивную игру по построению, предусмотрены множественные компоненты, как описано выше, для того, чтобы поддерживать каждого клиента.
Интерактивные игровые варианты осуществления рассматривают реализацию сжатия данных и варианты осуществления доставки с помощью устройств, которые являются также устройствами назначения для сжатых сигналов от других подобных удаленно расположенных системных устройств. Такая структура особенно полезна, например, в дополнительных интерактивных мультимедийных реализациях, таких как видеоконференции и т.п. Соответственно, каждая удаленная система является и источником и целевым устройством и посылает и принимает агентов между собой и другими удаленными системами.
Целевое устройство
Хотя системы связи по настоящему изобретению допускают передачу сигналов потокового мультимедиа к широкому разнообразию целевых устройств, последующая рассматриваемая особенность изобретения предусматривает, что удаленный приемник, который будет размещен как целевое устройство/проигрыватель пользователями клиента. Такая компьютерная приставка-проигрыватель может быть адаптирован, чтобы обслуживать по меньшей мере одно, хотя предпочтительно несколько, и возможно все, из нижеследующего: Видео по запросу (ВПЗ, VOD); Музыка по запросу (MOD); Интерактивная игра по запросу (IGOD); Передача речи по протоколу Интернет (РпИП, "VoIP"), любая технология, обеспечивающая речевые услуги по телефону с помощью соединений IP; Телевизионный доступ к Web; Цифровая Видеозапись для записи, паузы, и воспроизведения прямого, или «живого», телевещания; электронная почта; интерактивная переписка между абонентами сети; проигрыватель ЦУД; и другие применения, очевидные среднему специалисту в данной области техники. Все это может быть доставлено к существующим телевизионным приемникам в собственных домах пользователей. Кроме того, клиенты, использующие такую приставку или другие системы, сопряженные с системой связи согласно настоящему изобретению, могут принимать видео с качеством ЦУД и объемное звучание по кабельным и ЦАЛ соединениям.
ПРИМЕРЫ
С целью дополнительного иллюстрирования предпочтительных результатов, которые могут быть достигнуты в соответствии с настоящим изобретением, ниже приведены примеры конкретных вариантов осуществления, которые были использованы для передачи различных типов потокового мультимедиа, и которые включают в себя отмеченные результаты и соответствующее обсуждение. Данные примеры иллюстрируют передачу одного и того же заранее записанного видео по различным каналам передачи и на различные целевые устройства, в которых заранее записанное видео имеет следующие исходящие свойства: 720 строк разрешения и 32-битовая цветовая информация, исходный размер файла приблизительно 1,4 Гбайт.
Пример 1
Была предусмотрена модель "iPAQ" 3650 портативного ПЦА (коммерчески доступен от компании Compaq, за приблизительно 500S на время данного раскрытия). ПЦА был сопряжен беспроводным 14,4 кбит/с (максимально) модемом СЦППД (CDPD) ("AirCard 300", беспроводный внешний модем, коммерчески доступен от Sierra Wireless за приблизительно 200$ на время данного раскрытия), используя сборку расширения (iPAQтм PCMCIA закладная втулка от компании Compaq) с гнездом для платы PCMCIA, которую соединяют с беспроводным модемом. Используемая iPAQтм в целом имела следующие параметры для обработки: процессор 206 МГц; ОЗУ 32 Мб; цвет 12 бит/пиксель; размер экрана 240X320; операционная система PocketPCTM, версия 3.0 от Корпорации Microsoft Corp. и стереозвук. iPAQТМ был соединен с Интернет в San Francisco, California, через сопряженный модем СЦППД через несущую сотовой беспроводной связи системы AT&T с пропускной способностью соединения около 13,3K кбит/с. Сервер, расположенный в San Jose, California (приблизительно на расстоянии 50 миль), устанавливал связь с ПЦА, используя протоколы http и rtsp, и ПЦА использовали, чтобы инициировать запрос заранее записанного видео, имеющего следующие исходящие свойства: 720 строк разрешения и 32-битовую цветовую информация, исходный размер файла был 1,4 Гбайт. В пределах приблизительно семи секунд сжатое приближение заранее записанного видео было принято, декомпрессировано и отображено посредством ПЦА на экране ПЦА. Полное видео наблюдали при разрешении 240x320x12 бит/пиксель в полном движении без заметных задержек или дефектов.
Пример 2
Была представлена модель 548 "JornadaТМ" портативного ПЦА (коммерчески доступен от HP, Inc. за приблизительно 300$ на время данного раскрытия). ПЦА был сопряжен с беспроводным 9,6 кбит/с (максимально) телефоном МДКР ("Motorola i85s", беспроводный внешний цифровой сотовый телефон, коммерчески доступен от уполномоченных продавцов Motorola за приблизительно 200$ на время данного документа), используя кабели адаптера (Motorola и кабели стандартного интерфейса HP RS-232 Motorola от Motorola и HP), которые соединили телефон и ПЦА вместе, чтобы сформировать беспроводный модем. Используемое устройство модели ПЦА Jornada в целом характеризовалась следующими параметрами обработки: процессор 133 МГц; ОЗУ 32 Мб; цвет 12 бит/пиксель; размеры экрана 240X320; операционная система PocketPCТМ версия 3.0 от Корпорации Microsoft и стерео звук. Jornada™ был связан с Интернет в Newark, NJ через сопряженный телефон/модем МДКР через несущую цифровой сотовой беспроводной связи системы Nextel с пропускной способностью соединения 8 кбит/с. Сервер, расположенный в San Jose, California (приблизительно на расстоянии 2900 миль), устанавливал связь с ПЦА, используя протоколы http и WDP, и ПЦА использовали, чтобы инициировать запрос заранее записанного видео, имеющего следующие исходящие свойства: 720 строк разрешения и 32-битовая цветовая информация, исходный размер файла был 1,4 Гбайт. В пределах приблизительно семи секунд сжатое приближение заранее записанного видео было принято, декомпрессировано, и отображено посредством ПЦА на экране ПЦА. Полное видео наблюдали при разрешающей способности 176x120x18 бит/пиксель в полном движении без заметных задержек или дефектов.
Пример 3
Была представлена модель "Компьютерной приставки к телевизору" st850 ПК-книжки (коммерчески доступна от MSI, Inc. за приблизительно 300$ на время данного документа). «Компьютерная приставка к телевизору» был сопряжена с ethernet/802.11 соединением на 10 Мбит/с (максимально), используя кабели локальной сети ethernet CAT5 (Generic), которые соединяют «Компьютерную приставку к телевизору» с соединением (DS3) широкополосной сети. Используемую «Компьютерную приставку к телевизору» в общем характеризовалась следующими параметрами обработки: процессор 400 МГц; ОЗУ 64 Мб; цвет 32 б/пиксель; 720 строк разрешения экрана; операционная система Windows CE версия 2.11 от Корпорации Microsoft и цифровое 6-канальное объемное звучание AC3. «Компьютерная приставка к телевизору Блок» была связана с Интернет в Newark, NJ через сопряженное общедоступное соединение DS3 по магистральной сети Интернет Alter.Net с пропускной способностью соединения 376 кбит/с. Сервер, расположенный в San Jose, California (приблизительно на расстоянии 2900 миль), устанавливал связь с «Компьютерной приставкой к телевизору», применяя протоколы http и rtsp, и «Компьютерную приставку к телевизору» использовали, чтобы инициировать запрос заранее записанного видео, имеющего следующие исходящие свойства: 720 строк разрешения и 32-битовая цветовая информация, исходный размер файла был 1,4 Гбайт. В пределах приблизительно девяти секунд сжатое приближение заранее записанного видео было принято, декомпрессировано и отображено посредством «Компьютерной приставки к телевизору» на экране коммерчески доступного монитора (Sony). Полное видео наблюдали при разрешении 720 строк x 32 бит/пиксель в полном движении без заметных задержек или дефектов.
Хотя различные конкретные варианты осуществления были показаны и описаны подробно с целью описания настоящего изобретения, должно быть оценено, что дополнительные модификации и усовершенствования могут быть сделаны средним специалистом в данной области техники на основании данного раскрытия, не выходя за рамки объема существа изобретения. Например, различные возможные комбинации различных вариантов осуществления, которые не были конкретно описаны, могут быть сделаны и все еще подпадать под рамки объема существа изобретения. В соответствии с другим примером очевидные усовершенствования или модификации также могут быть сделаны к различным вариантам осуществления и все еще подпадать под рамки объема существа изобретения.
Данное изобретение относится к системе и способу для обмена сигналами аудиовизуальной информации между исходным и целевым устройствами. Техническим результатом является повышение эффективности формирования потока мультимедиа, используя ограниченные ресурсы полосы частот и ограниченные доступные скорости передачи. Система потокового мультимедиа использует библиотеку отдельных и различных кодеков, которую поставляют в виде справочной библиотеки для поиска кодеков и используют при определении конкретных характеристик в сигнале мультимедиа для идентификации аналогичных фрагментов сигнала. Система потокового мультимедиа использует реализуемую компьютером интеллектуальную систему, такую как интеллектуальный механизм, для обучения и сбора уникальных характеристик сигнала по мере формирования потокового сигнала. Система потокового мультимедиа также сжимает и декомпрессирует сигнал мультимедиа по мере передачи потоком от источника мультимедиа на целевое устройство. 10 н. и 44 з.п. ф-лы, 10 ил., 4 табл.
| УЗЕЛ КОДИРОВАНИЯ И/ИЛИ ДЕКОДИРОВАНИЯ ИНФОРМАЦИИ, СИСТЕМА ПЕРЕДАЧИ ИНФОРМАЦИИ С УПЛОТНЕНИЕМ КАНАЛОВ, СИСТЕМА ПЕРЕДАЧИ ИНФОРМАЦИИ В ТЕЛЕКОММУНИКАЦИОННОЙ СЕТИ | 1999 |
|
RU2159507C1 |
| Прибор, замыкающий сигнальную цепь при повышении температуры | 1918 |
|
SU99A1 |
| Способ сборки покрышек пневматических шин и устройство для его осуществления (его варианты) | 1980 |
|
SU889471A1 |
| US 5539908 A, 23.07.1996 | |||
| US 6195692 В1, 27.02.2001. | |||
