ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННУЮ ЗАЯВКУ И ПРИТЯЗАНИЕ НА ПРИОРИТЕТ
Данная заявка заявляет приоритет предварительной заявки на патент США №61/419747, поданной 3 декабря 2010 г., и предварительной заявки на патент США №61/558286, поданной 10 ноября 2011 г., и обе эти заявки ссылкой включаются в данное описание полностью во всех отношениях.
ОБЛАСТЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Настоящее изобретение относится, в общем, к системам обработки медиаданных и, в частности, к адаптивной обработке медиаданных на основе состояний обработки медиаданных для медиаданных.
ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ
Узлы обработки медиаданных, как правило, действуют вслепую и не уделяют внимания истории обработки медиаданных, которая происходит перед тем, как медиаданные были получены. Это может работать в инфраструктуре обработки медиаданных, где единственный объект выполняет всю обработку медиаданных и кодирование для различных конечных устройств представления медиаданных, а конечное устройство представления медиаданных выполняет все декодирование и представление кодированных медиаданных. Однако такая слепая обработка не оправдывает себя на практике (или вообще не работает) в ситуациях, где несколько узлов обработки медиаданных рассеяны в неоднородной сети или размещены последовательно (т.е. в цепочке) и, как ожидается, должны оптимальным образом выполнять соответствующие им типы обработки медиаданных. Например, некоторые медиаданные могут кодироваться для высокопроизводительных медиасистем, и они могут нуждаться в преобразовании к сокращенной форме, пригодной для мобильного устройства в цепочке обработки медиаданных. Соответственно, узел обработки медиаданных может без необходимости выполнять на медиаданных обработку какого-либо типа, которая уже была выполнена. Например, узел регулировки уровня громкости выполняет обработку на входном аудиоклипе независимо от того, выполнена ли была регулировка громкости на входном аудиоклипе ранее. В результате, узел регулировки уровня громкости выполняет регулировку тогда, когда она не является необходимой. Такая не являющаяся необходимой обработка также может приводить к снижению качества и/или устранению характерных признаков в медиаданных при представлении содержимого медиаданных.
Подходы, описываемые в данном разделе, представляют собой подходы, которым можно было бы следовать, но они необязательно являются подходами, которые были задуманы или осуществлены ранее. Поэтому, если не указано иное, не следует полагать, что любой из описываемых в данном разделе подходов квалифицируется как прототип единственно на основании его включения в данный раздел. Аналогично, если не указано иное, на основании данного раздела не следует полагать, что трудности, идентифицируемые в отношении одного или нескольких подходов, являются признанными на текущем уровне техники.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Настоящее изобретение иллюстрируется на примере, а не путем ограничения, на фигурах в сопроводительных графических материалах, в которых сходные ссылочные позиции относятся к сходным элементам, где:
ФИГ. 1 иллюстрирует пример цепочки обработки медиаданных в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;
ФИГ. 2 иллюстрирует пример усовершенствованной цепочки обработки медиаданных в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;
ФИГ. 3 иллюстрирует пример кодера/транскодера в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;
ФИГ. 4 иллюстрирует пример декодера в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;
ФИГ. 5 иллюстрирует пример узла постобработки в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;
ФИГ. 6 иллюстрирует пример реализации кодера/транскодера в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;
ФИГ. 7 иллюстрирует пример эволюционного декодера, управляющего режимами работы узла регулировки уровня громкости на основании достоверности метаданных громкости в метаданных состояния обработки и/или в связи с метаданными состояния обработки в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;
ФИГ. 8 иллюстрирует пример конфигурации при использовании скрытия данных для передачи информации обработки медиаданных в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;
ФИГ. 9A и ФИГ. 9B иллюстрируют примеры последовательностей операций процессов в соответствии с одним из возможных вариантов осуществления настоящего изобретения;
ФИГ. 10 иллюстрирует пример аппаратной платформы, на которой может быть реализован компьютер, или вычислительное устройство, описываемое в настоящем раскрытии, в соответствии с одним из возможных вариантов осуществления настоящего изобретения;
ФИГ. 11 иллюстрирует пример кадров медиаданных, вместе с которыми могут передаваться метаданные состояния обработки, связанные с медиаданными в кадрах медиаданных, в соответствии с одним из иллюстративных вариантов осуществления изобретения; и
ФИГ. 12A – ФИГ. 12L иллюстрируют блок-схемы некоторых примеров узлов/устройств обработки медиаданных в соответствии с некоторыми вариантами осуществления настоящего изобретения.
ОПИСАНИЕ ПРИМЕРОВ ВОЗМОЖНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
В данном разделе описываются примеры возможных вариантов осуществления изобретения, которые относятся к адаптивной обработке медиаданных на основе состояний обработки медиаданных. В нижеследующем описании в целях разъяснения многочисленные конкретные подробности излагаются для того, чтобы обеспечить всестороннее понимание настоящего изобретения. Станет, однако, ясно, что настоящее изобретение может применяться на практике без указанных конкретных подробностей. В других случаях, хорошо известные конструкции и устройства не описываются в исчерпывающих подробностях во избежание не являющегося необходимым скрытия, затруднения понимания или усложнения настоящего изобретения.
В настоящем раскрытии, примеры вариантов осуществления изобретения описываются в соответствии со следующим планом:
1. ОБЩИЙ ОБЗОР
2. ЦЕПОЧКИ ОБРАБОТКИ МЕДИАДАННЫХ
3. УЗЛЫ, ИЛИ УСТРОЙСТВА ОБРАБОТКИ МЕДИАДАННЫХ
4. ПРИМЕРЫ АДАПТИВНОЙ ОБРАБОТКИ МЕДИАДАННЫХ
5. СКРЫТИЕ ДАННЫХ
6. ПРИМЕРЫ ПОСЛЕДОВАТЕЛЬНОСТЕЙ ОПЕРАЦИЙ ПРОЦЕССОВ
7. МЕХАНИЗМЫ РЕАЛИЗАЦИИ – ОБЗОР АППАРАТНОГО ОБЕСПЕЧЕНИЯ
8. ПРОНУМЕРОВАННЫЕ ИЛЛЮСТРАТИВНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
9. ЭКВИВАЛЕНТЫ, РАСШИРЕНИЯ, АЛЬТЕРНАТИВЫ И РАЗНОЕ
1. ОБЩИЙ ОБЗОР
Данный обзор представляет базовое описание различных особенностей одного из возможных вариантов осуществления настоящего изобретения. Следует отметить, что данный обзор не является всесторонней и исчерпывающей сводкой особенностей возможного варианта осуществления изобретения. Более того, следует отметить, что данный обзор не предназначается для его понимания ни как обзора, идентифицирующего какие-либо особенно важные особенности или элементы возможного варианта осуществления изобретения, ни как обзора, очерчивающего какой-либо объем возможного варианта осуществления изобретения в частности или изобретение в целом. Данный обзор единственно представляет некоторые концепции, которые относятся к примеру возможного варианта осуществления изобретения в сжатом и упрощенном формате, и его следует воспринимать единственно как концептуальное вступление к более подробному описанию примеров возможных вариантов осуществления изобретения, которые приводятся ниже.
Описываются методики адаптивной обработки медиаданных, основывающиеся на состояниях обработки медиаданных. В некоторых возможных вариантах осуществления изобретения, узлы обработки медиаданных в усовершенствованной цепочке обработки медиаданных автоматически активируются для осуществления поиска, выборки и проверки достоверности сигнализации обработки медиаданных и/или метаданных состояния обработки, определения состояния медиаданных на основе сигнализации обработки медиаданных и/или метаданных состояния обработки, адаптации соответствующей им обработки на основе состояния метаданных. Узлы обработки медиаданных в усовершенствованной цепочке обработки медиаданных могут включать, в качестве неограничивающих примеров, кодеры, транскодеры, декодеры, узлы предобработки, узлы постобработки, инструменты обработки битового потока, кодеки комитета по усовершенствованным телевизионным системам (ATSC), кодеки экспертной группы по вопросам движущегося изображения (MPEG) и т.д. Узел обработки медиаданных может представлять собой систему обработки медиаданных или часть системы обработки медиаданных.
В том значении, которое используется в настоящем документе, термин «метаданные состояния обработки» относится к отдельным метаданным, отличающимся от медиаданных, в то время как термин «медиаданные» (например, видеокадры, перцептивно кодированные аудиокадры или дискретные значения аудиоданных РСМ, содержащие содержимое медиаданных) относится к дискретным значениям медиаданных, которые отображают содержимое медиаданных и используются для представления содержимого медиаданных как выходного аудио- или видеосигнала. Метаданные состояния обработки связаны с медиаданными и указывают, какие типы обработки уже были выполнены на этих медиаданных. Указанная связь метаданных состояния обработки с медиаданными является синхронной по времени. Поэтому имеющиеся метаданные состояния обработки указывают, что имеющиеся в то же самое время медиаданные включают результаты указанных типов обработки медиаданных и/или описание признаков медиаданных в медиаданных. В некоторых возможных вариантах осуществления изобретения, метаданные состояния обработки могут включать историю обработки и/или некоторые, или все, параметры которые используются и/или получаются в результате обработки медиаданных указанных типов. В дополнение и/или необязательно, метаданные состояния обработки могут включать признаки медиаданных одного или нескольких различных типов, рассчитанные/извлеченные из медиаданных. Признаки медиаданных, в том значении, которое используется в настоящем раскрытии, представляют семантическое описание медиаданных и могут включать одно или несколько структурных свойств, тональность, включая гармонию и мелодию, тембр, ритм, стандартный уровень громкости, стереофоническое микширование или количество источников звука в медиаданных, отсутствие или присутствие голоса, характеристики повторений, мелодии, гармонии, тексты, тембр, признаки, относящиеся к восприятию, признаки цифровых медиаданных, стереофонические параметры, распознавание голоса (например, того, что говорит говорящий) и т.д. Метаданные состояния обработки также могут включать другие метаданные, которые не относятся к какой-либо обработке медиаданных и не получаются в результате этой обработки. Например, определенным узлом обработки медиаданных для передачи другим узлам обработки медиаданных могут добавляться данные третьей стороны, информация сопровождения, идентификаторы, информация о стандартах и правах собственности, данные пользовательских комментариев, данные пользовательских настроек и т.д. Указанные независимые типы метаданных могут распределяться в разные стороны, проверяться на достоверность и использоваться компонентом обработки медиаданных в цепочке обработки медиаданных. Термин «сигнализация обработки медиаданных» относится к относительно легковесным управляющим данным или данным состояния (которые могут обладать небольшим информационным объемом относительно метаданных состояния обработки), которые передаются между узлами обработки медиаданных в битовом потоке медиаданных. Сигнализация обработки медиаданных может включать подмножество, или сводку, метаданных состояния обработки.
Сигнализация обработки медиаданных и/или метаданные состояния обработки могут встраиваться в одно или несколько зарезервированных полей (например, в те, которые, в качестве неограничивающего примера, могут не использоваться в текущий момент), переноситься в подпотоке битового потока медиаданных, скрываться медиаданными или снабжаться отдельной базой данных обработки медиаданных. В некоторых возможных вариантах осуществления изобретения, информационный объем сигнализации обработки медиаданных и/или метаданных состояния обработки может быть достаточно небольшим для того, чтобы они переносились (например, в зарезервированных полях, или скрытыми в дискретных значениях медиаданных с использованием методик обратимого скрытия данных, или путем сохранения подробной информации состояния обработки во внешнюю базу данных наряду с тем, что вычисляются контрольные суммы медиаданных исходя из медиаданных, или наряду с поиском и выборкой контрольных сумм медиаданных исходя из медиаданных, и т.д.), не оказывая влияния на битовую скорость передачи данных, выделенную для переноса медиаданных. Передача сигнализации обработки медиаданных и/или метаданных состояния обработки в усовершенствованной цепочке обработки медиаданных особенно полезна тогда, когда двум или большему количеству узлов обработки приходится работать друг с другом последовательно через всю цепочку обработки медиаданных (или жизненный цикл содержимого). В отсутствие сигнализации обработки медиаданных и/или метаданных состояния обработки с большой вероятностью могут возникать такие серьезные трудности при обработке медиаданных, как снижение их качества, уровня или пространственная деградация, например, тогда, когда в цепочке используется два или большее количество аудиокодеков, и в ходе перемещения медиаданных к устройству потребления медиаданных (или к точке представления содержимого медиаданных в медиаданных) более одного раза применяется односторонняя регулировка уровня громкости.
Напротив, описываемые в настоящем раскрытии методики повышают интеллект любого или всех узлов обработки медиаданных в усовершенствованной цепочке обработки медиаданных (жизненном цикле содержимого). Согласно описываемым в настоящем раскрытии методикам, любой из указанных узлов обработки медиаданных может как «ожидать и адаптировать», так и «сообщать» состояние медиаданных находящимся в нисходящем направлении узлам обработки медиаданных. Поэтому, согласно описываемым в настоящем раскрытии способам, узел обработки медиаданных в нисходящем направлении может оптимизировать обработку им медиаданных, основываясь на знании об обработке медиаданных в прошлом, выполненной одним или несколькими узлами обработки медиаданных в восходящем направлении. Согласно методикам, описываемым в настоящем раскрытии, обработка медиаданных цепочкой обработки медиаданных в целом на медиаданных становится более эффективной, более адаптивной и более прогнозируемой, чем в противном случае. В результате, значительно улучшается общее представление и обработка содержимого медиаданных.
Важно, что, согласно методикам, описываемым в настоящем раскрытии, присутствие состояния медиаданных, указываемого сигнализацией обработки медиаданных и/или метаданными состояния обработки, не оказывает отрицательного воздействия на унаследованные узлы обработки медиаданных, которые могут присутствовать в усовершенствованной цепочке обработки медиаданных и сами по себе могут не использовать состояние медиаданных для адаптивной обработки медиаданных. Кроме того, даже если унаследованный узел обработки медиаданных в цепочке обработки медиаданных может иметь склонность к вмешательству в результаты обработки других устройств обработки медиаданных в восходящем направлении, метаданные состояния обработки согласно настоящему описанию могут безопасно и надежно передаваться устройствам обработки медиаданных в нисходящем направлении посредством способов защищенной связи, которые используют криптографические величины, шифрование, проверку подлинности и скрытие данных. Примеры скрытия данных включают как обратимое, так и необратимое скрытие данных.
В некоторых возможных вариантах осуществления изобретения, с целью передачи состояния медиаданных узлам обработки медиаданных в нисходящем направлении, методики согласно настоящему описанию могут облекать и/или встраивать один или несколько подузлов обработки в формы программного обеспечения, аппаратного обеспечения или обе эти формы в узле обработки медиаданных так, чтобы позволить узлу обработки медиаданных считывать, записывать и/или проверять достоверность метаданных состояния обработки, доставляемых вместе с медиаданными.
В некоторых возможных вариантах осуществления изобретения, узел обработки медиаданных (например, кодер, декодер, регулятор уровня и т.д.) может получать медиаданные, на которых обработка медиаданных одного или нескольких типов была выполнена, однако: 1) не существует метаданных состояния обработки для указания этих типов ранее выполненной обработки медиаданных, и/или 2) метаданные состояния обработки могут быть неверными или неполными. Типы обработки медиаданных, которые выполнялась ранее, включают операции (например, регулировку уровня громкости), которые могут изменять дискретные значения медиаданных, а также операции (например, извлечение контрольной суммы и/или извлечение признаков на основе дискретных значений медиаданных), которые могут не изменять дискретные значения медиаданных. Узел обработки медиаданных может быть сконфигурирован для автоматического создания «правильных» метаданных состояния обработки, отражающих «истинное» состояние медиаданных, и связывания этого состояния медиаданных с медиаданными путем передачи созданных метаданных состояния обработки одному или нескольким узлам обработки медиаданных в нисходящем направлении. Кроме того, связь медиаданных и метаданных состояния обработки может выполняться так, чтобы результирующий битовый поток медиаданных был обратно совместим с такими унаследованными узлами обработки медиаданных, как унаследованные декодеры. В результате, унаследованные декодеры, которые не реализуют методики согласно настоящему раскрытию, по-прежнему могут быть способны правильно декодировать медиаданные таким образом, на который рассчитаны унаследованные декодеры, и, в то же время, игнорировать связанные метаданные состояния обработки, которые указывают состояние медиаданных. В некоторых возможных вариантах осуществления изобретения, узел обработки медиаданных согласно настоящему раскрытию может параллельно конфигурироваться с возможностью проверки достоверности метаданных состояния обработки, совместных с (исходными) медиаданными, путем криминалистического анализа и/или проверки достоверности одного или нескольких встроенных значений хэш-функции (например, электронных подписей).
Согласно описанным в настоящем раскрытии методикам, адаптивная обработка медиаданных на основе состояния медиаданных в то же самое время, которое указывается принимаемыми метаданными состояния обработки, может выполняться в различных точках цепочки обработки медиаданных. Например, если метаданные громкости в метаданных состояния обработки являются достоверными, то узел регулировки уровня громкости, следующий за декодером, может извещаться декодером посредством сигнализации обработки медиаданных и/или метаданными состояния обработки, и, таким образом, узел регулировки уровня громкости может передавать медиаданные так, чтобы аудиоданные не изменялись.
В некоторых вариантах осуществления изобретения, метаданные состояния обработки включают признаки медиаданных, извлеченные из лежащих в их основе дискретных значений медиаданных. Признаки медиаданных могут подразумевать семантическое описание дискретных значений медиаданных и могут доставляться как часть метаданных состояния обработки, указывая, например, включают ли дискретные значения медиаданных речь, музыку, поет ли кто-то в тишине или в шумных условиях, происходит ли пение поверх разговаривающей толпы, происходит ли диалог, имеется ли речь поверх шумового фона, имеет ли место сочетание двух или большего количества вышеизложенных признаков, и т.д. Адаптивная обработка медиаданных может выполняться в различных точках цепочки обработки медиаданных на основе описания признаков медиаданных, содержащихся в метаданных состояния обработки.
Согласно методикам, описываемым в настоящем раскрытии, метаданные состояния обработки, встроенные в битовый поток медиаданных вместе с медиаданными, могут проверяться на подлинность и достоверность. Например, методики согласно настоящему раскрытию могут быть полезны для объектов, регулирующих громкость, при проверке того, находится ли громкость конкретной программы уже в пределах указанного диапазона, и что сами медиаданные не были модифицированы (посредством чего гарантируется соответствие нормам). Значение громкости, заключенное в блоке данных, включающем метаданные состояния обработки, может быть считано для проверки его достоверности вместо повторного вычисления громкости.
Согласно методикам, описываемым в настоящем раскрытии, блок данных, включающий метаданные состояния обработки, может включать дополнительные зарезервированные байты для защищенного переноса метаданных третьей стороны. Этот признак может использоваться для того, чтобы делать возможным множество применений. Например, рейтинговое агентство (например, Nielsen Media Research) может выбрать включение метки идентификации содержимого, которая может затем использоваться для идентификации определенной просмотренной или прослушанной программы с целью вычисления рейтингов, статистики зрительской или слушательской аудитории.
Важно, что методики, описываемые в настоящем раскрытии, и изменения этих методик, описываемые в настоящем раскрытии, могут обеспечивать то, что метаданные состояния обработки, связанные с медиаданными, будут сохраняться неизменными по всей цепочке обработки медиаданных от создания содержимого до потребления содержимого.
В некоторых возможных вариантах осуществления изобретения, механизмы, описываемые в настоящем раскрытии, образуют часть системы обработки медиаданных, включающей, в качестве неограничивающих примеров, карманное устройство, игровой автомат, телевизор, дорожный компьютер, нетбук, сотовый радиотелефон, электронную книгу, терминал для производства платежей в месте совершения покупки, настольный компьютер, автоматизированное рабочее место, компьютерный информационный киоск и другие разнообразные типы терминалов и узлов обработки медиаданных.
Специалистам в данной области будут ясны различные модификации предпочтительных вариантов осуществления изобретения и обобщенные принципы, и признаки, описываемые в настоящем раскрытии. Поэтому данное раскрытие не предназначено для ограничения показанными вариантами его осуществления, но подлежит согласованию с наиболее широким объемом, соответствующим описываемым в настоящем раскрытии принципам и признакам.
2. ЦЕПОЧКИ ОБРАБОТКИ МЕДИАДАННЫХ
ФИГ. 1 иллюстрирует один из примеров цепочки обработки медиаданных в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. Цепочка обработки медиаданных может, в качестве неограничивающих примеров, включать кодеры, декодеры, узлы пред-/постобработки, транскодеры и узлы анализа сигнала и коррекции метаданных. Указанные узлы цепочки обработки медиаданных могут заключаться в одной и той же системе или в различных системах. В тех вариантах осуществления изобретения, где цепочка обработки медиаданных охватывает разные системы, указанные системы могут располагаться вместе или являться географически распределенными.
В некоторых вариантах осуществления изобретения, узел предобработки по ФИГ. 1 может принимать в качестве входных данных дискретные значения РСМ (во временной области), включающие содержимое медиаданных, и выводить обработанные дискретные значения РСМ. Кодер может принимать в качестве входных данных дискретные значения РСМ и выводить кодированный (например, сжатый) битовый поток медиаданных содержимого медиаданных.
В том значении, которое используется в настоящем раскрытии, данные (например, переносимые в основном потоке битового потока), включающие содержимое медиаданных, называются медиаданными, в то время как данные, отдельные от медиаданных, указывающие типы обработки, выполненной на медиаданных в любой данной точке цепочки обработки медиаданных, называются метаданным состояния обработки.
Узел анализа сигнала и коррекции метаданных может принимать в качестве входных данных один или несколько кодированных битовых потоков медиаданных и, путем выполнения анализа сигнала, проверять, являются ли верными метаданные состояния обработки, заключенные в кодированные битовые потоки медиаданных. Если узел анализа сигнала и коррекции метаданных обнаруживает, что включенные метаданные являются неверными, узел анализа сигнала и коррекции метаданных заменяет неверное значение верным значением, полученным исходя из анализа сигнала.
Транскодер может принимать в качестве входных данных битовые потоки медиаданных и выводить модифицированный битовый поток медиаданных. Декодер может принимать в качестве входных данных сжатые битовые потоки медиаданных и выводить поток декодированных дискретных значений РСМ. Узел постобработки может принимать поток декодированных дискретных значений РСМ, выполнять на них какую-либо постобработку, например, регулировку уровня громкости содержимого медиаданных, и представлять содержимое медиаданных в декодированных дискретных значениях РСМ в одном или нескольких громкоговорителях и/или на одной или нескольких индикаторных панелях. Все узлы обработки медиаданных могут не быть способны адаптировать их обработку для применения к медиаданным с использованием метаданных состояния обработки.
Методики, которые представлены в настоящем раскрытии, предусматривают цепочку обработки медиаданных, в которой такие узлы обработки медиаданных, как кодеры, декодеры, транскодеры, узлы пред- и постобработки и т.д., адаптируют соответствующую им обработку для применения на медиаданных в соответствии с состоянием медиаданных в текущий момент времени, которое указывается сигнализацией обработки медиаданных и/или метаданными состояния обработки, соответственно, получаемыми этими узлами обработки медиаданных.
ФИГ. 2 иллюстрирует один из примеров усовершенствованной цепочки обработки медиаданных, включающей кодеры, декодеры, узлы пред- и постобработки, транскодеры и узлы анализа сигнала и коррекции метаданных, в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. Для того чтобы адаптировать обработку медиаданных на основе состояния медиаданных, некоторые, или все, узлы по ФИГ. 2 могут быть модифицированы. В некоторых возможных вариантах осуществления изобретения, каждый из узлов обработки медиаданных в примере усовершенствованной цепочки обработки медиаданных является сконфигурированным для совместной работы при выполнении неизбыточной обработки медиаданных во избежание не являющегося необходимым и ошибочного повторения обработки, которая была выполнена узлами в восходящем направлении. В некоторых возможных вариантах осуществления изобретения, состояние медиаданных в любой точке усовершенствованной цепочки обработки медиаданных от точки создания содержимого до точки потребления содержимого известно текущему узлу обработки медиаданных, находящемуся в указанной точке усовершенствованной цепочки обработки медиаданных.
3. УСТРОЙСТВА, ИЛИ УЗЛЫ, ОБРАБОТКИ МЕДИАДАННЫХ
ФИГ. 3 иллюстрирует один из примеров (модифицированного) кодера/транскодера в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. В отличие от кодеров по ФИГ. 1, кодер/транскодер по ФИГ. 3 может конфигурироваться для приема метаданных состояния обработки, связанных с входными медиаданными, и определения предшествующей обработки (пред- или постобработки), выполненной одним или несколькими узлами в восходящем направлении относительно кодера/транскодера, на входных медиаданных (например, на входных аудиоданных), которые модифицированный кодер/транскодер логически принимает от узла в восходящем направлении (например, последнего узла в восходящем направлении, который выполнил его обработку входных аудиоданных).
В том значении, которое используется в настоящем раскрытии, термин «логический прием» может означать, что в передачу входных медиаданных из узла в восходящем направлении (например, последнего узла в восходящем направлении) в узел-получатель, такой как узел кодера/транскодера в настоящем примере, может быть вовлечен, или может не быть вовлечен, промежуточный узел.
В одном из примеров, узел в восходящем направлении, который выполняет пред- или постобработку на входных медиаданных, может находиться в иной системе, чем система, частью которой является узел-получатель. Входные медиаданные могут представлять собой битовый поток медиаданных, который выводится узлом в восходящем направлении и передается через промежуточный передающий узел, такой как сетевое соединение, USB, глобальное сетевое соединение, беспроводное соединение, оптическое соединение и т.д.
В другом примере, узел в восходящем направлении, который выполняет пред- или постобработку на входных медиаданных, может находиться в той же системе, частью которой является узел-получатель. Входные медиаданные могут выводиться узлом в восходящем направлении и передаваться посредством внутреннего соединения через один или несколько внутренних узлов системы. Например, данные могут физически доставляться при помощи внутренней шины, координатного соединения, последовательного соединения и т.д. В любом случае, согласно методикам, описываемым в настоящем раскрытии, узел-получатель может логически принимать входные медиаданные от узла в восходящем направлении.
В некоторых возможных вариантах осуществления настоящего изобретения, кодер/транскодер является сконфигурированным для создания или модификации метаданных состояния обработки, связанных с медиаданными, которые могут представлять собой пересмотр входных медиаданных. Новые, или модифицированные, метаданные состояния обработки, созданные, или модифицированные, кодером/транскодером, могут автоматически и точно захватывать состояние медиаданных, которые подлежат выводу кодером/транскодером дальше по цепочке обработки медиаданных. Например, метаданные состояния обработки могут включать информацию о том, проводилась на входных медиаданных определенная обработка (например, повышающее микширование Dolby Volume, доступное для приобретения у Dolby Laboratories) или нет. В дополнение и/или необязательно, метаданные состояния обработки могут включать параметры, использованные и/или полученные из определенной обработки или каких-либо операций, составляющих обработку. Кроме того и/или необязательно, метаданные состояния обработки могут включать одну или несколько контрольных сумм, вычисленных/извлеченных из медиаданных. Кроме того и/или необязательно, метаданные состояния обработки могут включать признаки медиаданных одного или нескольких типов, вычисленные/извлеченные из медиаданных. Признаки медиаданных, описываемые в настоящем раскрытии, обеспечивают семантическое описание медиаданных и могут включать одно или несколько структурных свойств, тональность, включая гармонию и мелодию, тембр, ритм, стандартный уровень громкости, стереофоническое микширование, или количество источников звука в медиаданных, отсутствие или присутствие голоса, характеристики повторений, мелодию, гармонии, тексты, тембр, признаки, относящиеся к восприятию, признаки цифровых медиаданных, стереофонические параметры, распознавание голоса (например, того, что говорит говорящий) и т.д. В некоторых вариантах осуществления изобретения, извлекаемые признаки медиаданных используются для классификации лежащих в их основе медиаданных на один или несколько классов из ряда классов медиаданных. Один или несколько классов медиаданных могут включать, в качестве неограничивающих примеров, какой-либо единый общий/доминантный «класс» (например, класс объекта) для всего фрагмента медиаданных и/или единичный класс, который отображает меньший промежуток времени (например, подкласс объекта для подмножества/субинтервала всего фрагмента), такой как единственный кадр медиаданных, блок медиаданных, несколько кадров медиаданных, несколько блоков медиаданных, доля секунды, секунда, несколько секунд и т.д. Например, метка класса может вычисляться и вставляться в битовый поток и/или скрываться (при помощи методик обратимого или необратимого скрытия данных) каждые 32 мс для битового потока. Метка класса может использоваться для указания одного или нескольких классов объектов и/или одного или нескольких подклассов объектов. В кадре медиаданных метка класса может вставляться в структуру метаданных, которая предшествует блоку медиаданных, или, в альтернативном варианте, следует за блоком медиаданных, с которым связана эта метка класса, как показано на ФИГ. 11. Классы медиаданных могут включать в качестве неограничивающих примеров какой-либо из единых классов объектов, такой как музыка, речь, шум, тишина, рукоплескания. Устройство обработки медиаданных, описываемое в настоящем раскрытии, также может являться сконфигурированным для классификации включающих медиаданные смесей классов объектов, таких как речь поверх музыки и т.д. Кроме того, в альтернативном варианте и необязательно, устройство обработки медиаданных, описываемое в настоящем раскрытии, может быть сконфигурировано для переноса независимого значения «правдоподобия», или вероятности, для типа, или подтипа, объекта медиаданных, указываемого вычисленной меткой класса медиаданных. Одно или несколько значений правдоподобия, или вероятности, могут передаваться с меткой класса медиаданных в той же структуре метаданных. Значение правдоподобия, или вероятности, указывает уровень «доверия», которое вычисленная метка класса медиаданных имеет в связи с сегментом/блоком медиаданных, для которого тип объекта медиаданных указывается вычисленной меткой класса медиаданных. Одно или несколько значений правдоподобия, или вероятности, в сочетании со связанной меткой класса медиаданных может использоваться устройством-получателем обработки медиаданных для адаптации обработки медиаданных так, чтобы улучшать любую из широкого выбора таких операций по всей цепочке обработки медиаданных, как повышающее микширование, кодирование, декодирование, перекодировка, виртуализация наушников и т.д. Метаданные состояния обработки могут включать, в качестве неограничивающих примеров, какой-либо из типов, или подтипов, объектов медиаданных, значений правдоподобия, или вероятности. Кроме того, необязательно или в качестве альтернативы, вместо передачи в структуре метаданных типов/подтипов классов объектов и значений правдоподобия/вероятности, вставленных между блоками медиаданных (аудиоданных), некоторые, или все, типы/подтипы объектов и значения правдоподобия/вероятности могут встраиваться и передаваться в узел/устройство-получатель обработки медиаданных в медиаданных (или дискретных значениях медиаданных) как скрытые метаданные. В некоторых вариантах осуществления изобретения, результаты анализа содержимого медиаданных, заключенные в метаданных состояния обработки, могут включать одно или несколько указаний на то, произносятся ли в каком-либо временном сегменте медиаданных некоторые определенные пользователем или определенные системой ключевые слова. Одно или несколько приложений могут использовать эти указания для запуска выполнения связанных операций (например, представления контекстной рекламы изделий и услуг, относящихся к ключевым словам).
В некоторых вариантах осуществления изобретения, в то время как медиаданные обрабатываются первым процессором, устройство, описываемое в настоящем раскрытии, может параллельно запускать второй процессор для классификации/извлечения признаков медиаданных. Признак медиаданных может извлекаться из сегмента, который длится в течение некоторого промежутка времени (один кадр, несколько кадров, одна секунда, несколько секунд, одна минута, несколько минут, промежуток времени, определяемый пользователем, и т.д.), или, в альтернативном варианте, в течение сцены (на основе обнаруживаемых изменений свойств сигнала). Признаки медиаданных, описываемые метаданными состояния обработки, могут использоваться во всей цепочке обработки медиаданных. Устройство в нисходящем направлении может адаптировать обработку им медиаданных на основе одного или нескольких признаков медиаданных. В альтернативном варианте, устройство в нисходящем направлении может выбирать игнорирование присутствия каких-либо, или всех, признаков медиаданных, описанных в метаданных состояния обработки.
Приложение на одном из устройств в цепочке обработки медиаданных может выгодно использовать признаки медиаданных одним или несколькими из множества способов. Например, указанное приложение может индексировать лежащие в его основе медиаданные с использованием признаков медиаданных. Для пользователя, который может изъявить желание перейти к разделам, в которых ценители говорят о представлениях, приложение может пропускать другие предшествующие разделы. Признаки медиаданных, описываемые в метаданных состояния обработки, предоставляют устройствам в нисходящем направлении контекстную информацию о медиаданных как о существенной части медиаданных.
Выполнять анализ с целью извлечения признаков медиаданных из содержимого медиаданных может более одного устройства. Это позволяет устройствам в нисходящем направлении не иметь необходимости в анализе содержимого медиаданных.
В некоторых возможных вариантах осуществления изобретения, генерируемые, или модифицируемые, метаданные состояния обработки могут передаваться как часть битового потока медиаданных (например, битового потока аудиоданных с метаданными состояния аудиоданных) со скоростью передачи, составляющей порядка 3 – 10 Кбит/с. В некоторых вариантах осуществления изобретения, метаданные состояния обработки могут передаваться в медиаданных (например, дискретных значениях медиаданных РСМ) на основе скрытия данных. Для скрытия части, или всех, метаданных состояния обработки (в том числе, в качестве неограничивающего примера, данных, связанных с проверкой подлинности) в дискретных значениях медиаданных может использоваться широкий выбор методик скрытия данных, которые могут изменять медиаданные обратимо или необратимо. Скрытие данных может реализовываться заметным и незаметным защищенным каналом связи. Скрытие данных может достигаться путем изменения/обработки/модулирования свойств сигнала (фазы и/или амплитуды в частотной или временной области) в лежащих в его основе дискретных значениях медиаданных. Скрытие данных может быть реализовано на основе FSK, размытого спектра или другими доступными способами.
В некоторых возможных вариантах осуществления изобретения, обработку медиаданных совместно с кодером/транскодером может выполнять узел пред-/постобработки. Обработка, выполняемая содействующим узлом пред-/постобработки также указывается в метаданных состояния обработки, которые передаются (например, посредством битового потока аудиоданных) узлу обработки медиаданных в нисходящем направлении.
В некоторых возможных вариантах осуществления изобретения, как только будет получен фрагмент метаданных состояния обработки (который может включать контрольные суммы метаданных и какие-либо параметры, используемые при обработке медиаданных одного или нескольких типов или полученные в результате обработки медиаданных), этот фрагмент метаданных состояния обработки может сохраняться узлами обработки медиаданных в цепочке обработки медиаданных и передаваться всем узлам в нисходящем направлении. Таким образом, в некоторых возможных вариантах осуществления изобретения, фрагмент метаданных состояния обработки может создаваться первым узлом обработки медиаданных и передаваться последнему узлу обработки медиаданных как данные, встроенные в битовый поток/подпоток медиаданных, или как данные, получаемые из внешнего источника данных или базы данных обработки медиаданных, по цепочке обработки медиаданных (полный жизненный цикл).
ФИГ. 4 иллюстрирует пример декодера (например, эволюционного декодера, который реализует методики, описываемые в настоящем раскрытии) в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. Декодер в некоторых возможных вариантах осуществления настоящего изобретения может быть сконфигурирован для (1) синтаксического анализа и проверки достоверности метаданных состояния обработки (например, истории обработки, описания признаков медиаданных и т.д.), связанных с поступающими медиаданными, и других метаданных (например, метаданных, не зависящих от какой-либо обработки медиаданных, таких как данные третьей стороны, данные сопровождения, идентификаторы, информация о правах собственности и стандартах, данные пользовательских комментариев, данные пользовательских предпочтений и т.д.), которые были переданы, и (2) определения состояния обработки медиаданных на основе проверенных на достоверность метаданных состояния обработки. Например, путем синтаксического анализа и проверки достоверности метаданных состояния обработки в битовом потоке медиаданных (например, в битовом потоке аудиоданных с метаданными состояния аудиоданных), который переносит входные медиаданные и метаданные состояния обработки, декодер может определять, что метаданные громкости (или метаданные признака медиаданных) являются достоверными и надежными, и они были созданы одним из усовершенствованных подузлов поставщика содержимого, который реализует способы, описываемые в настоящем раскрытии (например, генератором медиаданных Dolby (DMG), доступным для приобретения у Dolby Laboratories). В некоторых возможных вариантах осуществления изобретения, в ответ на определение того, что принятые метаданные состояния обработки являются достоверными и надежными, декодер может быть сконфигурирован так, чтобы он, основываясь на, по меньшей мере, части принятых метаданных состояния обработки, затем генерировал сигнализацию обработки медиаданных о состоянии медиаданных с использованием одной из методик обратимого или необратимого скрытия данных. Декодер может быть сконфигурирован для доставки сигнализации обработки медиаданных одному из узлов обработки медиаданных в нисходящем направлении по цепочке обработки медиаданных (например, узлу постобработки). Данный тип сигнализации может использоваться, например, тогда, когда между декодером и узлом обработки медиаданных в нисходящем направлении не существует выделенного (и синхронного) тракта метаданных. Такая ситуация может возникать в некоторых возможных вариантах осуществления изобретения, где декодер и узел обработки медиаданных в нисходящем направлении существуют в отдельных объектах потребительского электронного устройства (например, персональных компьютерах, мобильных телефонах, приставках, устройствах записи и воспроизведения аудио- и видеоданных и т.д.) или в другой подсистеме, или в разных системах, где недоступно синхронное управление трактом данных между декодером и последующим узлом обработки медиаданных. В некоторых возможных вариантах осуществления изобретения, сигнализация обработки медиаданных, согласно методике скрытия данных в соответствии с настоящим изобретением, может передаваться, как часть битового потока медиаданных со скоростью передачи порядка 16 бит/с. Для скрытия части, или всех, метаданных состояния обработки в дискретных значениях медиаданных, может использоваться широкий выбор методик скрытия, которые могут обратимо или необратимо изменять медиаданные и включают, в качестве неограничивающих примеров, какие-либо заметные или незаметные защищенные каналы связи, изменения/обработку/модуляцию свойств сигнала с узкой полосой или размытым спектром (фазу и/или амплитуду в частотной или временной области) для одного или нескольких сигналов в лежащих в их основе дискретных значениях медиаданных, или другие доступные способы.
В некоторых возможных вариантах осуществления изобретения, декодер может не предпринимать попыток передачи всех принятых метаданных состояния обработки; вместо этого, декодер может, на основании состояния метаданных, встраивать достаточное количество информации (например, в пределах пропускной способности скрытия данных) для изменения режима работы узла обработки медиаданных в нисходящем направлении.
В некоторых возможных вариантах осуществления изобретения, для переноса состояния медиаданных можно воспользоваться избыточностью аудио- или видеосигнала в медиаданных. В некоторых возможных вариантах осуществления изобретения, некоторая часть или вся сигнализация обработки медиаданных и/или все метаданные состояния обработки могут скрываться в младших битах (LSB) ряда байтов медиаданных, или скрываться в защищенном канале связи, переносимом в медиаданных, не вызывая каких-либо слышимых или видимых искажений. Указанный ряд байтов может выбираться на основе одного или нескольких факторов, или критериев, в том числе таких, как могут ли LSB приводить к воспринимаемым или видимым искажениям тогда, когда дискретные значения медиаданных со скрытыми данными представляются унаследованным узлом обработки медиаданных. Для скрытия части, или всех, метаданных состояния обработки в дискретных значениях медиаданных могут использоваться и другие методики скрытия данных (например, заметные или незаметные защищенные каналы связи, методики скрытия данных на основе FSK и т.д.), которые могут обратимо или необратимо изменять медиаданные.
В некоторых возможных вариантах осуществления изобретения, технология скрытия данных может быть необязательной и не являться необходимой, например, тогда, когда узел обработки медиаданных в нисходящем направлении реализуется как часть декодера. Например, два или большее количество узлов обработки медиаданных могут совместно использовать шину или другие механизмы связи, которые позволяют передавать метаданные от одного узла обработки медиаданных к другому как внеполосные сигналы без скрытия данных в дискретных значениях медиаданных.
ФИГ. 5 иллюстрирует один из примеров узла постобработки (например, узла постобработки Dolby evolution) в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. Узел постобработки может быть сконфигурирован для того, чтобы, в первую очередь, извлекать сигнализацию обработки медиаданных, скрытую в медиаданных (например, в дискретных значениях аудиоданных РСМ с встроенной информацией), для определения состояния медиаданных, указываемого сигнализацией обработки медиаданных. Это можно осуществить, например, при помощи узла дополнительной обработки (например, в некоторых возможных вариантах осуществления изобретения, где медиаданные включают аудиоданные, подузла извлечения информации и восстановления аудиоданных). В тех вариантах осуществления изобретения, где сигнализация обработки медиаданных является скрытой с использованием методики обратимого скрытия данных, предшествующие модификации, выполненные на медиаданных методикой скрытия данных (например, декодером) для встраивания сигнализации обработки медиаданных, могут быть отменены. В тех вариантах осуществления изобретения, где сигнализация обработки медиаданных является скрытой с использованием методики необратимого скрытия данных, предшествующие модификации, выполненные на медиаданных методикой необратимого скрытия данных (например, указанным декодером) для встраивания сигнализации обработки медиаданных, не могут быть полностью отменены, но вместо этого могут быть минимизированы побочные влияния на качество представления аудиоданных (например, минимальные звуковые или визуальные искажения). Затем, на основании состояния медиаданных, указываемого сигнализацией обработки медиаданных, узел постобработки может быть сконфигурирован для адаптации его обработки к применению на медиаданных. В одном из примеров, обработка уровня громкости может отключаться в ответ на определение (исходя из сигнализации обработки медиаданных) того, что метаданные громкости были достоверными, и того, что обработка уровня громкости выполнялась узлом в восходящем направлении. В другом примере, ключевым словом голосового распознавания может представляться или запускаться контекстная реклама или сообщение.
В некоторых возможных вариантах осуществления изобретения, узел анализа сигнала и коррекции метаданных в системе обработки медиаданных, описываемый в настоящем раскрытии, может быть сконфигурирован для приема в качестве входных данных кодированных битовых потоков медиаданных и для проверки, путем выполнения анализа сигнала, достоверности того, являются ли верными метаданные, встроенные в битовый поток медиаданных. После проверки того, являются достоверными метаданные, встроенные в битовый поток медиаданных или нет, по мере надобности, может применяться коррекция. В некоторых возможных вариантах осуществления изобретения, узел анализа сигнала и коррекции метаданных может быть сконфигурирован для выполнения анализа на медиаданных или на дискретных значениях, закодированных в битовых потоках медиаданных, во временной или частотной области (областях) с целью определения для медиаданных признаков медиаданных. После определения признаков медиаданных, соответствующие метаданные состояния обработки (например, описание одного или нескольких признаков медиаданных) могут генерироваться и доставляться устройствам в нисходящем направлении относительно узла анализа сигнала и коррекции метаданных. В некоторых возможных вариантах осуществления изобретения, узел анализа сигнала и коррекции метаданных может объединяться с одним или несколькими узлами обработки медиаданных в одну или несколько систем обработки медиаданных. В дополнение и/или необязательно, узел анализа сигнала и коррекции метаданных может быть сконфигурирован для скрытия в медиаданных сигнализации обработки медиаданных и для передачи узлу в нисходящем направлении (кодеру/транскодеру/декодеру) сигнала о том, что метаданные, встроенные в медиаданные, являются достоверными, и их достоверность была успешно проверена. В некоторых возможных вариантах осуществления изобретения, данные сигнализации и/или метаданные состояния обработки, связанные с медиаданными, могут генерироваться и вставляться в сжатый битовый поток медиаданных, который переносит медиаданные.
Таким образом, методики, описываемые в настоящем раскрытии, обеспечивают способность различных узлов обработки медиаданных в усовершенствованной цепочке обработки медиаданных (например, кодеры, транскодеры, декодеры, узлы пред-/постобработки и т.д.) определять состояние медиаданных. Поэтому каждый из узлов обработки медиаданных может адаптировать свою обработку в соответствии с состоянием медиаданных, указываемым узлами в восходящем направлении. Кроме того, для обеспечения эффективной доставки сигнальной информации о состоянии медиаданных узлам обработки медиаданных в нисходящем направлении с минимальной необходимой величиной битовой скорости передачи данных для передачи сигнальной информации узлам обработки медиаданных в нисходящем направлении, может быть использована одна или несколько методик скрытия данных. Это особенно полезно, когда не существует тракта метаданных между узлом в восходящем направлении, таким как декодер, и узлом в нисходящем направлении, таким как узел постобработки, например, тогда, когда узел постобработки не составляет часть декодера.
В некоторых возможных вариантах осуществления изобретения, кодер может улучшаться, или может включать подузел предобработки и проверки достоверности метаданных. В некоторых возможных вариантах осуществления изобретения, подузел предобработки и проверки достоверности метаданных может быть сконфигурирован для обеспечения выполнения кодером адаптивной обработки медиаданных на основе состояния медиаданных, указываемого сигнализацией обработки медиаданных и/или метаданными состояния обработки. В некоторых возможных вариантах осуществления изобретения, кодер, посредством подузла предобработки и проверки достоверности метаданных, может быть сконфигурирован для проверки достоверности метаданных состояния обработки, связанных с медиаданными (например, включенных в битовый поток медиаданных вместе с медиаданными). Например, если проверка достоверности показала, что метаданные являются надежными, то результаты выполненной обработки медиаданных данного типа могут использоваться повторно, и можно избежать выполнения данного типа обработки медиаданных заново. С другой стороны, если обнаружено, что метаданные подвергались вмешательству, то обработка медиаданных определенного типа, предположительно выполненная ранее, может быть повторена кодером. В некоторых вариантах осуществления изобретения, как только обнаруживается, что метаданные состояния обработки (в том числе сигнализация обработки медиаданных и поиск и выборка метаданных на основе контрольных сумм) не являются надежными, кодер может выполнять на метаданных дополнительные типы обработки медиаданных.
Если метаданные состояния обработки определены как достоверные (например, на основе соответствия извлеченной криптографической величины стандартной криптографической величине), кодер также может быть сконфигурирован для передачи другим узлам обработки медиаданных в нисходящем направлении по цепочке обработки медиаданных сигнала о том, что метаданные состояния обработки, например, присутствующие в битовом потоке медиаданных, являются достоверными. Кодером могут реализовываться любые, некоторые или все из множества подходов.
Согласно первому подходу, кодер может вставлять в кодированный битовый поток медиаданных флаг (например, «флаг эволюции») для указания того, что проверка достоверности метаданных состояния обработки на данном кодированном битовом потоке медиаданных уже выполнена. Флаг может вставляться таким образом, что присутствие этого флага не будет оказывать влияние на такой «унаследованный» узел обработки медиаданных, как декодер, который не сконфигурирован для обработки и применения метаданных состояния обработки, описываемых в настоящем раскрытии. В одном из иллюстративных вариантов осуществления изобретения, для установки «флага эволюции» в полях xbsi2 битового потока медиаданных AC-3, описанных в технических условиях ATSC (например, ATSC A/52b), подузлом предобработки и проверки достоверности метаданных может быть усилен кодер Audio Compression-3 (AC-3). Данный «бит» может присутствовать в каждом кодированном кадре, переносимом битовым потоком медиаданных AC-3, и он может являться неиспользуемым. В некоторых возможных вариантах осуществления изобретения, присутствие указанного флага в поле xbsi2 не оказывает влияния на уже применяющиеся, «унаследованные» декодеры, которые не сконфигурированы для обработки и применения метаданных состояния обработки, описываемых в настоящем раскрытии.
Согласно первому подходу, могут возникать трудности с проверкой подлинности информации в полях xbsi2. Например, один из узлов в восходящем направлении (например, злонамеренных) может быть способен «включать» поле xbsi2 без фактической проверки достоверности метаданных состояния обработки и может передавать другим узлам в нисходящем направлении неверный сигнал о том, что метаданные состояния обработки являются достоверными.
С целью решения данной проблемы некоторые варианты осуществления настоящего изобретения могут использовать второй подход. Для встраивания «флага эволюции» может использоваться способ защищенного скрытия данных (включающий, в качестве неограничивающих примеров, какой-либо из множества таких способов скрытия данных для создания в самих медиаданных защищенного канала связи, как способы на основе размытого спектра, способы на основе FSK, другие способы на основе защищенного канала связи и т.д.). Указанный защищенный способ является сконфигурированным для предотвращения передачи «флага эволюции» открытым текстом и, таким образом, его легкой преднамеренной или непреднамеренной атаке каким-либо узлом или злоумышленником. Вместо этого, согласно указанному второму подходу, узел в нисходящем направлении может производить поиск и выборку скрытых данных в зашифрованной форме. При помощи подпроцесса шифрования и проверки подлинности, узел в нисходящем направлении может проверять правильность скрытых данных и доверять «флагу эволюции» в скрытых данных. В результате, узел в нисходящем направлении может определять, что метаданные состояния обработки в битовом потоке медиаданных ранее были успешно проверены на достоверность. В различных вариантах осуществления изобретения, какая-либо часть метаданных состояния обработки, такая как «флаг эволюции», может доставляться устройством в восходящем направлении устройствам в нисходящем направлении при помощи какого-либо одного или нескольких криптографических методов (основывающихся на HMAC, или не основывающихся на НМАС).
В некоторых возможных вариантах осуществления изобретения, медиаданные изначально могут представлять собой унаследованные битовые потоки медиаданных, например, включающие дискретные значения РСМ. Однако, как только медиаданные будут обработаны одним или несколькими узлами обработки медиаданных, описываемыми в настоящем раскрытии, метаданные состояния обработки, генерируемые одним или несколькими узлами обработки медиаданных, будут включать состояние медиаданных, а также относительно подробную информацию (включающую, в качестве неограничивающих примеров, какой-либо один или несколько признаков медиаданных, определенных исходя из указанных медиаданных), которая может быть использована для декодирования медиаданных. В некоторых возможных вариантах осуществления изобретения, генерируемые метаданные состояния обработки могут включать такие контрольные суммы медиаданных, как контрольные суммы видеоданных, метаданные громкости, метаданные динамического диапазона, один или несколько кодов аутентификации сообщений на основе хэш-функций (HMAC), один или несколько диалоговых каналов, контрольные суммы аудиоданных, пронумерованная история обработки, громкость аудиоданных, диалоговая громкость, истинные пиковые значения, пики дискретных значений и/или метаданные, указанные пользователем (третьей стороной). Метаданные состояния обработки могут включать «эволюционный блок данных».
В том значении, которое используется в настоящем раскрытии, термин «усовершенствованный» относится к способности узла обработки медиаданных согласно методикам, описываемым в настоящем раскрытии, работать с другими узлами обработки медиаданных или другими системами обработки медиаданных согласно методикам, описываемым в настоящем раскрытии, таким образом, чтобы он мог выполнять адаптивную обработку на основе состояния медиаданных, установленного узлами в восходящем направлении. Термин «эволюционный» относится к способности узлов обработки медиаданных согласно методикам, описываемым в настоящее раскрытии, совместимым образом работать с унаследованными узлами обработки медиаданных или с унаследованными системами обработки медиаданных, а также к способности узлов обработки медиаданных согласно методикам, описываемым в настоящем раскрытии, работать указанным образом с другими узлами обработки медиаданных или с другими системами обработки медиаданных согласно методикам, описываемым в настоящее раскрытии, которые способны выполнять адаптивную обработку на основе состояния медиаданных, установленного узлами в восходящем направлении.
В некоторых возможных вариантах осуществления изобретения, узел обработки медиаданных, описываемый в настоящем раскрытии, может принимать медиаданные, на которых уже была выполнена обработка медиаданных одного или нескольких типов, однако метаданные, связанные с медиаданными и указывающие один или несколько типов обработки медиаданных, могут отсутствовать или быть недостаточными. В некоторых возможных вариантах осуществления изобретения, указанный узел обработки медиаданных может быть сконфигурирован для создания метаданных состояния обработки, указывающих один или несколько типов обработки медиаданных, которая была выполнена другими узлами в восходящем направлении относительно этого узла обработки медиаданных. Также может выполняться извлечение признаков, которое не было выполнено узлами в восходящем направлении, и перенос метаданных состояния обработки вперед, к устройствам в нисходящем направлении. В некоторых возможных вариантах осуществления изобретения, узел обработки медиаданных (например, эволюционный кодер/транскодер) может включать подузел криминалистического анализа. Подузел криминалистического анализа медиаданных, такой как подузел криминалистического анализа аудиоданных, может быть сконфигурирован для определения (в отсутствие каких-либо принятых метаданных) того, выполнен ли на некотором фрагменте содержимого медиаданных, или на медиаданных, определенный тип обработки. Подузел анализа может быть сконфигурирован для поиска специфических искажений/следов обработки сигнала, вносимых и оставляемых обработкой определенного типа. Подузел криминалистического анализа медиаданных также может быть сконфигурирован для определения того, был ли на фрагменте содержимого медиаданных, или на медиаданных, выполнен определенный тип извлечения признаков. Подузел анализа может быть сконфигурирован для поиска характерного присутствия метаданных на основе признаков. Для целей настоящего изобретения, подузел криминалистического анализа медиаданных, описываемый в настоящем раскрытии, может быть реализован посредством любого узла обработки медиаданных в цепочке обработки медиаданных. Кроме того, метаданные состояния обработки, создаваемые узлом обработки медиаданных при помощи подузла криминалистического анализа медиаданных, могут доставляться в узел в нисходящем направлении по цепочке обработки медиаданных.
В некоторых возможных вариантах осуществления изобретения, метаданные состояния обработки, описываемые в настоящем раскрытии, могут включать дополнительные зарезервированные байты, предназначенные для поддержки приложений третьей стороны. Дополнительные зарезервированные байты могут быть обеспечены надежностью путем выделения отдельного ключа шифрования для шифрования какого-либо открытого текста, который переносится в одном или нескольких полях в зарезервированных байтах. Варианты осуществления настоящего изобретения поддерживают новые приложения, в том числе идентификацию и отслеживание содержимого. В одном из примеров, медиаданные с рейтингами Нильсена могут переносить уникальный идентификатор для программы в (медиаданных) битовом потоке медиаданных. Тогда рейтинги Нильсена могут использовать этот уникальный идентификатор для вычисления статистики зрительской или слушательской аудитории программы. В другом примере, зарезервированные байты согласно настоящему раскрытию могут переносить ключевые слова для таких поисковых систем, как Google. Google затем может присоединять рекламу на основе ключевых слов, заключенных в одном или нескольких полях в зарезервированных байтах, которые переносят ключевые слова. Для цели настоящего изобретения, в таких приложениях, как приложения, описываемые в настоящем раскрытии, методики согласно настоящему раскрытию, могут использоваться для обеспечения зарезервированных байтов надежностью и невозможностью расшифровки кем-либо, кроме третьей стороны, которая назначена для использования одного или нескольких полей в зарезервированных байтах.
Метаданные состояния обработки, описываемые в настоящем раскрытии, могут быть связаны с медиаданными любым из множества различных способов. В некоторых возможных вариантах осуществления настоящего изобретения, метаданные состояния обработки могут быть вставлены в исходящий сжатый битовый поток медиаданных, который переносит медиаданные. В некоторых вариантах осуществления изобретения, метаданные вставляются таким образом, чтобы поддерживалась обратная совместимость с унаследованными декодерами, которые не сконфигурированы для выполнения адаптивной обработки на основе метаданных состояния обработки согласно настоящему раскрытию.
4. ПРИМЕР АДАПТИВНОЙ ОБРАБОТКИ МЕДИАДАННЫХ
ФИГ. 6 иллюстрирует пример реализации кодера/транскодера в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. Любой из изображенных компонентов может быть реализован как один или несколько процессов и/или интегральных микросхем (например, ASIC, FPGA и т.д.), в аппаратном обеспечении, программном обеспечении или в сочетании аппаратного и программного обеспечения. Кодер/транскодер может включать ряд унаследованных подузлов, таких как фронтальный декодер (FED), выходной декодер (полный режим), который не выбирает выполнение обработки управления динамическим диапазоном/диалоговой нормой (DRC/Dialnorm) на основе того, была ли эта обработка уже выполнена, генератор DRC (DRC Gen), выходной кодер (BEE), формирователь скорости передачи данных, узел повторного генерирования CRC и т.д. Со всеми указанными унаследованными подузлами, кодер/транскодер мог бы быть способен преобразовывать битовый поток (который, например, может представлять собой, в качестве неограничивающего примера, битовый поток АС-3) в другой битовый поток, включающий результаты одного или нескольких типов обработки медиаданных (которые, например, могут представлять собой, в качестве неограничивающих примеров, E AC-3 с адаптивной и автоматической обработкой громкости). Однако обработка медиаданных (например, обработка громкости) может выполняться независимо от того, была ли обработка громкости выполнена ранее, и/или включают ли медиаданные во входном битовом потоке результат указанной предшествующей обработки громкости, и/или присутствуют ли во входном битовом потоке метаданные состояния обработки. Поэтому сам по себе кодер/транскодер с унаследованными подузлами может выполнять обработку медиаданных, которая является ошибочной или не является необходимой.
Согласно методикам, описываемым в настоящем раскрытии, в некоторых возможных вариантах осуществления изобретения, как показано на ФИГ. 6, кодер/транскодер может включать какой-либо из ряда новых подузлов, таких как синтаксический анализатор/валидатор медиаданных (который, например, может представлять собой, в качестве неограничивающего примера, синтаксический анализатор и валидатор флагов AC-3), дополнительную обработку медиаданных (например, адаптивный контроллер динамического диапазона и громкости в реальном времени в области преобразования, анализ сигнала, извлечение признаков и т.д.), генерирование контрольных сумм медиаданных (например, генерирование контрольных сумм аудиоданных), генератор метаданных (например, эволюционный генератор метаданных и/или другой генератор метаданных), вставка сигнализации обработки медиаданных (например, вставка «add_bsi» или вставка полей вспомогательных данных), генератор НМАС (который может выполнять цифровую подпись одного или нескольких, или всех, кадров с целью предотвращения вмешательства со стороны злонамеренных или унаследованных объектов), один или несколько других типов узлов криптографической обработки, один или несколько коммутаторов, которые действуют на основе сигнализации обработки медиаданных и/или метаданных состояния обработки (например, на основе флага «состояния» громкости, принимаемого из синтаксического анализатора и валидатора флагов или флагов для признаков медиаданных) и т.д. Кроме того, кодером/транскодером может приниматься вводимая пользователем информация (например, целевая пользовательская громкость/диалоговая норма) и/или другие входные данные (например, из процесса вычисления контрольных сумм видеоданных), и/или другие входные медиаданные (например, один или несколько типов данных третьей стороны, данные сопровождения, идентификаторы, информация о правах собственности и стандартах, данные пользовательских комментариев, данные пользовательских предпочтений и т.д.). Как показано на иллюстрации, в эволюционный генератор данных также могут вставляться измеренные значения диалоговой, стробированной и нестробированной громкости и динамического диапазона. Для генерирования части метаданных состояния обработки в узел обработки, описываемый в настоящем раскрытии, также может вводиться и другая информация, относящаяся к признакам медиаданных.
В одном или нескольких возможных вариантах осуществления изобретения, метаданные состояния обработки, описываемые в настоящем раскрытии, переносятся в полях «add_bsi», описанных в синтаксисе Enhanced AC-3 (E AC-3) согласно стандарту ATSC A/52b, или в одном или нескольких полях вспомогательных данных в битовом потоке медиаданных, описываемом в настоящем раскрытии. В некоторых возможных вариантах осуществления изобретения, перенос метаданных состояния обработки в этих полях не приводит к отрицательному влиянию на размер кадра или битовую скорость передачи данных сжатого битового потока медиаданных.
В некоторых возможных вариантах осуществления изобретения, метаданные состояния обработки могут быть включены в независимый, или зависимый, битовый подпоток, связанный с битовым потоком медиаданных основной программы. Преимущество такого подхода заключается в том, что битовая скорость передачи данных, выделенная для кодирования медиаданных (переносимых битовым потоком медиаданных основной программы) не затрагивается. Если метаданные состояния обработки переносятся как часть кодированных кадров, то количество битов, выделенное для кодирования информации аудиоданных, может быть уменьшено с тем, чтобы размер кадра и/или битовая скорость передачи данных сжатого битового потока медиаданных могла оставаться неизменной. Например, метаданные состояния обработки могут включать сокращенное представление скорости передачи данных и занимать низкую скорость передачи данных порядка 10 Кбит/с для передачи между узлами обработки. Поэтому, с целью размещения метаданных состояния обработки, медиаданные, такие как дискретные значения аудиоданных, могут кодироваться со скоростью, уменьшенной на 10 Кбит/с.
В некоторых возможных вариантах осуществления изобретения, по меньшей мере, часть метаданных состояния обработки может встраиваться в медиаданные (или дискретные значения) при помощи методик обратимого или необратимого скрытия данных. Преимущество такого подхода заключается в том, что дискретные значения медиаданных и метаданные могут приниматься устройствами в нисходящем направлении в одном и том же битовом потоке.
В некоторых возможных вариантах осуществления изобретения, метаданные состояния обработки могут храниться в базе данных обработки медиаданных, связанной с контрольными суммами. Узел обработки медиаданных в нисходящем направлении относительно такого узла в восходящем направлении, как кодер/транскодер, который создает метаданные состояния обработки, может создавать контрольную сумму исходя из принятых медиаданных, а затем использовать контрольную сумму в качестве ключа для запроса базы данных обработки медиаданных. После определения местоположения метаданных состояния обработки в базе данных, может осуществляться поиск и выборка из базы данных обработки медиаданных блока данных, включающего метаданные состояния обработки, связанные с принятыми медиаданными (или предназначенные для принятых медиаданных), который делается доступным для узла обработки медиаданных в нисходящем направлении. В том значении, которое используются в настоящем раскрытии, контрольные суммы могут включать, в качестве неограничивающих примеров, какую-либо одну или несколько контрольных сумм медиаданных, генерируемых для указания признаков медиаданных.
В некоторых возможных вариантах осуществления изобретения, блок данных, включающий метаданные состояния обработки, включает криптографическую хэш-функцию (HMAC) для метаданных состояния обработки и/или лежащих в их основе медиаданных. Поскольку предполагается, что в этих вариантах осуществления изобретения блок данных имеет цифровую подпись, узел обработки медиаданных в нисходящем направлении может относительно легко проверять подлинность и достоверность метаданных состояния обработки. Для защищенной передачи и приема метаданных состояния обработки и/или лежащих в их основе медиаданных могут использоваться и другие криптографические способы, включающие, в качестве неограничивающих примеров, криптографические способы, не связанные с НМАС.
Как было описано ранее, такой узел обработки медиаданных, как кодер/транскодер, описываемый в настоящем раскрытии, может быть сконфигурирован для приема «унаследованных» битовых потоков медиаданных и дискретных значений РСМ. Если входной битовый поток медиаданных представляет собой унаследованный битовый поток медиаданных, узел обработки медиаданных может проверять наличие флага эволюции, который может присутствовать с битовом потоке медиаданных, или может являться скрытым в медиаданных одним из усовершенствованных «унаследованных» кодеров, включающих описанную ранее логику предобработки и проверки достоверности метаданных. В отсутствие «флага эволюции», кодер сконфигурирован для выполнения надлежащей адаптивной обработки и генерирования метаданных состояния обработки в выходном битовом потоке медиаданных или в блоке данных, включающем метаданные состояния обработки. Например, как показано на ФИГ. 6, такой пример узла, как «контроллер громкости и динамического диапазона в реальном времени в области преобразования» может адаптивно обрабатывать аудиосодержимое во входных медиаданных, которые указанный узел принимает и автоматически регулирует громкость и динамический диапазон, если во входных медиаданных или в исходном битовом потоке медиаданных отсутствует «флаг эволюции». В дополнение, необязательно или в качестве альтернативы, метаданные на основе признаков могут использоваться для выполнения адаптивной обработки и другим узлом.
В иллюстративных вариантах осуществления изобретения, проиллюстрированных на ФИГ. 6, кодер может быть осведомлен об узле пред-/постобработки, который выполнил обработку медиаданных какого-либо типа (например, обработку в области громкости), и поэтому он может создавать метаданные состояния обработки в блоке данных, который включает характерные параметры, используемые при обработки в области громкости и/или полученные при этой обработке. В некоторых возможных вариантах осуществления изобретения, кодер может создавать метаданные состояния обработки, отражающие историю обработки на содержимом медиаданных постольку, поскольку кодер осведомлен о типах обработки, которые были выполнены (например, об обработке в области громкости) на содержимом медиаданных. В дополнение, необязательно или в качестве альтернативы, кодер может выполнять адаптивную обработку на основе одного или нескольких признаков медиаданных, описываемых метаданными состояния обработки. В дополнение, необязательно или в качестве альтернативы, кодер может выполнять анализ медиаданных с целью генерирования описания признаков медиаданных как части метаданных состояния обработки, подлежащих доставке в какие-либо другие узлы обработки.
В некоторых возможных вариантах осуществления изобретения, декодер, использующий методики, описываемые в настоящем раскрытии, способен истолковывать состояние медиаданных по следующим сценариям.
Согласно первому сценарию, если декодер принимает битовый поток медиаданных с установленным «флагом эволюции», предназначенным для указания достоверности метаданных состояния обработки в битовом потоке медиаданных, декодер может выполнять синтаксический анализ и/или поиск и выборку метаданных состояния обработки и передавать сигнал такому узлу обработки медиаданных в нисходящем направлении, как соответствующий узел постобработки. C другой стороны, если «флаг эволюции» отсутствует, декодер может передавать узлу обработки медиаданных в нисходящем направлении сигнал о том, что обработка регулировки уровня громкости по-прежнему должна быть выполнена, так как метаданные громкости, которые должны были бы быть включены в метаданные состояния обработки в некоторых вариантах осуществления изобретения, имеющих уже выполненную обработку регулировки уровня, или отсутствуют, или их достоверность не вызывает доверия.
Согласно второму сценарию, если декодер принимает битовый поток медиаданных, генерируемый и кодируемый таким узлом обработки медиаданных в восходящем направлении, как эволюционный кодер с криптографической хэш-функцией, то декодер может выполнять синтаксический анализ и поиск и выборку криптографической хэш-функции из блока данных, включающего метаданные состояния обработки, и использовать эту криптографическую хэш-функцию для проверки достоверности принимаемого битового потока медиаданных и связанных с ним метаданных. Например, если декодер обнаруживает, что связанные метаданные (например, метаданные громкости в метаданных состояния обработки) являются достоверными, основываясь на соответствии между стандартной криптографической хэш-функцией и криптографической хэш-функцией, отысканной и выбранной из блока данных, то декодер может передавать такому узлу обработки медиаданных в нисходящем направлении, как узел регулировки уровня громкости, сигнал о передаче таких медиаданных, как аудиоданные, без изменения. В дополнение, необязательно или в качестве альтернативы, вместо способа, основанного на криптографической хэш-функции, могут быть использованы другие криптографические методики. В дополнение, необязательно или в качестве альтернативы, помимо регулировки уровня громкости, на одном или нескольких признаках медиаданных, описываемых посредством метаданных состояния обработки, также могут выполняться и другие операции.
Согласно третьему сценарию, если декодер принимает битовый поток медиаданных, генерируемый таким узлом обработки медиаданных в восходящем направлении, как эволюционный кодер, но блок данных, включающий метаданные состояния обработки, не включен в битовый поток медиаданных; вместо этого, блок данных сохранен в базу данных обработки медиаданных. Декодер является сконфигурированным для создания контрольной суммы медиаданных в битовом потоке таких медиаданных, как аудиоданные, а затем – для использования контрольной суммы при запросе базы данных обработки медиаданных. База данных обработки медиаданных может возвращать соответствующий блок данных, связанных с принимаемыми медиаданными, основываясь на соответствии контрольных сумм. В некоторых возможных вариантах осуществления изобретения, кодированный битовый поток медиаданных содержит простой универсальный указатель ресурса (URL), предназначенный для направления отправки декодером на основе контрольной суммы запроса базе данных обработки медиаданных, как было описано выше.
Во всех описанных сценариях, декодер является сконфигурированным для истолкования состояния метаданных и передачи сигнала узлу обработки медиаданных в нисходящем направлении с целью соответствующей адаптации обработки медиаданных последним. В некоторых возможных вариантах осуществления изобретения, медиаданные, описываемые в настоящем раскрытии, могут после декодирования кодироваться повторно. В некоторых возможных вариантах осуществления изобретения, блок данных, включающий информацию о состоянии обработки в текущий момент времени, соответствующую повторному кодированию, может пропускаться к такому узлу обработки медиаданных в нисходящем направлении, как кодер/преобразователь, следующий за декодером. Например, блок данных может быть включен в связанные метаданные в выходящем из декодера битовом потоке медиаданных.
ФИГ. 7 иллюстрирует пример эволюционного декодера, управляющего режимами работы узла регулировки уровня громкости на основе достоверности метаданных громкости, входящих в метаданные состояния обработки или связанных с метаданными состояния обработки, в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. Также могут выполняться и другие операции, такие как обработка на основе признаков. Любой из изображенных компонентов может реализовываться как один или несколько процессов и/или одна или несколько интегральных микросхем (в том числе ASIC и FPGA), как аппаратное обеспечение, программное обеспечение или сочетание аппаратного и программного обеспечения. Декодер может включать ряд унаследованных подузлов, таких как модуль информации кадра (например, модуль информации кадра в AC-3, MPEG AAC, MPEG HE AAC, E AC-3 и т.д.), фронтальный декодер (например, FED в AC-3, MPEG AAC, MPEG HE AAC, E AC-3), модуль синхронизация и преобразование (например, модуль «sync and convert» в AC-3, MPEG AAC, MPEG HE AAC, E AC-3 и т.д.), буфер набора кадров, выходной декодер (например, BED в AC-3, MPEG AAC, MPEG HE AAC, E AC-3 и т.д.), выходной кодер (например, BEE в AC-3, MPEG AAC, MPEG HE AAC, E AC-3 и т.д.), модуль повторное генерирование CRC, модуль представление медиаданных (например, Dolby Volume) и т.д. С указанными унаследованными подузлами, декодер мог бы быть способен передавать в медиаданных содержимое медиаданных узлу обработки медиаданных в нисходящем направлении и/или представлять содержимое медиаданных. Однако декодер не был бы способен передавать состояние медиаданных или создавать сигнализацию обработки медиаданных и/или метаданные состояния обработки в выходном битовом потоке.
Согласно методикам, описываемым в настоящем раскрытии, в некоторых возможных вариантах осуществления изобретения, проиллюстрированных на ФИГ. 7, декодер может включать какой-либо подузел из ряда таких подузлов, как подузел обработки метаданных (эволюционных данных и/или других входных метаданных, в том числе одного или нескольких типов данных третьей стороны, информации сопровождения, идентификаторов информации о правах собственности и стандартах, данных пользовательских комментариев, данных пользовательских предпочтений, извлечения признаков, обработки признаков и т.д.), подузел защищенной (например, защищенной от вмешательства) связи, предназначенный для обработки информации о состоянии (генератор НМАС и валидатор подписи, другие криптографические методики), подузел извлечения контрольных сумм медиаданных (например, извлечения контрольных сумм аудио- и видеоданных), подузел дополнительной обработки (например, обработки информации о речевом канале (каналах)/громкости, обработки других типов признаков медиаданных), подузел скрытия данных (например, скрытия данных РСМ, которое может быть разрушающим/необратимым или обратимым), подузел вставки сигнализации обработки медиаданных, подузел генератора НМАС (который может, например, включать вставку «add_bsi» или вставки в одно или несколько полей вспомогательных данных), подузел других криптографических методик, подузел восстановления и проверки достоверности скрытых данных (например, подузел восстановления и проверки достоверности скрытых данных РСМ), подузел «отмены» скрытия данных, один или несколько коммутаторов, которые действуют на основе сигнализации обработки медиаданных и/или метаданных состояния обработки (например, «достоверных» эволюционных данных и управления вставкой скрытых данных генератором НМАС и валидатором подписи) и т.д. Как показано на иллюстрации, информация, извлекаемая генератором НМАС и валидатором подписи и подузлом извлечения контрольных сумм аудио- и видеоданных, может выводиться, или использоваться, для коррекции синхронизации видеоданных, рейтингов, прав на медиаданные, контроля качества, процессов определения местоположения медиаданных, обработки на основе признаков и т.д.
В некоторых возможных вариантах осуществления изобретения, узел пред-/постобработки в цепочке обработки медиаданных не действует независимо. Наоборот, узел пред-/постобработки может взаимодействовать с кодером или декодером в цепочке обработки медиаданных. В случае взаимодействия с кодером, узел пред-/постобработки может оказывать помощь в создании, по меньшей мере, части метаданных состояния обработки, описывающих состояние медиаданных в блоке данных. В случае взаимодействия с декодером, узел пред-/постобработки является сконфигурированным для определения состояния медиаданных и для соответствующей адаптации обработки им медиаданных. В одном из примеров по ФИГ. 7, пример такого узла пред-/постобработки, как узел регулировки уровня громкости, может выполнять поиск и выборку скрытых данных в дискретных значения РСМ, отправляемых декодером в восходящем положении, и для определения на основе скрытых данных того, являются метаданные громкости достоверными или нет. Если метаданные громкости являются достоверными, входные медиаданные, такие как аудиоданные, могут пропускаться через узел регулировки уровня громкости без изменения. В другом примере, пример узла пред-/постобработки может выполнять поиск и выборку скрытых данных в дискретных значениях РСМ, отправляемых декодером в восходящем направлении, и определять на основе скрытых данных один или несколько типов признаков медиаданных, ранее определенных исходя из содержимого дискретных значений медиаданных. Если указывается ключевое слово голосового распознавания, узел пред-/постобработки может выполнять одну или несколько специальных операций, относящихся к ключевому слову голосового распознавания.
5. СКРЫТИЕ ДАННЫХ
ФИГ. 8 иллюстрирует пример конфигурации при использовании скрытия данных для передачи информации об обработке медиаданных в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. В некоторых возможных вариантах осуществления изобретения, скрытие данных может использоваться для того, чтобы допускать передачу сигналов между узлом обработки медиаданных в восходящем направлении, таким как эволюционный кодер или декодер (например, обработка аудиоданных №1), и узлом обработки медиаданных в нисходящем направлении, таким как узел пред-/постобработки (например, обработка аудиоданных №2), тогда, когда между узлами обработки медиаданных в восходящем и нисходящем направлениях не существует тракта метаданных.
В некоторых возможных вариантах осуществления изобретения, для модификации дискретных значений медиаданных (например, Х) в медиаданных в модифицированные дискретные значения медиаданных (например, X'), которые переносят сигнализацию обработки медиаданных и/или метаданные состояния обработки между двумя узлами обработки медиаданных, может использоваться обратимое скрытие данных (например, обратимое скрытие аудиоданных). В некоторых возможных вариантах осуществления изобретения, модификация дискретных значений медиаданных, описываемая в настоящем раскрытии, выполняется таким образом, чтобы в результате модификации не происходило воспринимаемого снижения качества. Так, даже если может не быть другого узла обработки медиаданных, следующего за узлом обработки медиаданных №1, в модифицированных дискретных значениях медиаданных не должны восприниматься слышимые или видимые искажения. Иными словами, скрытие сигнализации обработки медиаданных и/или метаданных состояния обработки прозрачным для восприятия образом не должно вызывать какие-либо слышимые или видимые искажения при представлении аудио- и видеоданных исходя из модифицированных дискретных значений.
В некоторых возможных вариантах осуществления изобретения, узел обработки медиаданных (например, узел обработки аудиоданных №2 по ФИГ. 8) выполняет поиск и выборку встроенной сигнализации обработки медиаданных и/или метаданных состояния обработки из модифицированных дискретных значений медиаданных и восстанавливает модифицированные дискретные значения медиаданных в оригинальные дискретные значения медиаданных путем отмены модификаций. Это можно осуществить, например, посредством одного из подузлов (например, подузла извлечения информации и восстановления аудиоданных). Отысканная и выбранная встроенная информация может затем служить в качестве механизма передачи сигналов между двумя узлами обработки медиаданных (например, узлами обработки медиаданных №1 и №2 по ФИГ. 8). Устойчивость к ошибкам методики скрытия данных согласно настоящему раскрытию может зависеть от того, какие типы обработки могут выполняться узлами обработки медиаданных. Один из примеров узла обработки медиаданных №1 может представлять собой цифровой декодер в телевизионной приставке, в то время как один из примеров узла обработки медиаданных №2 может представлять собой узел регулировки уровня громкости в той же телевизионной приставке. Если декодер определяет, что метаданные громкости являются достоверными, декодер может использовать методику обратимого скрытия данных для передачи последующему узлу регулировки уровня громкости сигнала о неприменении регулировки уровня.
В некоторых возможных вариантах осуществления изобретения, для модификации дискретных значений медиаданных (например, Х) в медиаданных в модифицированные дискретные значения медиаданных (например, X'), которые переносят сигнализацию обработки медиаданных и/или метаданные состояния обработки между двумя узлами обработки медиаданных, может использоваться необратимое скрытие данных (например, методика необратимого скрытия данных на основе защищенного канала связи). В некоторых возможных вариантах осуществления изобретения, модификация в дискретные значения медиаданных, описываемые в настоящем раскрытии, осуществляется таким образом, чтобы в результате модификации возникало минимальное воспринимаемое снижение качества. Таким образом, в дискретных значениях медиаданных могут восприниматься минимальные слышимые и видимые искажения. Иными словами, скрытие сигнализации обработки медиаданных и/или метаданных состояния обработки прозрачным для восприятия образом должно вызывать минимальные слышимые или видимые искажения при представлении аудио- и видеоданных исходя из модифицированных дискретных значений медиаданных.
В некоторых возможных вариантах осуществления изобретения, модификации в дискретных значениях медиаданных, модифицированных путем необратимого скрытия данных, не могут быть отменены для восстановления оригинальных дискретных значений медиаданных.
6. ПРИМЕРЫ ПОСЛЕДОВАТЕЛЬНОСТЕЙ ОПЕРАЦИЙ ПРОЦЕССОВ
ФИГ. 9А и ФИГ. 9В иллюстрируют пример последовательности операций процесса в соответствии с одним из возможных вариантов осуществления настоящего изобретения. В некоторых возможных вариантах осуществления изобретения, эту последовательность операций процесса может выполнять одно или несколько вычислительных устройств, или узлов, в системе обработки медиаданных.
В блоке 910 по ФИГ. 9А первое устройство в цепочке обработки медиаданных (например, в усовершенствованной цепочке обработки медиаданных, описываемой в настоящем раскрытии) определяет, выполнена ли на выходной версии медиаданных обработка медиаданных какого-либо типа. Первое устройство может представлять собой часть узла обработки медиаданных или узел в целом. В блоке 920, в ответ на определение того, обработка медиаданных какого типа была выполнена на выходной версии медиаданных, первое устройство может создавать состояние медиаданных. В некоторых возможных вариантах осуществления изобретения, состояние медиаданных может указывать тип обработки медиаданных, результат которой включается в выходную версию медиаданных. Первое устройство может передавать второму устройству в нисходящем направлении по цепочке обработки медиаданных выходную версию медиаданных и состояние медиаданных, например, в выходном битовом потоке медиаданных или во вспомогательном битовом потоке метаданных, связанном с отдельным битовым потоком медиаданных, который переносит выходную версию медиаданных.
В некоторых возможных вариантах осуществления изобретения, медиаданные включают содержимое медиаданных как одно или несколько из следующего: только аудиосодержимое, только видеосодержимое, как аудиосодержимое, так и видеосодержимое.
В некоторых возможных вариантах осуществления изобретения, первое устройство может предоставлять второму устройству состояние медиаданных как одно из следующего: (а) контрольные суммы медиаданных, (b) метаданные состояния обработки, (с) сигнализация обработки медиаданных.
В некоторых возможных вариантах осуществления изобретения, первое устройство может сохранять блок данных обработки медиаданных в базу данных обработки медиаданных. Блок данных обработки медиаданных может включать метаданные обработки медиаданных, где блок данных обработки медиаданных может отыскиваться и извлекаться на основе одной или нескольких контрольных сумм медиаданных, которые связаны с блоком данных обработки медиаданных.
В некоторых возможных вариантах осуществления изобретения, состояние медиаданных включает значение криптографической хэш-функции, зашифрованное с удостоверяющей информацией. Значение криптографической хэш-функции может проверяться на подлинность устройством-получателем.
В некоторых возможных вариантах осуществления изобретения, по меньшей мере, часть состояния медиаданных включает один или несколько защищенных каналов связи, скрытых в медиаданных, где один или несколько защищенных каналов связи проверяются на подлинность устройством-получателем. В одном из иллюстративных вариантов осуществления изобретения, один или несколько защищенных каналов связи могут включать, по меньшей мере, один защищенный канал связи с размытым спектром. В одном из иллюстративных вариантов осуществления изобретения, один или несколько защищенных каналов связи могут включать, по меньшей мере, один защищенный канал связи с частотной манипуляцией.
В некоторых возможных вариантах осуществления изобретения, состояние медиаданных включает один или несколько наборов параметров, которые используются при обработке медиаданных определенного типа или получаются исходя из типа обработки медиаданных.
В некоторых возможных вариантах осуществления изобретения, по меньшей мере, одно из устройств, первое или второе, включает один или несколько узлов предобработки, кодеров, подузлов обработки медиаданных, транскодеров, декодеров, узлов постобработки или подузлов представления содержимого медиаданных. В одном из иллюстративных вариантов осуществления изобретения, первое устройство представляет собой кодер (например, кодер AVC), в то время как второе устройство представляет собой декодер (например, декодер AVC).
В некоторых возможных вариантах осуществления изобретения, обработка определенного типа выполняется первым устройством, в то время как в некоторых других возможных вариантах осуществления изобретения обработка определенного типа вместо этого выполняется устройством в восходящем направлении по цепочке обработки медиаданных относительно первого устройства.
В некоторых возможных вариантах осуществления изобретения, первое устройство может принимать входную версию медиаданных. Входная версия медиаданных включает какое-либо состояние медиаданных, которое указывает тип обработки медиаданных. В этих вариантах осуществления изобретения, первое устройство может анализировать входную версию медиаданных для определения типа обработки медиаданных, которая уже была выполнена на входной версии медиаданных.
В некоторых возможных вариантах осуществления изобретения, первое устройство кодирует в состоянии медиаданных громкость и динамический диапазон.
В некоторых возможных вариантах осуществления изобретения, первое устройство может адаптивно избегать выполнения обработки медиаданных определенного типа, которая была выполнена устройством восходящем направлении. Однако даже если обработка медиаданных указанного типа была выполнена, первое устройство может принимать команду отмены обработки медиаданных указанного типа, выполненной устройством в восходящем направлении. Вместо этого, первое устройство может получить команду по-прежнему выполнять обработку медиаданных указанного типа, например, с теми же или с другими параметрами. Состояние медиаданных, которое передается первым устройством второму устройству в нисходящем направлении по цепочке обработки медиаданных, может включать выходную версию медиаданных, включающую результат обработки медиаданных указанного типа, выполненной первым устройством согласно команде, и состояние медиаданных, которое указывает, что обработка медиаданных указанного типа уже была выполнена в выходной версии медиаданных. В различных возможных вариантах осуществления изобретения, первое устройство может принимать команду из одного из следующих источников: (а) пользовательский ввод, (b) конфигурация системы первого устройства, (с) сигнал от устройства, внешнего по отношению к первому устройству, или (d) сигнал от подузла в первом устройстве.
В некоторых вариантах осуществления изобретения, состояние медиаданных включает, по меньшей мере, часть состояния медиаданных, скрытую в одном или нескольких защищенных каналах связи.
В некоторых вариантах осуществления изобретения, первое устройство изменяет несколько байтов в медиаданных для сохранения, по меньшей мере, части состояния медиаданных.
В некоторых вариантах осуществления изобретения, по меньшей мере, одно из устройств, первое или второе, включает один или несколько кодеков комитета по усовершенствованным телевизионным системам (ATSC), кодеков экспертной группы по вопросам движущегося изображения (MPEG), кодеков Audio Codec 3 (AC-3) и усовершенствованных кодеков AC-3 (Enhanced AC-3).
В некоторых вариантах осуществления изобретения, цепочка обработки медиаданных включает: узел предобработки, сконфигурированный для приема в качестве входных данных дискретных значений во временной области, включающих содержимое медиаданных, и для вывода обработанных дискретных значений во временной области; кодер, сконфигурированный для вывода на основе обработанных дискретных значений во временной области сжатого битового потока медиаданных для содержимого медиаданных; узел анализа сигнала и коррекции метаданных, сконфигурированный для проверки достоверности метаданных состояния обработки в сжатом битовом потоке медиаданных; транскодер, сконфигурированный для модификации сжатого битового потока медиаданных; декодер, сконфигурированный для вывода декодированных дискретных значений во временной области на основе сжатого битового потока медиаданных; узел постобработки, сконфигурированный для выполнения постобработки содержимого медиаданных в декодированных дискретных значениях во временной области. В некоторых вариантах осуществления изобретения, по меньшей мере, одно из устройств, первое или второе, включает один или несколько следующих узлов: узел предобработки, узел анализа сигнала и коррекции метаданных, транскодер, декодер и узел постобработки. В некоторых вариантах осуществления изобретения, по меньшей мере, один из узлов, узел предобработки, узел анализа сигнала и коррекции метаданных, транскодер, декодер или узел постобработки, выполняет адаптивную обработку содержимого медиаданных на основе метаданных обработки, принимаемых от устройства в восходящем направлении.
В некоторых вариантах осуществления изобретения, первое устройство, исходя из медиаданных, определяет один или несколько признаков медиаданных и включает описание одного или нескольких признаков медиаданных в состояние медиаданных. Один или несколько признаков медиаданных могут включать, по меньшей мере, один признак медиаданных исходя из одного или нескольких кадров, секунд, минут, определяемых пользователем промежутков времени, сцен, песен, музыкальных произведений и звукозаписей. Один или несколько признаков медиаданных включают семантическое описание медиаданных. В различных вариантах осуществления изобретения, один или несколько признаков медиаданных включают одно или несколько структурных свойств, тональность, включая гармонию и мелодию, тембр, ритм, громкость, стереофоническое микширование, количество источников звука в медиаданных, отсутствие или присутствие голоса, характеристики повторений, мелодию, гармонии, тексты, тембр, признаки, относящиеся к восприятию, признаки цифровых медиаданных, стереофонические параметры, одну или несколько частей речевого содержимого.
В блоке 950 по ФИГ. 9В первое устройство в цепочке обработки медиаданных (например, в усовершенствованной цепочке обработки медиаданных, описываемой в настоящее раскрытии) определяет, была ли на входной версии медиаданных уже выполнена обработка медиаданных какого-либо типа.
В блоке 960, в ответ на определение того, что обработка медиаданных определенного типа уже была выполнена на входной версии медиаданных, первое устройство адаптирует обработку медиаданных для отмены выполнения обработки медиаданных определенного типа в первом устройстве. В некоторых возможных вариантах осуществления изобретения, первое устройство может отключать обработку медиаданных одного или нескольких типов, основываясь на входном состоянии медиаданных.
В некоторых возможных вариантах осуществления изобретения, первое устройство передает второму устройству в нисходящем направлении по цепочке обработки медиаданных выходную версию медиаданных и состояние медиаданных, которое указывает, что на выходной версии медиаданных уже была выполнена обработка медиаданных определенного типа.
В некоторых возможных вариантах осуществления изобретения, первое устройство может кодировать в состоянии медиаданных громкость и динамический диапазон. В некоторых возможных вариантах осуществления изобретения, первое устройство может автоматически выполнять одну из следующих операций: адаптивную корректирующую обработку громкости или динамики аудиоданных, по меньшей мере, частично на основе того, была ли обработка медиаданных определенного типа уже выполнена на входной версии медиаданных.
В некоторых возможных вариантах осуществления изобретения, первое устройство может выполнять на медиаданных обработку медиаданных второго, отличающегося типа. Первое устройство может передавать второму устройству в нисходящем направлении по цепочке обработки медиаданных выходную версию медиаданных и состояние медиаданных, которое указывает тип обработки медиаданных и второй, отличающийся тип обработки медиаданных, уже выполненной в выходной версии медиаданных.
В некоторых возможных вариантах осуществления изобретения, первое устройство может выполнять поиск и выборку входного состояния медиаданных, которое связано с входной версией медиаданных. В некоторых возможных вариантах осуществления изобретения, входное состояние медиаданных переносится совместно с входной версией медиаданных во входном битовом потоке медиаданных. В некоторых возможных вариантах осуществления изобретения, первое устройство может извлекать входное состояние медиаданных из единиц данных в медиаданных, которые кодируют содержимое медиаданных. Входное состояние медиаданных может быть скрыто в одной или нескольких единицах данных.
В некоторых возможных вариантах осуществления изобретения, первое устройство может восстанавливать версию единиц данных, которые не включают входное состояние медиаданных, и представлять содержимое медиаданных на основе версии единицы данных, которая была восстановлена.
В некоторых возможных вариантах осуществления изобретения, первое устройство может проверять подлинность входного состояния медиаданных путем проверки достоверности значения криптографической хэш-функции, связанного с входным состоянием медиаданных.
В некоторых вариантах осуществления изобретения, первое устройство проверяет подлинность входного состояния медиаданных путем проверки достоверности одной или нескольких контрольных сумм, связанных с входным состоянием медиаданных, где, по меньшей мере, одна из одной или нескольких контрольных сумм генерируется на основе, по меньшей мере, части медиаданных.
В некоторых вариантах осуществления изобретения, первое устройство проверяет достоверность медиаданных путем проверки достоверности одной или нескольких контрольных сумм, связанных с входным состоянием медиаданных, где, по меньшей мере, одна из одной или нескольких контрольных сумм генерируется на основе, по меньшей мере, части медиаданных.
В некоторых возможных вариантах осуществления изобретения, первое устройство может принимать входное состояние медиаданных, описываемое метаданными состояния обработки. Первое устройство может создавать сигнализацию обработки медиаданных, по меньшей мере, частично на основе метаданных состояния обработки. Сигнализация обработки медиаданных может указывать входное состояние медиаданных, хотя сигнализация обработки медиаданных может иметь меньший информационный объем и/или требовать меньшей битовой скорости передачи данных, чем метаданные состояния обработки. Первое устройство может передавать сигнализацию обработки медиаданных в устройство обработки медиаданных в нисходящем направлении по цепочке обработки медиаданных относительно первого устройства. В некоторых возможных вариантах осуществления изобретения, сигнализация обработки медиаданных является скрытой в одной или нескольких единицах данных выходной версии медиаданных с использованием методики обратимого скрытия данных, и, таким образом, одна или несколько модификаций медиаданных могут быть устранены устройством-получателем. В некоторых вариантах осуществления изобретения, сигнализация обработки медиаданных является скрытой в одной или нескольких единицах данных выходной версии медиаданных с использованием методики необратимого скрытия данных, и, таким образом, по меньшей мере, одна из одной или нескольких модификаций медиаданных не может быть устранена устройством-получателем.
В некоторых вариантах осуществления изобретения, первое устройство определяет один или несколько признаков медиаданных на основе описания одного или нескольких признаков медиаданных в состоянии медиаданных. Один или несколько признаков медиаданных могут включать, по меньшей мере, один признак медиаданных, определяемый исходя из одного или нескольких кадров, секунд, минут, определяемых пользователем промежутков времени, сцен, песен, музыкальных произведений и звукозаписей. Один или несколько признаков медиаданных включают семантическое описание медиаданных. В некоторых вариантах осуществления изобретения, первое устройство выполняет одну или несколько определенных операций в ответ на определение одного или нескольких признаков.
В некоторых возможных вариантах осуществления изобретения, предусматривается способ, который включает: вычисление первым устройством в цепочке обработки медиаданных для исходного кадра медиаданных одного или нескольких представлений с уменьшенной скоростью передачи данных; и одновременный и надежный перенос одного или нескольких представлений с уменьшенной скоростью передачи данных в самом состоянии медиаданных во второе устройство в цепочке обработки медиаданных; где способ выполняется одним или несколькими вычислительными устройствами.
В некоторых возможных вариантах осуществления изобретения, одно или несколько представлений с уменьшенной скоростью передачи данных переносятся в, по меньшей мере, одном из следующих объектов: в подпотоке, в одном или нескольких зарезервированных полях, в поле add_bsi, в одном или нескольких полях вспомогательных данных или в одном или нескольких коэффициентах преобразования.
В некоторых возможных вариантах осуществления изобретения, одно или несколько представлений с уменьшенной скоростью передачи данных включают данные синхронизации, используемые для синхронизации аудиоданных и видеоданных, доставляемых в медиаданных.
В некоторых возможных вариантах осуществления изобретения, одно или несколько представлений с уменьшенной скоростью передачи данных включают контрольные суммы медиаданных, (а) генерируемые узлом преобразования данных и (b) встроенные в медиаданные с одной или несколькими из следующих целей: контроль качества, рейтинги медиаданных или поиск содержимого.
В некоторых возможных вариантах осуществления изобретения, способ также включает вычисление и передачу, по меньшей мере, одним или несколькими вычислительными устройствами в цепочке обработки медиаданных значения криптографической хэш-функции, основанного на медиаданных, и/или состояния медиаданных в одном или нескольких кодированных битовых потоках, которые переносят медиаданные.
В некоторых возможных вариантах осуществления изобретения, способ также включает: проверку устройством-получателем подлинности значения криптографической хэш-функции; передачу устройством-получателем одному или нескольким узлам обработки данных в нисходящем направлении сигнала определения того, является ли достоверным состояние медиаданных; передачу устройством-получателем сигнала состояния медиаданных одному или нескольким узлам обработки данных в нисходящем направлении в ответ на определение того, что состояние медиаданных является достоверным.
В некоторых возможных вариантах осуществления изобретения, значение криптографической хэш-функции, представляющее состояние медиаданных и/или медиаданные, переносится в, по меньшей мере, одном из следующих объектов: в подпотоке, в одном или нескольких зарезервированных полях, в поле add_bsi, в одном или нескольких полях вспомогательных данных или в одном или нескольких коэффициентах преобразования.
В некоторых возможных вариантах осуществления изобретения, предусматривается способ, который включает: адаптивную обработку одним или несколькими вычислительными устройствами в цепочке обработки медиаданных, включающей один или несколько психоакустических узлов, преобразований, узлов кодирования формы сигнала/пространственного аудиокодирования, кодеров, декодеров, транскодеров или потоковых процессоров, входной версии медиаданных на основе предыстории обработки громкости медиаданных одним или несколькими узлами обработки медиаданных в восходящем направлении, что указывается состоянием медиаданных; нормализацию громкости и/или динамического диапазона выходной версии медиаданных на конце цепочки обработки медиаданных до согласованных значений громкости и/или динамического диапазона.
В некоторых возможных вариантах осуществления изобретения, согласованное значение громкости включает значение громкости, (1) управляемое или выбираемое пользователем, или (2) адаптивно сигнализируемое посредством состояния входной версии медиаданных.
В некоторых возможных вариантах осуществления изобретения, значение громкости вычисляется на диалоговых (речевых) частях медиаданных.
В некоторых возможных вариантах осуществления изобретения, значение громкости вычисляется на абсолютных, относительных или нестробированных частях медиаданных.
В некоторых возможных вариантах осуществления изобретения, согласованное значение динамического диапазона включает значение динамического диапазона, (1) управляемое или выбираемое пользователем, или (2) адаптивно сигнализируемое посредством состояния во входной версии медиаданных.
В некоторых возможных вариантах осуществления изобретения, значение динамического диапазона вычисляется на диалоговых (речевых) частях медиаданных.
В некоторых возможных вариантах осуществления изобретения, значение динамического диапазона вычисляется на абсолютных, относительных или нестробированных частях медиаданных.
В некоторых возможных вариантах осуществления изобретения, способ также включает: вычисление одного или нескольких значений регулировки усиления громкости и/или динамического диапазона для нормализации выходной версии медиаданных до согласованного значения громкости и согласованного динамического диапазона; одновременный перенос одного или нескольких значений регулировки усиления громкости и/или динамического диапазона в состоянии выходной версии медиаданных в конце цепочки обработки медиаданных, где одно или несколько значений регулировки усиления громкости и/или динамического диапазона являются используемыми другим устройством для обратного применения одного или нескольких значений регулировки усиления громкости и/или динамического диапазона для восстановления оригинального значения громкости и оригинального динамического диапазона во входной версии медиаданных.
В некоторых возможных вариантах осуществления изобретения, одно или несколько значений регулировки усиления громкости и/или динамического диапазона, отображающих состояние выходной версии медиаданных, переносятся в, по меньшей мере, одном из следующих объектов: в подпотоке, в одном или нескольких зарезервированных полях, в поле add_bsi, в одном или нескольких полях вспомогательных данных, в одном или нескольких коэффициентах преобразования.
В некоторых возможных вариантах осуществления изобретения, предусматривается способ, который включает выполнение одной из следующих операций: вставки, извлечения или редактирования местоположений связанных и несвязанных медиаданных и/или состояния местоположений связанных и несвязанных медиаданных в одном или нескольких кодированных битовых потоках одним или несколькими вычислительными устройствами в цепочке обработки медиаданных, включающей один или несколько из следующих узлов: психоакустические узлы, преобразования, узлы кодирования формы сигнала/пространственного аудиокодирования, кодеры, декодеры, транскодеры или потоковые процессоры.
В некоторых возможных вариантах осуществления изобретения, одно или несколько местоположений связанных и несвязанных медиаданных и/или состояния местоположений связанных и несвязанных медиаданных в кодированных битовых потоках переносятся в, по меньшей мере, одном из следующих объектов: в подпотоке, в одном или нескольких зарезервированных полях, в поле add_bsi, в одном или нескольких полях вспомогательных данных, в одном или нескольких коэффициентах преобразования.
В некоторых возможных вариантах осуществления изобретения, предусматривается способ, который включает выполнение одной из следующих операций: вставки, извлечения или редактирования связанных или несвязанных медиаданных и/или состояния связанных или несвязанных медиаданных в одном или нескольких кодированных битовых потоках одним или несколькими вычислительными устройствами в цепочке обработки медиаданных, включающей один или несколько следующих узлов: психоакустические узлы, преобразования, узлы кодирования формы сигнала/пространственного аудиокодирования, кодеры, декодеры, транскодеры или потоковые процессоры.
В некоторых возможных вариантах осуществления изобретения, одна или несколько единиц связанных или несвязанных медиаданных и/или состояния связанных или несвязанных медиаданных в кодированных битовых потоках переносятся в, по меньшей мере, одном из следующих объектов: в подпотоке, в одном или нескольких зарезервированных полях, в поле add_bsi, в одном или нескольких полях вспомогательных данных, в одном или нескольких коэффициентах преобразования.
В некоторых возможных вариантах осуществления изобретения, система обработки медиаданных сконфигурирована для вычисления и переноса значений криптографической хэш-функции, основанных на медиаданных и/или состоянии медиаданных, в одном или нескольких кодированных битовых потоках одним или несколькими вычислительными устройствами в цепочке обработки медиаданных, включающей один или несколько из следующих узлов: психоакустические узлы, преобразования, узлы кодирования формы сигнала/пространственного аудиокодирования, кодеры, декодеры, транскодеры или потоковые процессоры.
В том значении, которое используется в настоящем раскрытии, термин «местоположения связанных и несвязанных медиаданных» может относиться к информации, которая может включать такой указатель местонахождения медиаресурса, как абсолютный путь, относительный путь и/или URL, указывающий местоположение связанных медиаданных (например, копии медиаданных в другом формате битового потока), или абсолютный путь, относительный путь и/или URL, указывающий местоположение несвязанных медиаданных (например, местоположение нового фрагмента медиаданных, такого как коммерческий фрагмент, рекламный фрагмент, веб-страница и т.д.)
В том значении, которое используется в настоящем раскрытии, термин «состояние местоположений связанных и несвязанных медиаданных» может относиться к достоверности местоположений связанных и несвязанных медиаданных (поскольку они могут редактироваться/обновляться на протяжении всего жизненного цикла битовых потоков, в которых они переносятся).
В том значении, которое используется в настоящем раскрытии, термин «связанные медиаданные» может относиться к переносу связанных медиаданных в форме битовых потоков вторичных медиаданных, которые в высокой степени коррелируют с первичными медиаданными, отображаемыми битовым потоком (например, к переносу копии медиаданных во втором (независимом) формате битового потока). В контексте несвязанных медиаданных, данная информация может относиться к переносу битовых потоков вторичных медиаданных, которые независимы от первичных медиаданных.
В том значении, которое используется в настоящем раскрытии, термин «состояние» для связанных медиаданных может относиться к любой сигнальной информации (истории обработки, обновленной целевой громкости и т.д.) и/или метаданным, а также к достоверности связанных медиаданных. «Состояние» несвязанных медиаданных может относиться к независимой сигнальной информации и/или метаданным, в том числе к информации о достоверности, которая может переноситься отдельно (независимо) от состояния «связанных» медиаданных. Состояние несвязанных медиаданных отображает медиаданные, которые являются «несвязанными» с битовым потоком медиаданных, в котором находится эта информация (поскольку эта информация может независимо редактироваться/обновляться на протяжении всего жизненного цикла битовых потоков, в которых она переносится).
В тех значениях, которые используются в настоящем раскрытии, термины «абсолютные, относительные и/или нестробированные части медиаданных» относятся к стробированию измерений громкости и/или уровня, выполняемому на медиаданных. Стробирование относится к конкретному пороговому значению уровня, или громкости, где вычисленное значение, которое превышает пороговое значение, включается в конечное измерение (например, в конечном измеренном значении игнорируется кратковременное значение громкости ниже –60 децибел полной шкалы). Стробирование по абсолютному значению относится к фиксированному уровню, или громкости, где стробирование по относительному значению относится к значению, которое зависит от текущего «нестробированного» значения измерения.
ФИГ. 12А – 12L дополнительно иллюстрируют блок-схемы некоторых примеров узлов/устройств обработки медиаданных согласно некоторым вариантам осуществления настоящего изобретения.
Как проиллюстрировано на ФИГ. 12А, процессор сигналов (который может представлять собой Узел 1 из N узлов) сконфигурирован для приема входного сигнала, который может включать дискретные значения аудиоданных РСМ. Дискретные значения аудиоданных РСМ могут содержать, или могут не содержать, метаданные состояния обработки (или метаданные состояния медиаданных), скрытые среди дискретных значений аудиоданных РСМ. Процессор сигналов по ФИГ. 12А может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для декодирования, извлечения и/или интерпретации метаданных состояния обработки исходя из дискретных значений аудиоданных РСМ, которые предоставляются одним или несколькими узлами обработки медиаданных перед процессором сигналов по ФИГ. 12А. По меньшей мере, часть метаданных состояния обработки может доставляться в аудиокодер в сигнальном процессоре по ФИГ. 12А с целью адаптации параметров обработки для аудиокодера. Параллельно, узел анализа аудиоданных в процессоре сигналов по ФИГ. 12А может анализировать содержимое медиаданных, передаваемое во входном сигнале. Извлечение признаков, классификация медиаданных, оценка громкости, генерирование контрольных сумм и т.д. могут реализовываться как часть анализа, выполняемого узлом анализа аудиоданных. По меньшей мере, часть результатов этого анализа может доставляться в аудиокодер в процессоре сигналов по ФИГ. 12А с целью адаптации параметров обработки для аудиокодера. Аудиокодер, основываясь на параметрах обработки, кодирует дискретные значения аудиоданных РСМ во входном сигнале в кодированный битовый поток в выходном сигнале. Узел анализа кодированного битового потока в процессоре сигналов по ФИГ. 12А может быть сконфигурирован для определения того, содержат ли медиаданные, или дискретные значения, в кодированном битовом потоке, подлежащем передаче в выходном сигнале процессора сигналов по ФИГ. 12А, участок памяти для сохранения, по меньшей мере, части метаданных состояния обработки. Новые метаданные состояния обработки, подлежащие передаче процессором сигналов по ФИГ. 12А, включают некоторые, или все, метаданные состояния обработки, которые были извлечены экстрактором метаданных состояния медиаданных, метаданные состояния обработки, которые были генерированы узлом анализа аудиоданных и генератором метаданных состояния обработки процессора сигналов по ФИГ. 12А, и/или данные третьей стороны. Если определено, что медиаданные, или дискретные значения, в кодированном битовом потоке содержат участок памяти для сохранения, по меньшей мере, части метаданных состояния обработки, часть или все новые метаданные состояния обработки могут быть сохранены как скрытые данные в медиаданных, или дискретных значениях, в выходном сигнале. В дополнение, необязательно или в качестве альтернативы, часть или все новые метаданные состояния обработки могут сохраняться в отдельную структуру метаданных помимо медиаданных и дискретных значений в выходном сигнале. Таким образом, выходной сигнал может включать кодированный битовый поток, содержащий новые метаданные состояния обработки (или «состояния медиаданных»), переносимые в дискретных значениях медиаданных (сущности) и/или среди этих дискретных значений посредством скрытого или нескрытого канала связи.
Как показано на ФИГ. 12В, процессор сигналов (который может представлять собой Узел 1 из N узлов) сконфигурирован для приема входного сигнала, который может включать дискретные значения аудиоданных РСМ. Дискретные значения аудиоданных РСМ могут содержать, или могут не содержать, метаданные состояния обработки (или метаданные состояния медиаданных), скрытые среди дискретных значений аудиоданных РСМ. Процессор сигналов по ФИГ. 12В может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для декодирования, извлечения и/или интерпретации метаданных состояния обработки исходя из дискретных значений аудиоданных РСМ, которые предоставляются одним или несколькими узлами обработки медиаданных перед процессором сигналов по ФИГ. 12В. По меньшей мере, часть метаданных состояния обработки может доставляться в процессор дискретных значений аудиоданных РСМ в процессоре сигналов по ФИГ. 12В с целью адаптации параметров обработки для процессора дискретных значений аудиоданных РСМ. Параллельно, узел анализа аудиоданных в процессоре сигналов по ФИГ. 12В может анализировать содержимое медиаданных, передаваемое во входном сигнале. Извлечение признаков, классификация медиаданных, оценка громкости, генерирование контрольных сумм и т.д. могут реализовываться как часть анализа, выполняемого узлом анализа аудиоданных. По меньшей мере, часть результатов этого анализа может доставляться в аудиокодер в процессоре сигналов по ФИГ. 12В с целью адаптации параметров обработки для процессора дискретных значений аудиоданных РСМ. Процессор дискретных значений аудиоданных РСМ, основываясь на параметрах обработки, обрабатывает дискретные значения аудиоданных РСМ во входном сигнале в кодированный битовый поток (дискретных значений) аудиоданных РСМ в выходном сигнале. Узел анализа аудиоданных РСМ в процессоре сигналов по ФИГ. 12В может быть сконфигурирован для определения того, содержат ли медиаданные, или дискретные значения, в битовом потоке аудиоданных РСМ, подлежащем передаче в выходном сигнале процессора сигналов по ФИГ. 12В, участок памяти для сохранения, по меньшей мере, части метаданных состояния обработки. Новые метаданные состояния обработки, подлежащие передаче процессором сигналов по ФИГ. 12В, включают некоторые, или все, метаданные состояния обработки, которые были извлечены экстрактором метаданных состояния медиаданных, метаданные состояния обработки, которые были генерированы узлом анализа аудиоданных и генератором метаданных состояния обработки процессора сигналов по ФИГ. 12В, и/или данные третьей стороны. Если определено, что медиаданные, или дискретные значения, в битовом потоке аудиоданных РСМ содержат участок памяти для хранения, по меньшей мере, части метаданных состояния обработки, часть или все новые метаданные состояния обработки могут быть сохранены как скрытые данные в медиаданных, или дискретных значениях, в выходном сигнале. В дополнение, необязательно или в качестве альтернативы, часть или все новые метаданные состояния обработки могут сохраняться в отдельной структуре метаданных помимо медиаданных и дискретных значений в выходном сигнале. Таким образом, выходной сигнал может включать битовый поток аудиоданных РСМ, содержащий новые метаданные состояния обработки (или «состояния медиаданных»), переносимые в дискретных значениях медиаданных (сущности) и/или среди этих дискретных значений посредством скрытого или нескрытого канала связи.
Как проиллюстрировано на ФИГ. 12C, процессор сигналов (который может представлять собой Узел 1 из N узлов) сконфигурирован для приема входного сигнала, который может включать битовый поток (дискретных значений) аудиоданных РСМ. Битовый поток аудиоданных РСМ может содержать метаданные состояния обработки (или метаданные состояния медиаданных), переносимые в дискретных значениях медиаданных (сущности) и/или среди этих дискретных значений в битовом потоке аудиоданных РСМ посредством защищенного скрытого или нескрытого канала связи. Процессор сигналов по ФИГ. 12С может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для декодирования, извлечения и/или интерпретации метаданных состояния обработки из битового потока аудиоданных РСМ. По меньшей мере, часть метаданных состояния обработки может доставляться в процессор дискретных значений аудиоданных РСМ в процессоре сигналов по ФИГ. 12С с целью адаптации параметров обработки для процессора дискретных значений аудиоданных РСМ. Метаданные состояния обработки могут включать описание признаков медиаданных, классов или подклассов объектов медиаданных, или значения правдоподобия/вероятности, определяемые одним или несколькими узлами обработки медиаданных перед процессором сигналов по ФИГ. 12С, где процессор сигналов по ФИГ. 12С может быть сконфигурирован для использования без выполнения им собственного анализа содержимого медиаданных. В дополнение, необязательно или в качестве альтернативы, экстрактор метаданных состояния медиаданных может быть сконфигурирован для извлечения данных третьей стороны из входного сигнала и передачи данных третьей стороны узлу/объекту/устройству обработки в нисходящем направлении. В одном из вариантов осуществления изобретения, процессор дискретных значений аудиоданных РСМ обрабатывает битовый поток аудиоданных РСМ в выходной сигнал дискретных значений аудиоданных РСМ, основываясь на параметрах обработки, установленных на основе метаданных состояния обработки, предоставляемых одним или несколькими узлами обработки медиаданных перед процессором сигналов по ФИГ. 12C.
Как проиллюстрировано на ФИГ. 12D, процессор сигналов (который может представлять собой Узел 1 из N узлов) сконфигурирован для приема входного сигнала, который может включать кодированный битовый поток аудиоданных, содержащий метаданные состояния обработки (или метаданные состояния медиаданных), переносимые в дискретных значениях медиаданных и/или среди этих дискретных значений посредством защищенного скрытого или нескрытого канала связи. Процессор сигналов по ФИГ. 12D может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для декодирования, извлечения и/или интерпретации метаданных состояния обработки из кодированного битового потока, предоставляемого одним или несколькими узлами обработки медиаданных перед процессором сигналов по ФИГ. 12D. По меньшей мере, часть метаданных состояния обработки может доставляться в аудиодекодер в процессоре сигналов по ФИГ. 12D с целью адаптации параметров обработки для аудиодекодера. Параллельно, узел анализа аудиоданных в процессоре сигналов по ФИГ. 12D может анализировать содержимое медиаданных, передаваемое во входном сигнале. Извлечение признаков, классификация медиаданных, оценка громкости, генерирование контрольных сумм и т.д. могут реализовываться как часть анализа, выполняемого узлом анализа аудиоданных. По меньшей мере, часть результатов этого анализа может доставляться в аудиодекодер в процессоре сигналов по ФИГ. 12D с целью адаптации параметров обработки для аудиодекодера. Аудиодекодер, основываясь на параметрах обработки, преобразовывает кодированный битовый поток аудиоданных во входном сигнале в битовый поток аудиоданных РСМ в выходном сигнале. Узел анализа аудиоданных РСМ в процессоре сигналов по ФИГ. 12D может быть сконфигурирован для определения того, содержат ли медиаданные, или дискретные значения, в битовом потоке аудиоданных РСМ, участок памяти для сохранения, по меньшей мере, части метаданных состояния обработки. Новые метаданные состояния обработки, подлежащие передаче процессором сигналов по ФИГ. 12D, включают некоторые, или все, метаданные состояния обработки, которые были извлечены экстрактором метаданных состояния медиаданных, метаданные состояния обработки, которые были генерированы узлом анализа аудиоданных и генератором метаданных состояния медиаданных процессора сигналов по ФИГ. 12D, и/или данные третьей стороны. Если определено, что медиаданные, или дискретные значения, в битовом потоке аудиоданных РСМ содержат участок памяти для сохранения, по меньшей мере, части метаданных состояния обработки, часть или все новые метаданные состояния обработки могут быть сохранены как скрытые данные в медиаданных, или дискретных значениях, в выходном сигнале. В дополнение, необязательно или в качестве альтернативы, часть или все новые метаданные состояния обработки могут сохраняться в отдельной структуре метаданных помимо медиаданных и дискретных значений в выходном сигнале. Таким образом, выходной сигнал может включать битовый поток (дискретных значений) аудиоданных РСМ, содержащий метаданные состояния обработки (или «состояния медиаданных»), переносимые в медиаданных/дискретных значениях (сущности) и/или среди них посредством скрытого или нескрытого канала связи.
Как проиллюстрировано на ФИГ. 12Е, процессор сигналов (который может представлять собой Узел 1 из N узлов) сконфигурирован для приема входного сигнала, который может включать кодированный битовый поток аудиоданных. Кодированный битовый поток аудиоданных может содержать метаданные состояния обработки (или метаданные состояния медиаданных), переносимые в дискретных значениях медиаданных (сущности) и/или скрытые среди этих дискретных значений в кодированном битовом потоке аудиоданных посредством защищенного скрытого или нескрытого канала связи. Процессор сигналов по ФИГ. 12D может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для декодирования, извлечения и/или интерпретации метаданных состояния обработки исходя из кодированного битового потока аудиоданных. По меньшей мере, часть метаданных состояния обработки может доставляться в аудиодекодер в процессоре сигналов по ФИГ. 12Е с целью адаптации параметров обработки для аудиодекодера. Метаданные состояния обработки могут включать описание признаков медиаданных, классов или подклассов объектов медиаданных, или значения правдоподобия/вероятности, определяемые одним или несколькими узлами обработки данных перед процессором сигналов по ФИГ. 12Е, где процессор сигналов по ФИГ. 12Е может быть сконфигурирован для использования без выполнения им собственного анализа содержимого медиаданных. В дополнение, необязательно или в качестве альтернативы, экстрактор метаданных состояния медиаданных может быть сконфигурирован для извлечения из входного сигнала данных третьей стороны и для передачи данных третьей стороны узлу/объекту/устройству обработки медиаданных в нисходящем направлении. В одном из вариантов осуществления изобретения, аудиодекодер, основываясь на параметрах обработки, установленных на основе метаданных состояния обработки, предоставляемых одним или несколькими узлами обработки медиаданных перед процессором сигналов по ФИГ. 12Е, обрабатывает кодированный битовый поток аудиоданных в дискретные значения аудиоданных РСМ в выходном сигнале.
Как проиллюстрировано на ФИГ. 12F, процессор сигналов (который может представлять собой Узел 1 из N узлов) сконфигурирован для приема входного сигнала, который может включать кодированный битовый поток аудиоданных, содержащий метаданные состояния обработки (или метаданные состояния медиаданных), переносимые в дискретных значениях медиаданных и/или скрытые среди этих дискретных значений посредством защищенного скрытого или нескрытого канала связи. Процессор сигналов по ФИГ. 12F может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для декодирования, извлечения и/или интерпретации метаданных состояния обработки исходя из кодированного битового потока, предоставляемого одним или несколькими узлами обработки медиаданных перед процессором сигналов по ФИГ. 12F. По меньшей мере, часть метаданных состояния обработки может доставляться в транскодер битового потока (или процессор кодированного битового потока аудиоданных) в процессоре сигналов по ФИГ. 12F с целью адаптации параметров обработки для транскодера битового потока. Параллельно, узел анализа аудиоданных в процессоре сигналов по ФИГ. 12F может анализировать содержимое медиаданных, передаваемое во входном сигнале. Извлечение признаков, классификация медиаданных, оценка громкости, генерирование контрольных сумм и т.д. могут реализовываться как часть анализа, выполняемого узлом анализа аудиоданных. По меньшей мере, часть результатов этого анализа может доставляться в транскодер битового потока в процессоре сигналов по ФИГ. 12F с целью адаптации параметров обработки для транскодера битового потока. Транскодер битового потока, основываясь на параметрах обработки, преобразовывает кодированный битовый поток аудиоданных во входном сигнале в кодированный битовый поток аудиоданных в выходном сигнале. Узел анализа кодированного битового потока в процессоре сигналов по ФИГ. 12F может быть сконфигурирован для определения того, содержат ли медиаданные, или дискретные значения, в кодированном битовом потоке аудиоданных, участок памяти для сохранения, по меньшей мере, части метаданных состояния обработки. Новые метаданные состояния обработки, подлежащие передаче процессором сигналов по ФИГ. 12F, включают некоторые, или все, метаданные состояния обработки, которые были извлечены экстрактором метаданных состояния медиаданных, метаданные состояния обработки, которые были генерированы узлом анализа аудиоданных и генератором метаданных состояния медиаданных процессора сигналов по ФИГ. 12F, и/или данные третьей стороны. Если определено, что медиаданные, или дискретные значения, в кодированном битовом потоке аудиоданных содержат участок памяти для сохранения, по меньшей мере, части метаданных состояния обработки, часть или все новые метаданные состояния обработки могут быть сохранены как скрытые данные в медиаданных, или дискретных значениях, в выходном сигнале. В дополнение, необязательно или в качестве альтернативы, часть или все новые метаданные состояния обработки могут сохраняться в отдельной структуре метаданных помимо медиаданных и дискретных значений в выходном сигнале. Таким образом, выходной сигнал может включать кодированный битовый поток аудиоданных, содержащий метаданные состояния обработки (или «состояния медиаданных»), переносимые в медиаданных/дискретных значениях (сущности) и/или среди них посредством защищенного скрытого или нескрытого канала связи.
ФИГ. 12G иллюстрирует пример конфигурации, отчасти сходный с примером по ФИГ. 12А. В дополнение, необязательно или в качестве альтернативы, процессор сигналов по ФИГ. 12G может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для запроса локальной и/или внешней базы данных метаданных состояния медиаданных, которая может быть функционально связана с процессором сигналов по ФИГ. 12G через внутрикорпоративную сеть и/или Интернет. Запрос, отправляемый процессором сигналов по ФИГ. 12G в базу данных, может включать одну или несколько контрольных сумм, связанных с медиаданными, одно или несколько имен, связанных с медиаданными (например, название песни, название фильма), или идентификационную информацию каких-либо других типов, связанную с медиаданными. На основе информации, содержащейся в запросе, может определяться местоположение соответствующих метаданных состояния медиаданных, хранящихся в базе данных, и они могут предоставляться процессору сигналов по ФИГ. 12G. Метаданные состояния медиаданных могут включаться в метаданные состояния обработки, доставляемые экстрактором метаданных состояния медиаданных таким узлам/объектам обработки в нисходящем направлении, как аудиокодер. В дополнение, необязательно или в качестве альтернативы, процессор сигналов по ФИГ. 12G может включать генератор метаданных состояния медиаданных, который сконфигурирован для предоставления каких-либо генерируемых метаданных состояния медиаданных и/или связанной идентифицирующей информации, такой как контрольные суммы, имена и/или идентифицирующая информация других типов, локальной и/или внешней базе данных метаданных состояния медиаданных, как показано на ФИГ. 12G. В дополнение, необязательно или в качестве альтернативы, одна или несколько частей метаданных состояния медиаданных, хранящихся в базе данных, могут доставляться в процессор сигналов по ФИГ. 12G для передачи узлу/устройству обработки медиаданных в нисходящем направлении в дискретных значениях медиаданных (сущности) и/или среди этих дискретных значений посредством защищенного скрытого или нескрытого канала связи.
ФИГ. 12Н иллюстрирует пример конфигурации, отчасти сходный с примером по ФИГ. 12В. В дополнение, необязательно или в качестве альтернативы, процессор сигналов по ФИГ. 12Н может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для запроса локальной и/или внешней базы данных метаданных состояния медиаданных, которая может быть функционально связана с процессором сигналов по ФИГ. 12Н через внутрикорпоративную сеть и/или Интернет. Запрос, отправляемый процессором сигналов по ФИГ. 12Н в базу данных, может включать одну или несколько контрольных сумм, связанных с медиаданными, одно или несколько имен, связанных с медиаданными (например, название песни, название фильма), или идентификационную информацию каких-либо других типов, связанную с медиаданными. На основе информации, содержащейся в запросе, может определяться местоположение соответствующих метаданных состояния медиаданных, хранящихся в базе данных, и они предоставляются процессору сигналов по ФИГ. 12Н. Метаданные состояния медиаданных могут включаться в метаданные состояния обработки, доставляемые экстрактором метаданных состояния медиаданных таким узлам/объектам обработки в нисходящем направлении, как процессор дискретных значения аудиоданных РСМ. В дополнение, необязательно или в качестве альтернативы, процессор сигналов по ФИГ. 12Н может включать генератор метаданных состояния медиаданных, который сконфигурирован для предоставления каких-либо генерируемых метаданных состояния медиаданных и/или связанной идентифицирующей информации, такой как контрольные суммы, имена и/или идентифицирующая информация других типов, локальной и/или внешней базе данных метаданных состояния медиаданных, как показано на ФИГ. 12Н. В дополнение, необязательно или в качестве альтернативы, одна или несколько частей метаданных состояния медиаданных, хранящихся в базе данных, могут доставляться в процессор сигналов по ФИГ. 12Н для передачи узлу/устройству обработки медиаданных в нисходящем направлении в дискретных значениях медиаданных (сущности) и/или среди этих дискретных значений посредством защищенного скрытого или нескрытого канала связи.
ФИГ. 12I иллюстрирует пример конфигурации, отчасти сходный с примером по ФИГ. 12С. В дополнение, необязательно или в качестве альтернативы, процессор сигналов по ФИГ. 12I может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для запроса локальной и/или внешней базы данных метаданных состояния медиаданных, которая может быть функционально связана с процессором сигналов по ФИГ. 12I через внутрикорпоративную сеть и/или Интернет. Запрос, отправляемый процессором сигналов по ФИГ. 12I в базу данных, может включать одну или несколько контрольных сумм, связанных с медиаданными, одно или несколько имен, связанных с медиаданными (например, название песни, название фильма), или идентификационную информацию каких-либо других типов, связанную с медиаданными. На основе информации, содержащейся в запросе, может определяться местоположение соответствующих метаданных состояния медиаданных, хранящихся в базе данных, и они предоставляются процессору сигналов по ФИГ. 12I. Метаданные состояния медиаданных могут доставляться таким узлам/объектам обработки в нисходящем направлении, как процессор дискретных значений аудиоданных РСМ.
ФИГ. 12J иллюстрирует пример конфигурации, отчасти сходный с примером по ФИГ. 12D. В дополнение, необязательно или в качестве альтернативы, процессор сигналов по ФИГ. 12J может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для запроса локальной и/или внешней базы данных метаданных состояния медиаданных, которая может быть функционально связана с процессором сигналов по ФИГ. 12J через внутрикорпоративную сеть и/или Интернет. Запрос, отправляемый процессором сигналов по ФИГ. 12J в базу данных, может включать одну или несколько контрольных сумм, связанных с медиаданными, одно или несколько имен, связанных с медиаданными (например, название песни, название фильма), или идентификационную информацию каких-либо других типов, связанную с медиаданными. На основе информации, содержащейся в запросе, может определяться местоположение соответствующих метаданных состояния медиаданных, хранящихся в базе данных, и они могут предоставляться процессору сигналов по ФИГ. 12J. Метаданные состояния медиаданных могут включаться в метаданные состояния обработки, доставляемые экстрактором метаданных состояния медиаданных таким узлам/объектам обработки в нисходящем направлении, как аудиодекодер. В дополнение, необязательно или в качестве альтернативы, процессор сигналов по ФИГ. 12J может включать генератор метаданных состояния медиаданных, который сконфигурирован для предоставления каких-либо генерируемых метаданных состояния медиаданных и/или связанной идентифицирующей информации, такой как контрольные суммы, имена и/или идентифицирующая информация других типов, локальной и/или внешней базе данных метаданных состояния медиаданных, как показано на ФИГ. 12J. В дополнение, необязательно или в качестве альтернативы, одна или несколько частей метаданных состояния медиаданных, хранящихся в базе данных, могут доставляться в процессор сигналов по ФИГ. 12J для передачи узлу/устройству обработки медиаданных в нисходящем направлении в дискретных значениях медиаданных (сущности) и/или среди этих дискретных значений посредством защищенного скрытого или нескрытого канала связи.
ФИГ. 12K иллюстрирует пример конфигурации, отчасти сходный с примером по ФИГ. 12F. В дополнение, необязательно или в качестве альтернативы, процессор сигналов по ФИГ. 12К может включать экстрактор метаданных состояния медиаданных, который сконфигурирован для запроса локальной и/или внешней базы данных метаданных состояния медиаданных, которая может быть функционально связана с процессором сигналов по ФИГ. 12К через внутрикорпоративную сеть и/или Интернет. Запрос, отправляемый процессором сигналов по ФИГ. 12К в базу данных, может включать одну или несколько контрольных сумм, связанных с медиаданными, одно или несколько имен, связанных с медиаданными (например, название песни, название фильма), или идентификационную информацию каких-либо других типов, связанную с медиаданными. На основе информации, содержащейся в запросе, может определяться местоположение соответствующих метаданных состояния медиаданных, хранящихся в базе данных, и они могут предоставляться процессору сигналов по ФИГ. 12К. Метаданные состояния медиаданных могут включаться в метаданные состояния обработки, доставляемые экстрактором метаданных состояния медиаданных таким узлам/объектам обработки в нисходящем направлении, как транскодер битового потока или процессор кодированного битового потока аудиоданных. В дополнение, необязательно или в качестве альтернативы, одна или несколько частей метаданных состояния медиаданных, хранящихся в базе данных, могут доставляться в процессор сигналов по ФИГ. 12К для передачи узлу/устройству обработки медиаданных в нисходящем направлении в дискретных значениях медиаданных (сущности) и/или среди этих дискретных значений посредством защищенного скрытого или нескрытого канала связи.
ФИГ. 12L иллюстрирует узел 1 процессора сигналов и узел 2 процессора сигналов в соответствии с одним из иллюстративных вариантов осуществления изобретения. Узел 1 процессора сигналов и узел 2 процессора сигналов могут представлять собой часть общей цепочки обработки медиаданных. В некоторых вариантах осуществления изобретения, узел 1 процессора сигналов адаптирует обработку медиаданных на основе метаданных состояния обработки, которые принимаются узлом 2 процессора сигналов, в то время как узел 2 процессора сигналов адаптирует обработку медиаданных на основе метаданных состояния обработки, которые принимаются узлом 2 процессора сигналов. Метаданные состояния обработки, принимаемые узлом 2 процессора сигналов, могут включать метаданные состояния обработки и/или метаданные состояния медиаданных, добавляемые узлом 1 процессора сигналов после того, как узел 1 процессора сигналов проанализирует содержимое медиаданных; в результате, узел 2 процессора сигналов может непосредственно использовать при обработке медиаданных метаданные, предоставляемые узлом 1 процессора сигналов, без повторения некоторой части, или всего, анализа, выполненного ранее узлом 1 процессора сигналов.
7. МЕХАНИЗМЫ РЕАЛИЗАЦИИ – ОБЗОР АППАРАТНОГО ОБЕСПЕЧЕНИЯ
Согласно одному из вариантов осуществления изобретения, способы, описываемые в настоящем раскрытии, реализуются одним или несколькими вычислительными устройствами специального назначения. Вычислительные устройства специального назначения, предназначенные для выполнения методик, могут представлять собой устройства с фиксированным монтажом, или они могут включать такие цифровые электронные устройства, как одна или несколько специализированных интегральных схем (ASIC) или вентильных матриц с эксплуатационным программированием (FPGA), которые ранее были запрограммированы для выполнения методик, или они могут включать один или несколько аппаратных процессоров общего назначения, запрограммированных для выполнения методик в соответствии с командами управления программой в аппаратно-программном обеспечении, памяти, другом устройстве хранения информации или их сочетании. Для выполнения методик, указанные вычислительные устройства специального назначения также могут объединять изготовленную на заказ логику с фиксированным монтажом, схемы ASIC или матрицы FPGA с заказным программированием. Вычислительные устройства специального назначения могут представлять собой настольные компьютерные системы, переносные компьютерные системы, карманные устройства, устройства для построения сети или какие-либо другие устройства, которые для реализации методик объединяют логику с фиксированным монтажом и/или программную логику.
Например, ФИГ. 10 представляет собой блок-схему, которая иллюстрирует компьютерную систему 1000, на которой может быть реализован один из вариантов осуществления изобретения. Компьютерная система 1000 включает шину 1002 или другой механизм связи, предназначенный для передачи информации, и связанный с шиной 1002 аппаратный процессор 1004, предназначенный для обработки информации. Аппаратный процессор 1004 может представлять собой, например, микропроцессор общего назначения.
Компьютерная система 1000 также включает основную память 1006, такую как память с произвольным доступом (RAM) или другое динамическое устройство хранения данных, связанное с шиной 1002 и предназначенное для хранения информации и команд, подлежащих исполнению процессором 1004. Основная память 1006 также может использоваться для хранения временных переменных или другой промежуточной информации в ходе исполнения команд, подлежащих исполнению процессором 1004. Указанные команды при их сохранении в постоянных запоминающих средах, доступных для процессора 1004, представляют компьютерную систему 1000 как машину специального назначения, которая является настраиваемой для выполнения операций, указываемых командами.
Компьютерная система 1000 также включает постоянное запоминающее устройство (ROM) 1008 или другое статическое устройство хранения данных, связанное с шиной 1002 и предназначенное для хранения статической информации и команд для процессора 1004. Для хранения информации и команд предусматривается связанное с шиной 1002 устройство 1010 хранения данных, такое как магнитный или оптический диск.
Компьютерная система 1000 может быть связана посредством шины 1002 с дисплеем 1012, таким как электронно-лучевая трубка (CRT), предназначенным для отображения информации пользователю компьютера. Устройство 1014 ввода, включающее алфавитно-цифровые и другие клавиши, связано с шиной 1002 и предназначено для передачи информации и выбранных команд процессору 1004. Пользовательским устройством ввода другого типа является устройство 1016 управления курсором, такое как мышь, шаровой манипулятор или курсорные клавиши, предназначенные для передачи информации о направлении и выбранных командах процессору 1004 и для управления перемещением курсора на дисплее 1012. Указанное устройство ввода, как правило, имеет две степени свободы по двум осям, первой оси (например, х) и второй оси (например, у), что позволяет устройству указывать положения на плоскости.
Компьютерная система 1000 может реализовывать методики, описываемые в настоящем раскрытии, с использованием изготовленной на заказ логики с фиксированным монтажом, одной или нескольких схем ASIC или матриц FPGA, программно-аппаратного обеспечения и/или программной логики, что, в сочетании с компьютерной системой, создает, или программирует, компьютерную систему 1000 как машину специального назначения. Согласно одному из вариантов осуществления изобретения, методики, описываемые в настоящем раскрытии, выполняются компьютерной системой 1000 в ответ на исполнение процессором 1004 одной или нескольких последовательностей одной или нескольких команд, содержащихся в основной памяти 1006. Указанные команды могут считываться в основную память 1006 из другой запоминающей среды, такой как запоминающее устройство 1010. Исполнение последовательностей команд, содержащихся в основной памяти 1006, вызывает выполнение процессором 1004 этапов процесса, описываемых в настоящем раскрытии. В альтернативных вариантах осуществления изобретения, вместо команд программного обеспечения, или в сочетании с ними, может использоваться схема с фиксированным монтажом.
Термин «запоминающая среда» в том значении, которое используется в настоящее раскрытии, относится к любой постоянной запоминающей среде, которая хранит данные и/или команды, которые приводят к работе машины специфическим образом. Указанные запоминающие среды могут включать энергонезависимые и энергозависимые среды. Энергонезависимые среды включают, например, оптические или магнитные диски, такие как запоминающее устройство 1010. Энергозависимые среды включают динамическую память, такую как основная память 1006. Общеизвестные формы запоминающих сред включают, например, дискету, гибкий диск, жесткий диск, твердотельный накопитель, магнитную ленту или какую-либо другую магнитную запоминающую среду, CD-ROM, какую-либо другую оптическую запоминающую среду, любую физическую среду с сеткой отверстий, RAM, PROM, EPROM, FLASH-EPROM, NVRAM, какую-либо другую микросхему или кассету памяти.
Запоминающие среды отличаются от передающих сред, но могут использоваться в сочетании с ними. Передающие среды принимают участие в передаче информации между запоминающими средами. Например, передающие среды включают коаксиальные кабели, медную проволоку и волоконную оптику, в том числе провода, которые составляют шину 1002. Передающие среды также могут принимать форму звуковых или световых волн, таких как волны, генерируемые в ходе радиоволновой и инфракрасной передачи данных.
В перенос одной или нескольких последовательностей команд в процессор 1004 для исполнения могут вовлекаться различные формы сред. Например, команды могут изначально переноситься на магнитном диске или твердотельном накопителе удаленного компьютера. Удаленный компьютер может загружать команды в динамическую память и отправлять команды по телефонной линии, используя модем. Локальный модем компьютерной системы 1000 может принимать данные по телефонной линии и использовать инфракрасный передатчик для преобразования данных в инфракрасный сигнал. Инфракрасный детектор может принимать данные, переносимые в инфракрасном сигнале, а соответствующая схема может размещать данные на шине 1002. Шина 1002 переносит данные в основную память 1006, в которой процессор 1004 отыскивает, выбирает и исполняет команды. Команды, полученные основной памятью 1006 могут, необязательно, сохраняться на запоминающем устройстве 1010 или до, или после их исполнения процессором 1004.
Компьютерная система 1000 также включает связной интерфейс 1018, связанный с шиной 1002. Связной интерфейс 1018 при двусторонней передаче данных обеспечивает связь с сетевым подключением 1020, которое соединяется с локальной сетью 1022. Например, связной интерфейс 1018 может представлять собой адаптер цифровой сети связи с комплексными услугами (ISDN), кабельный модем, спутниковый модем или модем, предназначенный для обеспечения передачи данных по телефонной линии соответствующего типа. В качестве другого примера, связной интерфейс 1018 может представлять собой адаптер локальной сети (LAN), предназначенный для обеспечения при передаче данных соединения с совместимой LAN. Также могут реализовываться беспроводные линии связи. В любой из указанных реализаций связной интерфейс 1018 отправляет и принимает электрические, электромагнитные или оптические сигналы, которые переносят потоки цифровых данных, отображающие информацию различных типов.
Сетевое подключение 1020, как правило, обеспечивает передачу данных другим устройствам передачи данных через одну или несколько сетей. Например, сетевое подключение 1020 может обеспечивать соединение через локальную сеть 1022 с главным компьютером 1024 или с аппаратурой обработки данных, приводимой в действие поставщиком услуг Интернета (ISP) 1026. ISP 1026, в свою очередь, предоставляет услуги передачи данных через всемирную сеть передачи пакетных данных, в настоящее время обычно именуемую «Интернет» 1028. Как локальная сеть 1022, так и Интернет 1028 используют электрические, электромагнитные или оптические сигналы для переноса потоков цифровых данных. Сигналы, передаваемые через различные сети, и сигналы в сетевом подключении 1022 и через связной интерфейс 1018, которые переносят цифровые данные в компьютерную систему 1000 и из нее являются примерами форм передающих сред.
Компьютерная система 1000 может отправлять сообщения и принимать данные, в том числе управляющую программу, через сеть (сети), сетевое подключение 1020 и связной интерфейс 1018. В примере Интернета, сервер 1030 может передавать запрашиваемый код для прикладной программы через Интернет 1028, ISP 1026, локальную сеть 1022 и связной интерфейс 1018.
Принятый код может исполняться процессором 1004 после того, как он будет получен и/или сохранен в запоминающем устройстве 1010 или другой энергонезависимой памяти для последующего исполнения.
8. ПРОНУМЕРОВАННЫЕ ИЛЛЮСТРАТИВНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Таким образом, варианты осуществления настоящего изобретения могут относиться к одному или нескольким представленным ниже пронумерованным иллюстративным вариантам осуществления изобретения, каждый из которых представляет собой пример, и, как и в случае любого связанного обсуждения, представленного выше, его не следует рассматривать как ограничивающий какой-либо пункт, или пункты, формулы изобретения, представленные еще далее ниже так, как они обозначены сейчас или будут исправлены, заменены или добавлены позднее.
Аналогично, указанные примеры не следует рассматривать как ограничивающие в отношении какого-либо пункта, или пунктов, формулы изобретения любых связанных патентов и/или патентных заявок (в том числе дубликатов любых иностранных или международных заявок и/или патентов, выделенных, повторных и переизданных заявок и т.д.).
Пронумерованный иллюстративный вариант осуществления изобретения 1 представляет собой способ, который включает определение первым устройством в цепочке обработки медиаданных того, выполнялась ли обработка медиаданных какого-либо типа на выходной версии медиаданных; в ответ на определение первым устройством того, что обработка медиаданных определенного типа была выполнена на выходной версии медиаданных, – выполнение: (а) создания первым устройством состояния медиаданных, где состояние описывает тип обработки медиаданных, выполненной на выходной версии медиаданных, и (b) передачу выходной версии медиаданных и состояния медиаданных из первого устройства во второе устройство в нисходящем направлении по цепочке обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 2 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где медиаданные включают содержимое медиаданных как одно из следующего: только аудиосодержимое, только видеосодержимое или как аудиосодержимое, так и видеосодержимое.
Пронумерованный иллюстративный вариант осуществления изобретения 3 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, который также включает доставку второму устройству состояния медиаданных как одного или нескольких из следующих объектов: (а) контрольных сумм медиаданных, (b) метаданных состояния обработки, (с) извлеченных значений признаков медиаданных, (d) описания (описаний) и/или значений классов, или подклассов, объектов медиаданных, (е) значений вероятности классов, или подклассов, признаков медиаданных, (f) значения криптографической хэш-функции или (f) сигнализации обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 4 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, который также включает сохранение блока данных обработки медиаданных в базе данных обработки медиаданных, где блок данных обработки медиаданных включает метаданные состояния обработки, и где блок данных обработки медиаданных отыскивается и выбирается на основании одной или нескольких контрольных сумм, которые связаны с этим блоком данных обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 5 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где состояние медиаданных включает значение криптографической хэш-функции, зашифрованное с удостоверяющей информацией, и где подлинность указанного значения криптографической хэш-функции подлежит проверке устройством-получателем.
Пронумерованный иллюстративный вариант осуществления изобретения 6 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где, по меньшей мере, часть состояния медиаданных включает один или несколько защищенных каналов связи, скрытых в медиаданных, и где подлинность одного или нескольких защищенных каналов связи подлежит проверке устройством-получателем.
Пронумерованный иллюстративный вариант осуществления изобретения 7 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 6, где один или несколько защищенных каналов связи включают, по меньшей мере, один защищенный канал связи с размытым спектром.
Пронумерованный иллюстративный вариант осуществления изобретения 8 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 6, где один или несколько защищенных каналов связи включают, по меньшей мере, один защищенный канал связи с частотной манипуляцией.
Пронумерованный иллюстративный вариант осуществления изобретения 9 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где состояние медиаданных переносится вместе с выходной версией медиаданных в выходном битовом потоке медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 10 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где состояние медиаданных переносится во вспомогательном битовом потоке метаданных, связанном с отдельным битовым потоком медиаданных, который переносит выходную версию медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 11 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где состояние медиаданных включает один или несколько наборов параметров, которые относятся к типу обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 12 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где, по меньшей мере, одно из устройств, первое или второе, включает один или несколько из следующих узлов: узлов предобработки, кодеров, подузлов обработки медиаданных, транскодеров, декодеров, узлов постобработки или подузлов представления содержимого медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 13 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где первое устройство представляет собой кодер, и где второе устройство представляет собой декодер.
Пронумерованный иллюстративный вариант осуществления изобретения 14 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, который также включает выполнение первым устройством обработки медиаданных определенного типа.
Пронумерованный иллюстративный вариант осуществления изобретения 15 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где обработка медиаданных определенного типа была выполнена устройством в восходящем направлении по цепочке обработки медиаданных относительно первого устройства; и где способ также включает: прием первым устройством входной версии медиаданных, где входная версия медиаданных включает какое-либо состояние медиаданных, которое указывает тип обработки медиаданных; анализ входной версии медиаданных с целью определения типа обработки медиаданных, которая уже была выполнена на входной версии медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 16 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, который также включает: кодирование в состоянии медиаданных значений громкости и динамического диапазона.
Пронумерованный иллюстративный вариант осуществления изобретения 17 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где обработка медиаданных определенного типа выполнялась ранее устройством в восходящем направлении по цепочке обработки медиаданных относительно первого устройства; и где способ также включает: прием первым устройством команды отмены ранее выполненной обработки медиаданных определенного типа; выполнение первым устройством обработки медиаданных определенного типа; передачу из первого устройства во второе устройство в нисходящем направлении по цепочке обработки медиаданных выходной версии медиаданных и состояния медиаданных, которое указывает, что обработка медиаданных определенного типа уже выполнена в выходной версии медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 18 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 17, который также включает прием команды из одного из следующих источников: (а) пользовательский ввод, (b) конфигурация системы первого устройства, (с) сигнал от устройства, внешнего по отношению к первому устройству, или (d) сигнал от подузла в первом устройстве.
Пронумерованный иллюстративный вариант осуществления изобретения 19 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, который также включает передачу из первого устройства во второе устройство в нисходящем направлении по цепочке обработки медиаданных метаданных одного или нескольких типов, не зависящих от состояния медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 20 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где состояние медиаданных включает, по меньшей мере, часть метаданных состояния, скрытых в одном или нескольких защищенных каналах связи.
Пронумерованный иллюстративный вариант осуществления изобретения 21 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, который также включает изменения ряда байтов в медиаданных для сохранения, по меньшей мере, части состояния медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 22 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где, по меньшей мере, одно из устройств, первое или второе, включает один или несколько кодеков Комитета по усовершенствованным телевизионным системам (Advanced Television Systems Committee, ATSC), кодеков Экспертной группы по вопросам движущегося изображения (Moving Picture Experts Group, MPEG), кодеков Audio Codec 3 (AC-3) и усовершенствованных кодеков AC-3 (Enhanced AC-3).
Пронумерованный иллюстративный вариант осуществления изобретения 23 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, где цепочка обработки медиаданных включает: узел предобработки, сконфигурированный для приема в качестве входных данных дискретных значений во временной области, включающих содержимое медиаданных, и для вывода обработанных дискретных значений во временной области; кодер, сконфигурированный для вывода сжатого битового потока содержимого медиаданных на основе обработанных дискретных значений во временной области; узел анализа сигнала и коррекции метаданных, сконфигурированный для проверки достоверности метаданных состояния обработки в сжатом битовом потоке медиаданных; транскодер, сконфигурированный для модификации сжатого битового потока медиаданных; декодер, сконфигурированный для вывода декодированных значений во временной области на основе сжатого битового потока медиаданных; и узел постобработки, сконфигурированный для выполнения постобработки содержимого медиаданных в декодированных дискретных значениях во временной области.
Пронумерованный иллюстративный вариант осуществления изобретения 24 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 23, где, по меньшей мере, одно из устройств, первое или второе, включает один или несколько из следующих узлов: узел предобработки, узел анализа сигнала и коррекции метаданных, транскодер, декодер и узел постобработки.
Пронумерованный иллюстративный вариант осуществления изобретения 25 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 23, где, по меньшей мере, один из узлов, – узел предобработки, узел анализа сигнала и коррекции метаданных, транскодер, декодер или узел постобработки, – выполняет адаптивную обработку содержимого медиаданных на основе метаданных состояния обработки, получаемых из устройства в восходящем направлении.
Пронумерованный иллюстративный вариант осуществления изобретения 26 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 1, который также включает определение одного или нескольких признаков медиаданных исходя из медиаданных; в том числе, описания одного или нескольких признаков медиаданных в состоянии медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 27 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 26, где один или несколько признаков медиаданных включают, по меньшей мере, один признак медиаданных, определяемый исходя из одного или нескольких кадров, секунд, минут, определяемых пользователем промежутков времени, сцен, песен, музыкальных произведений и звукозаписей.
Пронумерованный иллюстративный вариант осуществления изобретения 28 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 26, где один или несколько признаков медиаданных включают семантическое описание медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 29 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 26, где один или несколько признаков медиаданных включают одно или несколько структурных свойств, тональность, включая гармонию и мелодию, тембр, ритм, громкость, стереофоническое микширование, количество источников звука в медиаданных, отсутствие или присутствие голоса, характеристики повторений, мелодию, гармонии, тексты, признаки, относящиеся к восприятию, признаки цифровых медиаданных, стереофонические параметры, одну или несколько частей речевого содержимого.
Пронумерованный иллюстративный вариант осуществления изобретения 30 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 26, который также включает использование одного или нескольких признаков медиаданных для классификации медиаданных по одному или нескольким классам медиаданных в ряду классов медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 31 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 30, где один или несколько классов медиаданных включают единый общий/доминантный класс медиаданных для всего фрагмента медиаданных или единственный класс, который отображает меньший промежуток времени, чем весь фрагмент медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 32 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 31, где меньший промежуток времени отображает один или несколько из следующих промежутков: единственный кадр медиаданных, единственный блок медиаданных, несколько кадров медиаданных, несколько блоков медиаданных, доля секунды, секунда или несколько секунд.
Пронумерованный иллюстративный вариант осуществления изобретения 33 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 30, где одна или несколько меток классов медиаданных, отображающих один или несколько классов медиаданных, вычисляются и вставляются в битовый поток.
Пронумерованный иллюстративный вариант осуществления изобретения 34 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 30, где одна или несколько меток классов медиаданных, отображающих один или несколько классов медиаданных, вычисляются и сигнализируются узлу-получателю обработки медиаданных как скрытые данные, встроенные в медиаданные.
Пронумерованный иллюстративный вариант осуществления изобретения 35 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 30, где одна или несколько меток классов медиаданных, отображающих один или несколько классов медиаданных, вычисляются и сигнализируются узлу-получателю обработки медиаданных как отдельная структура метаданных между блоками медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 36 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 31, где единый общий/доминантный класс медиаданных отображает один или несколько единичных классов объектов, таких как музыка, речь, шум, тишина, рукоплескания, или смесь классов объектов, такую как речь поверх музыки, диалог поверх шума или другие смеси типов медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 37 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 30, который также включает связывание одного или нескольких значений правдоподобия, или вероятности, с одной или несколькими метками классов медиаданных, где значение правдоподобия, или вероятности, отображает уровень доверия, которое вычисленная метка класса медиаданных имеет относительно сегмента/блока медиаданных, с которым связана указанная метка класса медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 38 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 37, где значение правдоподобия, или вероятности, используется узлом-получателем обработки медиаданных в цепочке обработки медиаданных для адаптации обработки таким образом, чтобы улучшить одно или несколько таких операций, как повышающее микширование, декодирование, перекодирование, или виртуализация наушников.
Пронумерованный иллюстративный вариант осуществления изобретения 39 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 38, где, по меньшей мере, одна из одной или нескольких операций исключает потребность в предварительно установленных параметрах обработки, снижает сложность узлов обработки медиаданных по всей цепочке обработки медиаданных, или увеличивает время работы от батарей, поскольку позволяет избежать сложных операций анализа с целью классификации медиаданных узлом-получателем обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 40 представляет собой способ, который включает: определение первым устройством в цепочке обработки медиаданных того, была ли уже выполнена обработка медиаданных какого-либо типа на входной версии медиаданных; в ответ на определение первым устройством того, что обработка медиаданных определенного типа уже выполнена на входной версии медиаданных, – выполнение адаптации обработки медиаданных для отмены выполнения обработки медиаданных определенного типа в первом устройстве; где способ выполняется одним или несколькими вычислительными процессорами.
Пронумерованный иллюстративный вариант осуществления изобретения 41 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 40, который также включает: передачу из первого устройства во второе устройство в нисходящем направлении по цепочке обработки медиаданных выходной версии медиаданных и состояния медиаданных, которое указывает тип обработки медиаданных, которая была выполнена на выходной версии медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 42 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 41, который также включает кодирование в состоянии медиаданных значений громкости и динамического диапазона.
Пронумерованный иллюстративный вариант осуществления изобретения 43 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 40, который также включает: выполнение на медиаданных первым устройством обработки медиаданных второго типа, где обработка медиаданных второго типа отличается от обработки медиаданных указанного типа; передачу из первого устройства во второе устройство в нисходящем направлении по цепочке обработки медиаданных выходной версии медиаданных и состояния медиаданных, которое указывает, что в выходной версии медиаданных уже выполнена обработка медиаданных указанного типа и обработка медиаданных второго типа.
Пронумерованный иллюстративный вариант осуществления изобретения 44 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 40, который также включает автоматическое выполнение одной или нескольких из следующих операций: корректирующей обработки громкости или динамики аудиоданных, по меньшей мере, частично на основе того, была ли обработка определенного типа уже выполнена на входной версии медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 45 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 40, который также включает: извлечение входного состояния медиаданных из единиц данных в медиаданных, которые кодируют содержимое медиаданных, где входное состояние медиаданных скрыто в одной или нескольких единицах данных.
Пронумерованный иллюстративный вариант осуществления изобретения 46 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 45, который также включает восстановление версии единиц данных, которые не включают входное состояния медиаданных, и представление содержимого медиаданных на основе версии единиц данных, которая была восстановлена.
Пронумерованный иллюстративный вариант осуществления изобретения 47 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 46, который также включает поиск и выборку входного состояния медиаданных, которое связано с входной версией медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 48 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 47, который также включает проверку подлинности входного состояния медиаданных путем проверки достоверности значения криптографической хэш-функции, связанного с входным состоянием медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 49 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 47, который также включает проверку подлинности входного состояния медиаданных путем проверки достоверности одной или нескольких контрольных сумм, связанных с входным состоянием медиаданных, где, по меньшей мере, одна из одной или нескольких контрольных сумм генерируется на основе, по меньшей мере, части медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 50 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 47, который также включает проверку подлинности медиаданных путем проверки достоверности одной или нескольких контрольных сумм, связанных с входным состоянием медиаданных, где, по меньшей мере, одна из одной или нескольких контрольных сумм генерируется на основе, по меньшей мере, части медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 51 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 47, где входное состояние медиаданных переносится вместе с входной версией медиаданных во входном битовом потоке медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 52 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 47, который также включает: отключение обработки медиаданных одного или нескольких типов на основании входного состояния медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 53 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 47, где входное состояние медиаданных описывается метаданными состояния обработки; и где способ также включает: создание сигнализации обработки медиаданных, по меньшей мере, частично на основе метаданных состояния обработки, где сигнализация обработки медиаданных указывает входное состояние медиаданных; передачу сигнализации обработки медиаданных устройству обработки медиаданных в нисходящем направлении по цепочке обработки медиаданных относительно первого устройства.
Пронумерованный иллюстративный вариант осуществления изобретения 54 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 53, где сигнализация обработки медиаданных является скрытой в одной или нескольких единицах данных в выходной версии медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 55 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 54, где сигнализация обработки медиаданных выполняется при помощи методики обратимого скрытия данных так, что одна или несколько модификаций медиаданных могут быть устранены устройством-получателем.
Пронумерованный иллюстративный вариант осуществления изобретения 56 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 54, где сигнализация обработки медиаданных выполняется с использованием методики необратимого скрытия данных так, что, по меньшей мере, одна из одной или нескольких модификаций медиаданных не может быть устранена устройством-получателем.
Пронумерованный иллюстративный вариант осуществления изобретения 57 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 46, который также включает получение из устройства в восходящем направлении по цепочке обработки медиаданных метаданных одного или нескольких типов, не зависящих от какой-либо прошлой обработки, выполненной на медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 58 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 47, где состояние медиаданных включает, по меньшей мере, часть метаданных состояния, скрытых в одном или нескольких защищенных каналах связи.
Пронумерованный иллюстративный вариант осуществления изобретения 59 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 46, который также включает изменение ряда байтов в медиаданных с целью сохранения, по меньшей мере, части состояния медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 60 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 46, где первое устройство включает один или несколько кодеков Комитета по усовершенствованным телевизионным системам (Advanced Television Systems Committee, ATSC), кодеков Экспертной группы по вопросам движущегося изображения (Moving Picture Experts Group, MPEG), кодеков Audio Codec 3 (AC-3) и усовершенствованных кодеков AC-3 (Enhanced AC-3).
Пронумерованный иллюстративный вариант осуществления изобретения 61 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 46, где цепочка обработки медиаданных включает: узел предобработки, сконфигурированный для приема в качестве входных данных дискретных значений во временной области, включающих содержимое медиаданных, и для вывода обработанных дискретных значений во временной области; кодер, сконфигурированный для вывода сжатого битового потока содержимого медиаданных на основе обработанных дискретных значений во временной области; узел анализа сигнала и коррекции метаданных, сконфигурированный для проверки достоверности метаданных состояния обработки в сжатом битовом потоке медиаданных; транскодер, сконфигурированный для модификации сжатого битового потока медиаданных; декодер, сконфигурированный для вывода декодированных значений во временной области на основе сжатого битового потока медиаданных; и узел постобработки, сконфигурированный для выполнения постобработки содержимого медиаданных в декодированных дискретных значениях во временной области.
Пронумерованный иллюстративный вариант осуществления изобретения 62 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 61, где первое устройство включает один или несколько из следующих узлов: узел предобработки, узел анализа сигнала и коррекции метаданных, транскодер, декодер и узел постобработки.
Пронумерованный иллюстративный вариант осуществления изобретения 63 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 61, где, по меньшей мере, один из узлов, – узел предобработки, узел анализа сигнала и коррекции метаданных, транскодер, декодер или узел постобработки, – выполняет адаптивную обработку содержимого медиаданных на основе метаданных обработки, полученных из устройства в восходящем направлении.
Пронумерованный иллюстративный вариант осуществления изобретения 64 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 47, который также включает определение одного или нескольких признаков медиаданных на основе описания одного или нескольких признаков в состоянии медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 65 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 64, где один или несколько признаков медиаданных включают, по меньшей мере, один признак медиаданных, определяемый исходя из одного или нескольких кадров, секунд, минут, определяемых пользователем промежутков времени, сцен, песен, музыкальных произведений и звукозаписей.
Пронумерованный иллюстративный вариант осуществления изобретения 66 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 64, где один или несколько признаков медиаданных включают семантическое описание медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 67 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 64, который также включает выполнение одной или нескольких определенных операций в ответ на определение одного или нескольких признаков медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 68 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 43, который также включает предоставление второму устройству в цепочке обработки медиаданных состояния медиаданных как одного или нескольких из следующих объектов: (а) контрольных сумм медиаданных, (b) метаданных состояния обработки, (с) извлеченных значений признаков медиаданных, (d) описания (описаний) и/или значений классов, или подклассов, объектов медиаданных, (е) значений вероятности классов, или подклассов, признаков медиаданных, (f) значения криптографической хэш-функции или (f) сигнализации обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 69 представляет собой способ, который включает: вычисление первым устройством в цепочке обработки медиаданных для исходного кадра медиаданных одного или нескольких представлений с уменьшенной скоростью передачи данных; и одновременный и защищенный перенос одного или нескольких представлений с уменьшенной скоростью передачи данных в самом состоянии медиаданных во второе устройству в цепочке обработки медиаданных; где способ выполняется одним или несколькими вычислительными устройствами.
Пронумерованный иллюстративный вариант осуществления изобретения 70 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 69, где одно или несколько представлений с уменьшенной скоростью передачи данных переносятся в, по меньшей мере, одном из следующих объектов: в подпотоке, в одном или нескольких зарезервированных полях, в поле add_bsi, в одном или нескольких полях вспомогательных данных или в одном или нескольких коэффициентах преобразования.
Пронумерованный иллюстративный вариант осуществления изобретения 71 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 69, где одно или несколько представлений с уменьшенной скоростью передачи данных включают данные синхронизации, используемые для синхронизации аудио- и видеоданных, доставляемых в медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 72 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 69, где одно или несколько представлений с уменьшенной скоростью передачи данных включают контрольные суммы, (а) генерируемые узлом обработки медиаданных, и (b) встроенные в медиаданные с одной или несколькими из следующих целей: контроль качества, рейтинги медиаданных, отслеживание медиаданных или поиск содержимого.
Пронумерованный иллюстративный вариант осуществления изобретения 73 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 69, где одно или несколько представлений с уменьшенной скоростью передачи данных включают, по меньшей мере, часть метаданных состояния, скрытых в одном или нескольких защищенных каналах данных.
Пронумерованный иллюстративный вариант осуществления изобретения 74 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 69, который также включает изменение ряда байтов в медиаданных с целью сохранения, по меньшей мере, части одного или нескольких представлений с уменьшенной скоростью передачи данных.
Пронумерованный иллюстративный вариант осуществления изобретения 75 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 69, где, по меньшей мере, одно из устройств, первое или второе, включает один или несколько кодеков Комитета по усовершенствованным телевизионным системам (Advanced Television Systems Committee, ATSC), кодеков Экспертной группы по вопросам движущегося изображения (Moving Picture Experts Group, MPEG), кодеков Audio Codec 3 (AC-3) и усовершенствованных кодеков AC-3 (Enhanced AC-3).
Пронумерованный иллюстративный вариант осуществления изобретения 76 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 69, где цепочка обработки медиаданных включает: узел предобработки, сконфигурированный для приема в качестве входных данных дискретных значений во временной области, включающих содержимое медиаданных, и для вывода обработанных дискретных значений во временной области; кодер, сконфигурированный для вывода сжатого битового потока содержимого медиаданных на основе обработанных дискретных значений во временной области; узел анализа сигнала и коррекции метаданных, сконфигурированный для проверки достоверности метаданных состояния обработки в сжатом битовом потоке медиаданных; транскодер, сконфигурированный для модификации сжатого битового потока медиаданных; декодер, сконфигурированный для вывода декодированных значений во временной области на основе сжатого битового потока медиаданных; и узел постобработки, сконфигурированный для выполнения постобработки содержимого медиаданных в декодированных дискретных значениях во временной области.
Пронумерованный иллюстративный вариант осуществления изобретения 77 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 76, где, по меньшей мере, одно из устройств, первое или второе, включает один или несколько из следующих узлов: узел предобработки, узел анализа сигнала и коррекции метаданных, транскодер, декодер и узел постобработки.
Пронумерованный иллюстративный вариант осуществления изобретения 78 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 76, где, по меньшей мере, один из узлов, – узел предобработки, узел анализа сигнала и коррекции метаданных, транскодер, декодер или узел постобработки, – выполняет адаптивную обработку содержимого медиаданных на основе метаданных обработки, получаемых из устройства в восходящем направлении.
Пронумерованный иллюстративный вариант осуществления изобретения 79 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 69, который также включает предоставление второму устройству состояния медиаданных как одного или нескольких из следующих объектов: (а) контрольных сумм медиаданных, (b) метаданных состояния обработки, (с) извлеченных значений признаков медиаданных, (d) описания (описаний) и/или значений классов, или подклассов, объектов медиаданных, (е) значений вероятности классов, или подклассов, признаков медиаданных, (f) значения криптографической хэш-функции или (f) сигнализации обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 80 представляет собой способ, который включает: адаптивную обработку одним или несколькими вычислительными устройствами в цепочке обработке медиаданных, включающей один или несколько психоакустических узлов, преобразований, узлов кодирования формы сигнала/пространственного аудиокодирования, кодеров, декодеров, транскодеров или потоковых процессоров, входной версии медиаданных на основе предыстории обработки громкости медиаданных одним или несколькими узлами обработки медиаданных в восходящем направлении, указываемой состоянием медиаданных;; нормализацию громкости и/или динамического диапазона выходной версии медиаданных в конце цепочки обработки медиаданных до согласованных значений громкости и/или динамического диапазона.
Пронумерованный иллюстративный вариант осуществления изобретения 81 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 80, где согласованное значение громкости включает значение громкости, (1) управляемое или выбираемое пользователем, или (2) адаптивно сигнализируемое посредством состояния во входной версии медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 82 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 80, где значение громкости вычисляется на диалоговых (речевых) частях медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 83 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 80, где значение громкости вычисляется на абсолютных, относительных и/или нестробированных частях медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 84 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 80, где согласованное значение динамического диапазона включает значение динамического диапазона, (1) управляемое или выбираемое пользователем, или (2) адаптивно сигнализируемое посредством состояния во входной версии медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 85 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 84, где значение динамического диапазона вычисляется на диалоговых (речевых) частях медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 86 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 84, где значение динамического диапазона вычисляется на абсолютных, относительных и/или нестробированных частях медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 87 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 80, который также включает вычисление одного или нескольких значений регулировки усиления громкости и/или динамического диапазона для нормализации выходной версии медиаданных до согласованного значения громкости и согласованного динамического диапазона; одновременный перенос одного или нескольких значений регулировки усиления громкости и/или динамического диапазона в состоянии выходной версии медиаданных в конец цепочки обработки медиаданных, где одно или несколько значений регулировки усиления громкости и/или динамического диапазона используются другим устройством для обратимого применения одного или нескольких значений регулировки усиления громкости и/или динамического диапазона при восстановлении оригинальной громкости и оригинального динамического диапазона в выходной версии медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 88 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 87, где одно или несколько значений регулировки усиления громкости и/или динамического диапазона, отображающие состояние выходной версии медиаданных, переносятся в, по меньшей мере, одном из следующих объектов: в подпотоке, в одном или нескольких зарезервированных полях, в поле add_bsi, в одном или нескольких полях вспомогательных данных или в одном или нескольких коэффициентах преобразования.
Пронумерованный иллюстративный вариант осуществления изобретения 89 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 80, который также включает вычисление и передачу, по меньшей мере, одним из одного или нескольких вычислительных устройств в цепочке обработки медиаданных значения криптографической хэш-функции на основе медиаданных и/или состояния медиаданных в одном или нескольких кодированных битовых потоках, которые переносят указанные медиаданные.
Пронумерованный иллюстративный вариант осуществления изобретения 90 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 89, который также включает проверку устройством-получателем подлинности значения криптографической хэш-функции; передачу устройством-получателем одному или нескольким узлам обработки медиаданных в нисходящем направлении сигнала определения того, является ли состояние медиаданных достоверным; передачу устройством-получателем одному или нескольким узлам обработки медиаданных в нисходящем направлении сигнала состояния медиаданных в ответ на определение того, что состояние медиаданных является достоверным.
Пронумерованный иллюстративный вариант осуществления изобретения 91 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 89, где значение криптографической хэш-функции, отображающее состояние медиаданных и/или медиаданные переносится в, по меньшей мере, одном из следующих объектов: в подпотоке, в одном или нескольких зарезервированных полях, в поле add_bsi, в одном или нескольких полях вспомогательных данных или в одном или нескольких коэффициентах преобразования.
Пронумерованный иллюстративный вариант осуществления изобретения 92 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 80, где состояние медиаданных включает один или несколько из следующих объектов: (а) контрольные суммы медиаданных, (b) метаданные состояния обработки, (с) извлеченные значения признаков медиаданных, (d) описание (описания) и/или значение классов, или подклассов, объектов медиаданных, (е) значения вероятности классов, или подклассов, признаков медиаданных, (f) значение криптографической хэш-функции или (f) сигнализацию обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 93 представляет собой способ, который включает выполнение одной или нескольких из следующих операций: вставки, извлечения или редактирования местоположений связанных и несвязанных медиаданных в одном или нескольких кодированных битовых потоках одним или несколькими вычислительными устройствами в цепочке обработки медиаданных, включающей один или несколько из следующих узлов: психоакустические узлы, преобразования, узлы кодирования формы сигнала/пространственного аудиокодирования, кодеры, декодеры, транскодеры или потоковые процессоры.
Пронумерованный иллюстративный вариант осуществления изобретения 94 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 93, где одно или несколько местоположений связанных и несвязанных медиаданных и/или состояние местоположений связанных и несвязанных медиаданных в кодированных битовых потоках переносятся в, по меньшей мере, одном из следующих объектов: в подпотоке, в одном или нескольких зарезервированных полях, в поле add_bsi, в одном или нескольких полях вспомогательных данных или в одном или нескольких коэффициентах преобразования.
Пронумерованный иллюстративный вариант осуществления изобретения 95 представляет собой способ, который включает выполнение одной или нескольких из следующих операций: вставки, извлечения или редактирования местоположений связанных и несвязанных медиаданных и/или состояния местоположений связанных и несвязанных медиаданных в одном или нескольких кодированных битовых потоках одним или несколькими вычислительными устройствами в цепочке обработки медиаданных, включающей один или несколько из следующих узлов: психоакустические узлы, преобразования, узлы кодирования формы сигнала/пространственного аудиокодирования, кодеры, декодеры, транскодеры или потоковые процессоры.
Пронумерованный иллюстративный вариант осуществления изобретения 96 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 95, где одна или несколько частей связанных и несвязанных медиаданных и/или состояний связанных и несвязанных медиаданных в кодированных битовых потоках переносятся в, по меньшей мере, одном из следующих объектов: в подпотоке, в одном или нескольких зарезервированных полях, в поле add_bsi, в одном или нескольких полях вспомогательных данных или в одном или нескольких коэффициентах преобразования.
Пронумерованный иллюстративный вариант осуществления изобретения 97 представляет собой способ, описанный в пронумерованном иллюстративном варианте осуществления изобретения 93, который также включает предоставление устройством обработки медиаданных в восходящем направлении устройству обработки данных в нисходящем направлении состояния медиаданных как одного или нескольких из следующих объектов: (а) контрольных сумм медиаданных, (b) метаданных состояния обработки, (с) извлеченных значений признаков медиаданных, (d) описания (описаний) и/или значений классов, или подклассов, объектов медиаданных, (е) значений вероятности классов, или подклассов, признаков медиаданных, (f) значения криптографической хэш-функции или (f) сигнализации обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 98 представляет собой систему обработки медиаданных, сконфигурированную для вычисления и переноса значений криптографической хэш-функции, основывающихся на медиаданных и/или на состоянии медиаданных в одном или нескольких кодированных битовых потоках одним или несколькими вычислительными устройствами в цепочке обработки медиаданных, включающей один или несколько из следующих узлов: психоакустические узлы, преобразования, узлы кодирования формы сигнала/пространственного аудиокодирования, кодеры, декодеры, транскодеры или потоковые процессоры.
Пронумерованный иллюстративный вариант осуществления изобретения 99 представляет собой систему обработки медиаданных, описанную в пронумерованном иллюстративном варианте осуществления изобретения 98, где состояние медиаданных включает один или несколько из следующих объектов: (а) контрольные суммы медиаданных, (b) метаданные состояния обработки, (с) извлеченные значения признаков медиаданных, (d) описание (описания) и/или значения классов, или подклассов, объектов медиаданных, (е) значения вероятности классов, или подклассов, признаков медиаданных, (f) значение криптографической хэш-функции или (f) сигнализация обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 100 представляет собой систему обработки медиаданных, сконфигурированную для адаптивной обработки медиаданных на основе состояния медиаданных, полученного из одного или нескольких защищенных каналов связи.
Пронумерованный иллюстративный вариант осуществления изобретения 101 представляет собой систему обработки медиаданных, описанную в пронумерованном иллюстративном варианте осуществления изобретения 100, где система обработки медиаданных включает один или несколько узлов обработки, и где узлы обработки включают системы доставки медиаданных, системы распределения медиаданных и системы представления медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 102 представляет собой систему обработки медиаданных, описанную в пронумерованном иллюстративном варианте осуществления изобретения 101, где один или несколько защищенных каналов данных включают, по меньшей мере, один защищенный канал данных на два или большее количество сжатых/кодированных битовых потоков и узлов обработки РСМ.
Пронумерованный иллюстративный вариант осуществления изобретения 103 представляет собой систему обработки медиаданных, описанную в пронумерованном иллюстративном варианте осуществления изобретения 101, где один или несколько защищенных каналов данных включают, по меньшей мере, один защищенный канал данных на два отдельных устройства обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 104 представляет собой систему обработки медиаданных, описанную в пронумерованном иллюстративном варианте осуществления изобретения 101, где один или несколько защищенных каналов данных включают, по меньшей мере, один защищенный канал данных на два узла обработки медиаданных в одном устройстве обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 105 представляет собой систему обработки медиаданных, описанную в пронумерованном иллюстративном варианте осуществления изобретения 100, где система обработки медиаданных сконфигурирована для выполнения автономных операций обработки медиаданных, не зависящих от того, каким образом системы упорядочены в цепочке обработки медиаданных, частью которой является указанная система обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 106 представляет собой систему обработки медиаданных, описанную в пронумерованном иллюстративном варианте осуществления изобретения 100, где состояние медиаданных включает один или несколько из следующих объектов: (а) контрольные суммы медиаданных, (b) метаданные состояния обработки, (с) извлеченные значения признаков медиаданных, (d) описание (описания) и/или значения классов, или подклассов, объектов медиаданных, (е) значения вероятности классов, или подклассов, признаков медиаданных, (f) значение криптографической хэш-функции или (f) сигнализация обработки медиаданных.
Пронумерованный иллюстративный вариант осуществления изобретения 107 представляет собой систему обработки медиаданных, сконфигурированную для выполнения какого-либо из способов, описанных в пронумерованных иллюстративных вариантах осуществления изобретения 1 – 99.
Пронумерованный иллюстративный вариант осуществления изобретения 108 представляет собой устройство, включающее процессор и сконфигурированное для выполнения какого-либо из способов, описанных в пронумерованных иллюстративных вариантах осуществления изобретения 1 – 99.
Пронумерованный иллюстративный вариант 109 осуществления изобретения представляет собой машиночитаемую носитель данных, включающий команды программного обеспечения, которые при их исполнении одним или несколькими процессорами вызывают выполнение какого-либо из способов, описанных в пронумерованных иллюстративных вариантах осуществления
изобретения 1 – 99.
9. ЭКВИВАЛЕНТЫ, РАСШИРЕНИЯ, АЛЬТЕРНАТИВЫ И РАЗНОЕ
В предшествующем описании возможные варианты осуществления изобретения были описаны со ссылкой на многочисленные конкретные подробности, которые могут варьироваться от одной реализации к другой реализации. Поэтому единственным и исключительным указателем того, что представляет собой изобретение, и того, что предполагается заявителями как являющееся изобретением, является набор пунктов формулы изобретения, исходящих из данной заявки, в конкретной форме, в которой исходят указанные пункты формулы изобретения, включая любые последующие исправления. Любые определения, изложенные в настоящем раскрытии в прямой форме для терминов, содержащихся в указанной формуле изобретения, должны руководить значением, в котором указанные термины используются в формуле изобретения. Поэтому ни одно ограничение, элемент, свойство, признак, преимущество или особенность, которые не изложены в формуле изобретения в прямой форме, во всяком случае, не должны ограничивать объем указанной формулы изобретения. Соответственно, описание и графические материалы, следует рассматривать в иллюстративном, а не в ограничивающем смысле.
Изобретение относится к области вычислительной техники для обработки аудиоданных. Технический результат заключается в повышении качества обработки и устранении характерных признаков в медиаданных при представлении содержимого медиаданных. Технический результат достигается за счет приема кодированного битового потока, сгенерированного аудиокодером, при этом кодированный битовый поток включает кодированные многоканальные входные аудиоданные и метаданные состояния обработки, включающие значение громкости; декодирования кодированных многоканальных входных аудиоданных для получения декодированных многоканальных аудиоданных; приема данных сигнализации, указывающих, выполнять нормализацию громкости декодированных многоканальных входных аудиоданных или нет; когда упомянутые данные сигнализации указывают выполнять нормализацию громкости декодированных многоканальных аудиоданных: получения значения громкости из метаданных состояния обработки; и нормализации громкости упомянутых декодированных многоканальных аудиоданных в соответствии со значением громкости для предоставления выходных аудиоданных; когда упомянутые данные сигнализации указывают не выполнять нормализацию громкости декодированных многоканальных аудиоданных: отключения выполнения нормализации громкости. 2 н. и 7 з.п. ф-лы, 26 ил.
1. Способ аудиодекодирования, включающий:
прием кодированного битового потока, сгенерированного аудиокодером, при этом кодированный битовый поток включает кодированные многоканальные входные аудиоданные и метаданные состояния обработки, включающие значение громкости;
декодирование кодированных многоканальных входных аудиоданных для получения декодированных многоканальных аудиоданных;
прием данных сигнализации, указывающих, выполнять нормализацию громкости декодированных многоканальных входных аудиоданных или нет;
когда упомянутые данные сигнализации указывают выполнять нормализацию громкости декодированных многоканальных аудиоданных:
получение значения громкости из метаданных состояния обработки; и
нормализацию громкости упомянутых декодированных многоканальных аудиоданных в соответствии со значением громкости для предоставления выходных аудиоданных;
когда упомянутые данные сигнализации указывают не выполнять нормализацию громкости декодированных многоканальных аудиоданных:
отключение выполнения нормализации громкости.
2. Способ по п. 1, отличающийся тем, что упомянутые метаданные состояния обработки дополнительно указывают, выполнять обработку динамического диапазона или нет; при этом способ дополнительно включает:
когда упомянутые метаданные состояния обработки указывают выполнять обработку динамического диапазона:
получение значения динамического диапазона из метаданных состояния обработки;
нормализацию динамического диапазона упомянутого декодирования многоканальных аудиоданных в соответствии со значением динамического диапазона.
3. Способ по п. 1, отличающийся тем, что упомянутое значение громкости вычисляется на диалоговых частях аудиоданных.
4. Способ по п. 1, отличающийся тем, что кодированный битовый поток включает данные сигнализации, при этом метаданные состояния обработки и данные сигнализации встроены в одно или несколько зарезервированных полей кодированного битового потока или скрыты многоканальными входными аудиоданными.
5. Способ по п. 4, отличающийся тем, что данные сигнализации включают подмножество метаданных состояния обработки или сводку метаданных состояния обработки.
6. Аудиодекодирующая система, содержащая:
декодер, выполненный с возможностью:
приема кодированного битового потока, сгенерированного аудиокодером, при этом кодированный битовый поток включает кодированные многоканальные входные аудиоданные и метаданные состояния обработки, включающие значение громкости,
декодирования упомянутых кодированных многоканальных входных аудиоданных для получения декодированных многоканальных аудиоданных; и
узел постобработки, выполненный с возможностью:
приема данных сигнализации, указывающих, выполнять нормализацию громкости декодированных многоканальных аудиоданных или нет, и
когда упомянутые данные сигнализации указывают выполнять нормализацию громкости декодированных многоканальных аудиоданных:
получения значения громкости из метаданных состояния обработки;
нормализации громкости упомянутых декодированных многоканальных аудиоданных в соответствии со значением громкости для предоставления выходных аудиоданных;
когда упомянутые данные сигнализации указывают не выполнять нормализацию громкости декодированных многоканальных аудиоданных:
отключения выполнения нормализации громкости.
7. Система по п. 6, отличающаяся тем, что упомянутые метаданные состояния обработки дополнительно указывают, выполнять обработку динамического диапазона или нет, при этом упомянутый узел постобработки дополнительно выполнен с возможностью:
когда упомянутые метаданные состояния обработки указывают выполнять обработку динамического диапазона:
получения значения динамического диапазона из метаданных состояния обработки;
нормализации динамического диапазона указанных декодированных многоканальных аудиоданных в соответствии со значением динамического диапазона.
8. Система по п. 6, отличающаяся тем, что упомянутое значение громкости вычисляется на диалоговых частях аудиоданных.
9. Система по п. 6, отличающаяся тем, что декодер дополнительно выполнен с возможностью генерировать, по меньшей мере частично на основе метаданных состояния обработки, данные сигнализации, с использованием одной из методик обратимого или необратимого скрытия данных.
| Приспособление для суммирования отрезков прямых линий | 1923 |
|
SU2010A1 |
| Колосоуборка | 1923 |
|
SU2009A1 |
| Станок для изготовления деревянных ниточных катушек из цилиндрических, снабженных осевым отверстием, заготовок | 1923 |
|
SU2008A1 |
| Способ приготовления мыла | 1923 |
|
SU2004A1 |
| КОДИРОВАНИЕ ИЛИ ДЕКОДИРОВАНИЕ АУДИОСИГНАЛА | 2004 |
|
RU2374703C2 |
