СПОСОБ СИГНАЛИЗАЦИИ НАБОРА ВЫХОДНЫХ УРОВНЕЙ СУБИЗОБРАЖЕНИЯ Российский патент 2023 года по МПК H04N19/70 H04N19/30 H04N19/167 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[1] Настоящая заявка испрашивает приоритет предварительной заявки на патент США №62/907,352, поданной 27 сентября 2019 г., и заявки на патент США №17/010 028, поданной 2 сентября 2020 г., которые полностью включены в настоящий документ.

УРОВЕНЬ ТЕХНИКИ

[2] Данное изобретения в целом относится к области вычислений и, в частности, к кодированию видео.

[3] Недавно предложенные дополнения к JVET-P0225 включают наборы выходных уровней сигнализации и информацию PTL. Набор выходных уровней, установленный с информацией уровня профиля (PTL), обеспечивает рабочие точки многоуровневого потока битов.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[4] Варианты осуществления относятся к способу, системе и машиночитаемому носителю для кодирования видеопоследовательности. Согласно одному аспекту предложен способ кодирования видеопоследовательности. Способ может включать в себя прием видеоинформации, соответствующей одному или нескольким субизображениям в изображении. Первое субизображение идентифицируется из числа одного или более субизображений в качестве интересующей области. Первое субизображение, соответствующее интересующей области, кодируется в режиме высокого качества. Одно или более других субизображений из одного или более субизображений кодируется в режиме низкого качества. Первое кодированное субизображени и одно или более других кодированных субизображений выводятся с одним или более наборов выходных уровней.

[5] Согласно другому аспекту предложена компьютерная система для кодирования видеопоследовательности. Компьютерная система может включать в себя один или более процессоров, одно или более машиночитаемых запоминающих устройств, одно или более машиночитаемых материальных запоминающих устройств и программные инструкции, хранящиеся по меньшей мере на одном из числа одного или более запоминающих устройств для выполнения по меньшей мере одним из одного или более процессоров с помощью по меньшей мере одного из одного или более запоминающих устройств, за счет чего компьютерная система способна выполнять способ. Способ может включать в себя прием видеоинформации, соответствующей одному или более субизображений в изображении. Первое субизображение идентифицируется из числа одного или более субизображений в качестве интересующей области. Первое субизображение, соответствующее интересующей области, кодируется в режиме высокого качества. Одно или более других субизображений из одного или более субизображений кодируется в режиме низкого качества. Первое кодированное субизображение и одно или более других кодированных субизображений выводятся с одним или более наборов выходных уровней.

[6] Согласно еще одному аспекту предложен машиночитаемый носитель для кодирования видеопоследовательности. Машиночитаемый носитель может включать одно или более машиночитаемых запоминающих устройств и программных инструкций, хранящихся по меньшей мере на одном из одного или более материальных запоминающих устройств, причем программные инструкции выполняются процессором. Программные инструкции выполняются процессором для выполнения способа, который, соответственно, может включать прием видеоинформации, соответствующей одному или субизображений в изображении. Первое субизображение идентифицируется из числа одного или более субизображений в качестве интересующей области. Первое субизображение, соответствующее интересующей области, кодируется в режиме высокого качества. Одно или более других субизображений из одного или более субизображений кодируется в режиме низкого качества. Первое кодированное субизображение и одно или более других кодированных субизображений выводятся с одним или более наборов выходных уровней.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[7] Эти и другие задачи, признаки и преимущества станут очевидными из следующего ниже подробного описания иллюстративных вариантов осуществления, которое следует читать вместе с сопроводительными чертежами. Различные элементы чертежей не масштабированы, поскольку иллюстрации приведены для ясности и упрощают понимание специалисту в данной области техники в сочетании с подробным описанием. На чертежах:

фиг. 1 иллюстрирует сетевую компьютерную среду согласно по меньшей мере одному варианту осуществления;

фиг. 2 иллюстрирует набор примерных элементов синтаксиса согласно по меньшей мере одному варианту осуществления;

фиг. 3 иллюстрирует блок-схему последовательности операций, иллюстрирующую этапы, выполняемые программой для кодирования видео с субизображениями в множестве наборов уровней, согласно по меньшей мере одному варианту осуществления;

фиг. 4 иллюстрирует блок-схему внутренних и внешних компонентов компьютеров и серверов с фиг. 1 согласно по меньшей мере одному варианту осуществления;

фиг. 5 иллюстрирует блок-схему иллюстративной среды облачных вычислений, включающей компьютерную систему с фиг. 1, согласно по меньшей мере одному варианту осуществления; и

Фиг. 6 иллюстрирует блок-схему функциональных уровней иллюстративной среды облачных вычислений с фиг. 5 согласно по меньшей мере одному варианту осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[8] Подробные варианты осуществления заявленных структур и способов раскрыты в данном описании; однако можно понять, что раскрытые варианты осуществления являются лишь иллюстрацией заявленных структур и способов, которые могут быть воплощены в различных формах. Однако эти структуры и способы могут быть воплощены во многих различных формах, и их не следует рассматривать как ограниченные примерными вариантами осуществления, изложенными в данном документе. Скорее, данные примерные варианты осуществления представлены для того, чтобы данное описание было исчерпывающим и полным и полностью передавало объем правовой охраны для специалистов в данной области техники. В описании детали хорошо известных функций и технологий могут быть опущены, чтобы избежать ненужного затруднения понимания представленных вариантов осуществления.

[9] Варианты осуществления в целом относятся к области вычислений и, в частности, к кодированию видео. Следующие описанные ниже примерные варианты осуществления предоставляют систему, способ и компьютерную программу для, среди прочего, кодирования видео с субизображениями в множестве наборов уровней. Следовательно, некоторые варианты осуществления имеют возможность улучшить область вычислений, позволяя использовать различные схемы кодирования разного качества при кодировании субизображений в видеоданных.

[10] Как указано выше. недавно предложенные дополнения к JVET-P0225 включают наборы выходных уровней сигнализации и информацию PTL. Набор выходных уровней, установленный с информацией уровня профиля (PTL), обеспечивает рабочие точки многоуровневого потока битов. Однако информация PTL не может определять рабочие точки, объединенные с субизображениями, поскольку каждое субизображение на каждом уровне может присутствовать или не присутствовать в некоторых применениях. Например, в случае использования «картинка в картинке» (PIP) интересующая область (ROI) может быть увеличена и закодирована с высоким качеством как субизображение в уровне улучшения, в то время как все области (то есть все субизображения) в базовом уровне могут быть закодированы с низким качеством. В режиме вывода субизображение в уровне улучшения может быть декодировано и выведено, в то время как все области базового уровня могут быть декодированы и выведены в другом режиме вывода. В конкретном режиме вывода набор выходных уровней может состоять из одного или более субизображений из базового уровня и одного или более субизображений из уровней улучшения, чтобы показать улучшенное визуальное качество в интересующей области (например, обработка, зависящая от окна просмотра 360). Следовательно, может быть предпочтительно включать элементы синтаксиса для сигнализации кодирования множества субизображений, содержащихся по множеству уровней в видеоданных.

[11] Аспекты описаны здесь со ссылкой на иллюстрации блок-схем и/или блок-схем способов, устройства (систем) и машиночитаемых носителей согласно различным вариантам осуществления. Следует понимать, что каждый блок иллюстраций структурных схем и/или блок-схем, а также комбинации блоков в иллюстрациях структурных схем и/или блок-схемах могут быть реализованы с помощью машиночитаемых программных инструкций.

[12] Следующие описанные ниже примерные варианты осуществления предлагают систему, способ и компьютерную программу для кодирования видео с субизображениями в множественных наборах уровней. На фиг. 1 представлена функциональная блок-схема сетевой компьютерной среды, иллюстрирующая систему 100 (далее «система») для кодирования видео с субизображениями в множественных наборах уровней. Следует понимать, что на фиг. 1 показана только иллюстрация одной реализации и не подразумевает каких-либо ограничений в отношении сред, в которых могут быть реализованы различные варианты осуществления. Многие модификации изображенных сред могут быть выполнены на основе требований дизайна и реализации.

[13] Система 100 может включать в себя компьютер 102 и серверный компьютер 114. Компьютер 102 может связываться с серверным компьютером 114 через сеть 110 связи (далее «сеть»). Компьютер 102 может включать в себя процессор 104 и программу 108, которая хранится на устройстве 106 хранения данных и может взаимодействовать с пользователем и связываться с серверным компьютером 114. Как будет описано ниже со ссылкой на фиг. 4 компьютер 102 может включать в себя внутренние компоненты 800A и внешние компоненты 900A соответственно, и серверный компьютер 114 может включать в себя внутренние компоненты 800B и внешние компоненты 900B соответственно. Компьютер 102 может быть, например, мобильным устройством, телефоном, персональным цифровым помощником, нетбуком, портативным компьютером, планшетным компьютером, настольным компьютером или любым типом вычислительных устройств, способных запускать программу, получать доступ к сеть и доступ к базе данных.

[14] Серверный компьютер 114 может также работать в модели службы облачных вычислений, такой как программное обеспечение как услуга (SaaS), платформа как услуга (PaaS) или инфраструктура как услуга (laaS), как указано ниже со ссылкой на фиг. 5 и 6. Серверный компьютер 114 также может быть расположен в модели развертывания облачных вычислений, например в частном облаке, облаке сообщества, общедоступном облаке или гибридном облаке.

[15] Серверный компьютер 114, который может использоваться для кодирования видео с субизображениями в множественных наборах уровней, имеет возможность запускать программу 116 кодирования субизображения (далее «программа»), которая может взаимодействовать с базой данных 112. Способ программы кодирования субизображения более подробно поясняется ниже со ссылкой на фиг. 3. В одном варианте осуществления компьютер 102 может работать как устройство ввода, включая пользовательский интерфейс, в то время как программа 116 может работать в основном на серверном компьютере 114. В альтернативном варианте осуществления программа 116 может работать в основном на одном или более компьютеров 102, в то время как серверный компьютер 114 может использоваться для обработки и хранения данных, используемых программой 116. Следует отметить, что программа 116 может быть отдельной программой или может быть интегрирована в более крупную программу кодирования субизображений.

[16] Однако следует отметить, что обработка для программы 116 может в некоторых случаях совместно использоваться компьютерами 102 и серверными компьютерами 114 в любом соотношении. В другом варианте осуществления программа 116 может работать более чем на одном компьютере, компьютере-сервере или некоторой комбинации компьютеров и компьютеров-серверов, например, на множестве компьютеров 102, обменивающихся данными по сети 110 с одним серверным компьютером 114. В другом варианте осуществления, например, программа 116 может работать на множестве серверных компьютеров 114, обменивающихся данными через сеть 110 с множеством клиентских компьютеров. В качестве альтернативы, программа может работать на сетевом сервере, обменивающемся данными по сети с сервером и множеством клиентских компьютеров.

[17] Сеть 110 может включать в себя проводные соединения, беспроводные соединения, оптоволоконные соединения или некоторую их комбинацию. В общем, сеть 110 может представлять собой любую комбинацию соединений и протоколов, которые будут поддерживать связь между компьютером 102 и серверным компьютером 114. Сеть 110 может включать в себя различные типы сетей, такие как, например, локальная сеть (LAN), глобальная сеть (WAN), такая как Интернет, телекоммуникационная сеть, такая как коммутируемая телефонная сеть общего пользования (PSTN), беспроводная сеть, коммутируемая сеть общего пользования, спутниковая сеть, сотовая сеть (например, сеть пятого поколения (5G), сеть долгосрочного развития (LTE), сеть третьего поколения (3G), множественный доступ с кодовым разделением каналов) (CDMA) сети и т.д.), наземная мобильная сеть общего пользования (PLMN), городская сеть (MAN), частная сеть, специальная сеть, интрасеть, оптоволоконная сеть и т.п. и/или сочетание тех или иных типов сетей.

[18] Количество и расположение устройств и сетей с фиг. 1 приведены в качестве примера. На практике могут быть предусмотрены дополнительные устройства и/или сети, меньшее количество устройств и/или сетей, другие устройства и/или сети или устройства и/или сети, расположенные иначе, чем показанные на фиг. 1. Кроме того, два или более устройств с фиг. 1 могут быть реализованы в одном устройстве, или одно устройство с фиг. 1 может быть реализовано как множество распределенных устройств. Дополнительно или альтернативно, набор устройств (например, одно или более устройств) системы 100 может выполнять одну или более функций, описанных как выполняемые другим набором устройств системы 100.

[19] На фиг. 2 показаны примерные элементы 200 синтаксиса согласно одному или более вариантов осуществления. Элементы 200 синтаксиса могут включать в себя, среди прочего, флаг, который может указывать, могут ли разделы субизображения быть выровнены по уровням, флаг, который может указывать, присутствует ли одно или более значений идентификации субизображения на каждом уровне, функцию вывода идентификаторов субизображений, которые могут присутствовать в каждом выходном уровне каждого набора выходных уровней, и информацию PTL для каждого набора выходных уровней, объединенную с выходными субизображениями. Можно предположить, что элементы синтаксиса, отображающие ID субизображения на конкретную область изображения, могут быть представлены в наборе параметров или в другом месте. Более конкретно, элементы 200 синтаксиса могут включать в себя: vps_subpics_present_flag, равное 1, может указывать, что значение subpics_present_flag одного или нескольких SPS, относящихся к этому VPS, может быть равно 1. vps_subpics_present_flag, равное 0, может указывать, что значение subpics_present_flag любого SPS, ссылающегося на этот VPS, может быть равна 0. vps_subpic_aligned_across_layers_flag, равный 1, может указывать, что vps_max_subpics_minus1 и vps_sub_pic_id_layer [j] могут присутствовать в VPS. vps_max_subpics_minus1 [i] может быть выведено как равное vps_max_subpics_minus1, а vps_sub_pic_id_layer [i] [j] может быть выведено как равное vps_sub_pic_id _layer [j], когда i больше чем 0. vps_subpic_aligned_across_layers_flag равный 0 может указывать, что могут присутсвовать vps_max_subpics_minus1[i] и vps_sub_pic_id_layer[i][j] pub_pic_id_layer [j], когда i находится в диапазоне от 0 до vps_max_layers_minus1 включительно. vps_max_subpics_minus1 [i] plus 1 может указывать максимальное количество субизображений i-го уровня в CVS, относящихся к VPS. vps_max_subpics_minus1 [i] может быть равно max_subpics_minus1 SPS с nuh_layer_id равным vps_layer_id [i]. vps_sub_pic_id_layer [i] [j] может указывать ID субизображения j-го субизображения уровня с nuh_layer_id, равным vps_layer_id [i]. Например,

if(vps_subpic_aligned_across_layers_flag) for(i=1; i<vps_max_layers_minus1; i++) { vps_max_subpics_minus1[i]=vps_max_subpics_minus1 for(j=0; j<=vps_max_subpics_minus1[i]; j++) { vps_sub_pic_id_layer[i][j]=vps_sub_pic_id_layer[j] } )

num_output_layer_sets_minus1 плюс 1 может указывать количество выходных уровней, установленных в кодированной видеопоследовательности, относящейся к VPS. Если отсутствует, значение num_output_layer_sets_minus1 может быть выведено равным 0.

- num_profile_tile_levels_minus1 плюс 1 может указывать количество информации профиля / уровня / уровня в кодированной видеопоследовательности, относящейся к VPS. Если нет, значение num_profile_tile_levels_minus1 может быть выведено равным 0

- vps_output_layers_mode [i], равное 0, может указывать, что только самый верхний уровень может выводиться в i-м наборе выходных уровней. vps_output_layer_mode [i], равное 1, может указывать, что все уровни могут выводиться в i-м наборе выходных уровней. vps_output_layer_mode [i], равное 2, может указывать, что уровни, которые выводятся, могут быть уровнями с vps_output_layer_flag [i] [j], равным 1 в i-м наборе выходных уровней. Значение vps_output_layers_mode [i] может находиться в диапазоне от 0 до 2 включительно.

- vps_output_layer_flag [i] [j], равное 1, может указывать, что j-й уровень i-го набора выходных уровней может быть выведен. vps_output_layer_flag [i] [j], равное 0, может указывать, что j-й уровень i-го набора выходных уровней не выводится. profile_tier_level_idx [i] [j] может указывать индекс в списке структур синтаксиса profile_tier_level () в VPS синтаксической структуры profile_tier_level (), которая применяется к j-му уровню i-го набора выходных уровней.- all_subpic_output_flag [i] [j], равный 1, может указывать, что все субизображения j-го уровня i-го набора выходных уровней могут быть выведены. all_subpic_output_flag [i] [j], равный 0, может указывать, что одно или более субизображений j-го уровня i-го набора выходных уровней могут быть выведены. num_output_subpic_layer_minus1 [i] [j] может указывать количество выходных субизображений j-го уровня i-го набора выходных уровней

- output_sub_pic_id_layer [i] [j] [k] может указывать ID субизображения k-го субизображения j-го уровня i-го набора выходных уровней.

[20] На фиг. 3 изображена функцциональная схема 300, иллюстрирующая этапы, выполняемые программой для кодирования видео с субизображениями в множественных наборах уровней. Фиг. 3 можно описать с помощью фиг. 1 и 2. Как описано выше, программа 116 кодирования субизображения (фиг.1) может быстро и эффективно сигнализировать о кодировании множества субизображений, содержащихся по множеству уровней в видеоданных.

[21] На этапе 302 принимается видеоинформация, соответствующая одному или нескольким субизображениям в изображении. Видеоинформация может включать в себя множество наборов уровней, каждый из которых содержит множество уровней и одно или более субизображений. Субизображения могут быть выровнены внутри каждого из уровней и по множеству наборов уровней. Во время работы программа 116 кодирования субизображения (фиг.1) на серверном компьютере 114 (фиг.1) может принимать видеоданные. Видеоданные могут быть получены от компьютера 102 (фиг.1) по сети 110 связи (фиг.1) или могут быть извлечены из базы данных 112 (фиг.1).

[22] На этапе 304 первое субизображение идентифицируется из числа одного или более субизображений в качестве интересующей области. Первое субизображение может быть областью «картинка в картинке» в видеоданных, которая может быть извлечена из базового уровня для экспорта с более высоким качеством. В процессе работы программа 116 кодирования субизображения (фиг.1) идентифицирует субизображение как интересующую область, используя один или несколько элементов 200 синтаксиса (фиг.2).

[23] На этапе 306 первое субизображение, соответствующее интересующей области, кодируется в режиме высокого качества. Интересующая область может быть увеличена и кодирована в режиме высокого качества как субизображение на уровне улучшения, в то время как остальные субизображения на базовом уровне могут быть кодированы с низким качеством для экономии полосы пропускания и вычислительной мощности. При работе программа 116 кодирования субизображения (фиг.1) может кодировать идентифицированную интересующую область с высоким качеством и может выводить кодированную видеоинформацию через сеть 110 связи (фиг.1).

[24] Следует понимать, что на фиг. 3 показана только иллюстрация одной реализации и не подразумевает каких-либо ограничений в отношении реализации различных вариантов осуществления. Многие модификации изображенных сред могут быть выполнены на основе требований дизайна и реализации.

[25] Фиг. 4 - блок-схема 400 внутренних и внешних компонентов компьютеров, изображенных на фиг. 1 согласно иллюстративному варианту осуществления. Следует понимать, что на фиг. 4 показана только иллюстрация одной реализации и не подразумевает каких-либо ограничений в отношении реализации различных вариантов осуществления. Многие модификации изображенных сред могут быть выполнены на основе требований дизайна и реализации.

[26] Компьютер 102 (фиг.1) и серверный компьютер 114 (фиг.1) могут включать в себя соответствующие наборы внутренних компонентов 800A, B и внешних компонентов 900A, B, показанных на фиг. 4. Каждый из наборов внутренних компонентов 800 включает один или более процессоров 820, одно или более машиночитаемых RAM 822 и одно или более машиночитаемых ROM 824 на одной или более шин 826, одну или более операционных систем 828 и одно или более машиночитаемых материальных запоминающих устройств 830.

[27] Процессор 820 реализован в виде аппаратного обеспечения, встроенного программного обеспечения или комбинации аппаратного и программного обеспечения. Процессор 820 - это центральный процессор (CPU), графический процессор (GPU), блок ускоренной обработки (APU), микропроцессор, микроконтроллер, процессор цифровых сигналов (DSP), программируемая вентильная матрица (FPGA), специализированная интегральная схема (ASIC) или другой тип компонента обработки. В некоторых реализациях процессор 820 включает в себя один или более процессоров, которые могут быть запрограммированы для выполнения определенной функции. Шина 826 включает в себя компонент, который обеспечивает связь между внутренними компонентами 800A, B.

[28] Одна или более операционных систем 828, программа 108 (фиг.1) и программа 116 кодирования субизображения (фиг.1) на серверном компьютере 114 (фиг.1) хранятся на одном или более соответствующих машиночитаемых материальных запоминающих устройств 830 для выполнения одним или более соответствующих процессоров 820 с помощью одного или более соответствующих RAM 822 (которые обычно включают в себя кэш-память). В варианте осуществления с фиг. 4, каждое из машиночитаемых материальных запоминающих устройств 830 является запоминающим устройством на магнитном диске внутреннего жесткого диска. В качестве альтернативы, каждое из машиночитаемых материальных запоминающих устройств 830 представляет собой полупроводниковое запоминающее устройство, такое как ROM 824, EPROM, флэш-память, оптический диск, магнитооптический диск, твердотельный диск, компакт-диск (CD), цифровой универсальный диск (DVD), дискета, картридж, магнитная лента и/или другой тип энергонезависимого машиночитаемого материального запоминающего устройства, которое может хранить компьютерную программу и цифровую информацию.

[29] Каждый набор внутренних компонентов 800A, B также включает в себя привод для чтения/записи или интерфейс 832 для чтения и записи на одно или более портативных машиночитаемых материальных запоминающих устройств 936, таких как CD-ROM, DVD, карта памяти, магнитная лента, магнитный диск, оптический диск или полупроводниковое запоминающее устройство. Программное обеспечение, такое как программа 108 (фиг.1) и программа 116 кодирования субизображения (фиг.1), может храниться на одном или более соответствующих портативных машиночитаемых материальных запоминающих устройств 936, считываемых через соответствующий R/W диск или интерфейс 832 и загружается в соответствующий жесткий диск 830.

[30] Каждый набор внутренних компонентов 800A, B также включает сетевые адаптеры или интерфейсы 836, такие как адаптерные карты TCP/IP; карты беспроводного интерфейса Wi-Fi; карты беспроводного интерфейса 3G, 4G или 5G или другие проводные или беспроводные каналы связи. Программное обеспечение 108 (фиг.1) и программа 116 кодирования субизображений (фиг.1) на серверном компьютере 114 (фиг.1) могут быть загружены в компьютер 102 (фиг.1) и серверный компьютер 114 с внешнего компьютера через сеть (например, Интернет, локальную сеть или другую глобальную сеть) и соответствующие сетевые адаптеры или интерфейсы 836. Из сетевых адаптеров или интерфейсов 836 программа 108 программного обеспечения и программа 116 кодирования субизображения на серверном компьютере 114 загружаются в соответствующий жесткий диск 830. Сеть может содержать медные провода, оптические волокна, беспроводную передачу, маршрутизаторы, межсетевые экраны, коммутаторы, шлюзовые компьютеры и/или граничные серверы.

[31] Каждый из наборов внешних компонентов 900A, B может включать в себя монитор 920 компьютерного дисплея, клавиатуру 930 и компьютерную мышь 934. Внешние компоненты 900A, B также могут включать в себя сенсорные экраны, виртуальные клавиатуры, сенсорные панели, указывающие устройства и другие устройства интерфейса пользователя. Каждый из наборов внутренних компонентов 800A, B также включает в себя драйверы 840 устройств для взаимодействия с компьютерным монитором 920, клавиатурой 930 и компьютерной мышью 934. Драйверы 840 устройств, накопитель для чтения/записи или интерфейс 832 и сетевой адаптер или интерфейс 836 содержат оборудование и программное обеспечение (хранящиеся в запоминающем устройстве 830 и/или ROM 824).

[32] Понятно, что хотя это изобретение включает подробное описание облачных вычислений, реализация изложенных здесь идей не ограничивается средой облачных вычислений. Напротив, некоторые варианты осуществления могут быть реализованы в сочетании с любым другим типом вычислительной среды, известным сейчас или разработанным позже.

[33] Облачные вычисления - это модель предоставления услуг для обеспечения удобного сетевого доступа по требованию к общему пулу настраиваемых вычислительных ресурсов (например, сетей, пропускной способности сети, серверов, обработки, памяти, хранилища, приложений, виртуальных машин и служб), которые могут быстро подготовить и выпустить с минимальными усилиями по управлению или взаимодействию с поставщиком услуги. Данная облачная модель может включать как минимум пять характеристик, как минимум три модели обслуживания и как минимум четыре модели развертывания.

[34] Характеристики следующие: Самообслуживание по запросу: потребитель облака может в одностороннем порядке автоматически предоставлять вычислительные возможности, такие как время сервера и сетевое хранилище, без необходимости взаимодействия человека с поставщиком услуг. Широкий сетевой доступ: возможности доступны по сети и доступны через стандартные механизмы, которые способствуют использованию разнородными платформами "тонких" или "толстых" клиентов (например, мобильных телефонов, ноутбуков и КПК). Объединение ресурсов: вычислительные ресурсы провайдера объединяются для обслуживания нескольких потребителей с использованием многопользовательской модели, при этом различные физические и виртуальные ресурсы динамически назначаются и переназначаются в соответствии с потребностями. Независимость от местоположения заключается в том, что клиент, как правило, не имеет никакого контроля над точным расположением предусмотренных ресурсов, но может определить местонахождение на более высоком уровне абстракции (например, страна, штат или центр обработки данных). Быстрая эластичность: возможности могут быть быстро и эластично предоставлены, в некоторых случаях автоматически, для быстрого масштабирования и быстро выпущены для быстрого масштабирования. Потребителю возможности, доступные для предоставления, часто кажутся неограниченными и могут быть приобретены в любом количестве в любое время. Измеряемый сервис: Облачные системы автоматически управляют и оптимизируют ресурсы за счет использования учета электроэнергии на некотором уровне абстракции согласно типу сервиса (например, хранение, переработка, пропускная способность, и активный учет записей пользователей). Использование ресурсов может контролироваться, управляться, и передаваться, обеспечивая прозрачность как для поставщика, так и для пользователя используемого сервиса.

[35] Модели обслуживания включают следующие:

Программное обеспечение как услуга (SaaS): возможность, предоставляемая потребителю, заключается в использовании приложений поставщика, работающих в облачной инфраструктуре. Доступ к данным приложениям может быть осуществлен из различных клиентских устройств через тонкий клиентский интерфейс такой, как веб-браузер (например, веб-адрес электронной почты). Потребитель не управляет и не контролирует основную облачную инфраструктуру, которая состоит из сети, серверов, операционных систем, памяти или даже отдельных прикладных программ, за исключением ограниченных параметров конфигурации прикладных программ для конкретных пользователей. Платформа как услуга (PaaS): возможность, предоставляемая потребителю, заключается в развертывании в облачной инфраструктуре приложений, созданных или приобретенных потребителем, созданных с использованием языков программирования и инструментов, поддерживаемых поставщиком. Пользователь не управляет и не контролирует данную облачную инфраструктуру, которая состоит из сетей, серверов, операционных систем, памяти или даже отдельных прикладных программ, за исключением задействованных прикладных программ и возможных прикладных программ, которые отвечают за конфигурацию. Инфраструктура как услуга (laaS): Данная услуга предоставляется пользователю для того, чтобы обеспечить обработку данных, хранение информации, работу сети и других основных вычислительных ресурсов, где пользователь имеет возможность запустить произвольное программное обеспечение, которое может включать в себя операционные системы и различные прикладные программы. Потребитель не управляет или не контролирует данную облачную инфраструктуру, но управляет операционными системами, памятью, запущенными прикладными программами, а также обладает ограниченным доступом к выбранным компонентам сети (например, к системам защиты доступа).

[36] Существуют следующие модели развертывания:

Частное облако: облачная инфраструктура используется исключительно для организации. Оно может управляться организацией или третьей стороной и может существовать как в помещении, так и за его пределами. Облако сообщества: облачная инфраструктура совместно используется несколькими организациями и поддерживает конкретное сообщество, которое разделяет общие интересы (например, миссия, требования безопасности, политика и соображения соответствия). Оно может управляться организациями или третьей стороной и может существовать как локально, так и за его пределами. Публичное облако: облачная инфраструктура предоставляется широкой публике или крупной отраслевой группе и принадлежит организации, продающей облачные услуги. Гибридное облако: Облачная инфраструктура представляет собой композицию из двух или более облаков (частных, коллективных или публичных), которые остаются уникальными объектами, объединенные стандартизированной или собственной технологией, что позволяет данным и прикладными программам перемещаться (например, во время разрыва облака для распределения нагрузки между облаками).

[37] Среда облачных вычислений ориентирована на сервисы с акцентом на отсутствие состояния, низкую взаимосвязь, модульность и семантическую совместимость. В основе облачных вычислений лежит инфраструктура, состоящая из сети взаимосвязанных узлов.

[38] На фиг. 5 изображена иллюстративная среда 500 облачных вычислений. Как проиллюстрировано, среда 500 облачных вычислений содержит один или более узлов 10 облачных вычислений, с которыми локальные вычислительные устройства используются потребителями облачных вычислений, такие как, например, персональный цифровой помощник (КПК) или сотовый телефон 54A, настольный компьютер 54B, портативный компьютер 54C, и/или автомобильная компьютерная система 54N может обмениваться данными. Узлы 10 облачных вычислений могут связываться друг с другом. Они могут быть сгруппированы (не показаны) физически или виртуально в одну или несколько сетей, таких как частные, общественные, общедоступные или гибридные облака, как описано выше, или их комбинацию. Это позволяет среде 500 облачных вычислений предлагать инфраструктуру, платформы и/или программное обеспечение в качестве услуг, для которых потребителю облачных вычислений не нужно поддерживать ресурсы на локальном вычислительном устройстве. Понятно, что типы вычислительных устройств 54A-N, показанные на фиг. 5, предназначены только для иллюстрации, и что узлы 10 облачных вычислений и среда 500 облачных вычислений могут связываться с любым типом компьютеризированного устройства по любому типу сети и/или сетевого адресуемого соединения (например, с использованием веб-браузера).

[39] На фиг. 6 показан набор уровней 600 функциональной абстракции, предоставляемых средой 500 облачных вычислений (фиг.5). Следует понимать, что компоненты, уровни и функции, показанные на фиг. 6, предназначены только для иллюстрации, и варианты осуществления этим не ограничиваются. Как проиллюстрировано, предусмотрены следующие уровни и соответствующие функции:

[40] Уровень 60 аппаратного и программного обеспечения включает в себя компоненты аппаратного и программного обеспечения. Примеры аппаратных компонентов включают: мэйнфреймы 61; серверы 62 на основе архитектуры RISC (компьютер с сокращенным набором команд); серверы 63; блейд-сервера 64; запоминающие устройства 65; и сети и сетевые компоненты 66. В некоторых вариантах осуществления программные компоненты включают в себя программное обеспечение 67 сервера сетевых приложений и программное обеспечение 68 базы данных.

[41] Уровень 70 виртуализации обеспечивает уровень абстракции, из которого могут быть предоставлены следующие примеры виртуальных объектов: виртуальные серверы 71; виртуальная память 72; виртуальные сети 73, включая виртуальные частные сети; виртуальные приложения и операционные системы 74; и виртуальные клиенты 75.

[42] В одном примере уровень 80 управления может предоставлять функции, описанные ниже. Предоставление ресурсов 81 обеспечивает динамическую закупку вычислительных ресурсов и других ресурсов, которые используются для выполнения задач в среде облачных вычислений. Измерение и ценообразование 82 обеспечивает отслеживание затрат по мере использования ресурсов в среде облачных вычислений, а также выставление счетов или выставление счетов за потребление этих ресурсов. В одном примере эти ресурсы могут содержать лицензии на прикладное программное обеспечение. Безопасность обеспечивает проверку личности потребителей и задач облака, а также защиту данных и других ресурсов. Пользовательский портал 83 обеспечивает доступ к среде облачных вычислений для потребителей и системных администраторов. Управление 84 уровнем обслуживания обеспечивает распределение ресурсов облачных вычислений и управление таким образом, чтобы обеспечить соблюдение требуемых уровней обслуживания. Планирование и выполнение соглашения об уровне обслуживания (SLA) 85 предусматривает предварительную подготовку и закупку ресурсов облачных вычислений, в отношении которых ожидается появление будущих требований в соответствии с SLA.

[43] Уровень 90 рабочих нагрузок предоставляет примеры функциональных возможностей, для которых может использоваться среда облачных вычислений. Примеры рабочих нагрузок и функций, которые могут быть предоставлены на этом уровне, включают: отображение и навигацию 91; разработку программного обеспечения и управление жизненным циклом 92; предоставление обучения в виртуальном классе 93; обработку данных 94; обработку транзакций 95; и кодирование субизображения 96. Кодирование 96 субизображения может кодировать видео с субизображениями в множественных наборах уровней.

[44] Некоторые варианты осуществления могут относиться к системе, способу и/или машиночитаемому носителю на любом возможном уровне технических деталей интеграции. Машиночитаемый носитель может включать в себя машиночитаемый невременный носитель данных (или носитель), содержащий машиночитаемые программные инструкции на нем, чтобы заставить процессор выполнять операции.

[45] Машиночитаемый носитель данных может быть материальным устройством, которое может сохранять и хранить инструкции для использования устройством выполнения инструкций. Машиночитаемый носитель данных может быть, например, но без ограничения, электронным запоминающим устройством, магнитным запоминающим устройством, оптическим запоминающим устройством, электромагнитным запоминающим устройством, полупроводниковым запоминающим устройством или любой подходящей комбинацией вышеперечисленного. Неисчерпывающий список более конкретных примеров машиночитаемого носителя данных включает следующее: портативная компьютерная дискета, жесткий диск, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое только читаемое устройство (EPROM или флэш-память), статическая память с произвольным доступом (SRAM), портативный компакт-диск, постоянное запоминающее устройство (CD-ROM), цифровой универсальный диск (DVD), карта памяти, дискета, механически закодированное устройство, такое как перфокарты или выпуклые структуры в канавке с записанными на них инструкциями, и любая подходящая комбинация вышеперечисленного. Машиночитаемый носитель данных, используемый в данном документе, не следует рассматривать как приходящие сигналы сами по себе, такие как радиоволны или другие свободно распространяющиеся электромагнитные волны, электромагнитные волны, распространяющиеся через волновод или другую среду передачи (например, световые импульсы, проходящие через волоконно-оптический кабель) или электрические сигналы, передаваемые по проводам.

[46] Машиночитаемые программные инструкции, описанные здесь, могут быть загружены в соответствующие вычислительные/обрабатывающие устройства с машиночитаемого носителя данных или на внешний компьютер или внешнее запоминающее устройство через сеть, например Интернет, локальную сеть, глобальную сеть и/или беспроводную сеть. Сеть может содержать медные провода передачи, оптические волокна передачи, беспроводную передачу, маршрутизаторы, межсетевые экраны, коммутаторы, шлюзовые компьютеры и/или граничные серверы. Карта сетевого адаптера или сетевой интерфейс в каждом вычислительном / обрабатывающем устройстве принимает машиночитаемые программные инструкции из сети и пересылает машиночитаемые программные инструкции для хранения на машиночитаемом носителе данных в соответствующем вычислительном/обрабатывающем устройстве.

[47] Машиночитаемый программный код/инструкции для выполнения операций могут быть инструкциями ассемблера, инструкциями архитектуры набора инструкций (ISA), машинными инструкциями, машинно-зависимыми инструкциями, микрокодом, инструкциями встроенного программного обеспечения, данными установки состояния, данными конфигурации для интегральной схемы или исходным кодом или объектным кодом, написанным на любой комбинации одного или более языков программирования, включая объектно-ориентированный язык программирования, такой как Smalltalk, C++ и т.п., и процедурные языки программирования, такие как язык программирования "C" или аналогичные языки программирования. Машиночитаемые программные инструкции могут выполняться полностью на компьютере пользователя, частично на компьютере пользователя, как автономный пакет программного обеспечения, частично на компьютере пользователя и частично на удаленном компьютере или полностью на удаленном компьютере или сервере. В последнем сценарии удаленный компьютер может быть подключен к компьютеру пользователя через сеть любого типа, включая локальную сеть (LAN) или глобальную сеть (WAN), либо соединение может быть выполнено с внешним компьютером (для, например, через Интернет с помощью Интернет-провайдера). В некоторых вариантах осуществления электронные схемы, включая, например, программируемые логические схемы, программируемые логические схемы (FPGA) или программируемые логические матрицы (PLA), могут выполнять машиночитаемые программные инструкции, используя информацию о состоянии машиночитаемых программных инструкций для персонализации электронная схема, чтобы выполнять аспекты или операции.

[48] Данные машиночитаемые программные инструкции могут быть предоставлены процессору универсального компьютера, специального компьютера или другого программируемого устройства обработки данных для создания машины, так что инструкции, которые выполняются через процессор компьютера или другую программируемую обработку данных устройства, создают средства для реализации функций/действий, указанных в блок-схеме и/или блоке или блоках блок-схемы. Данные машиночитаемые программные инструкции также могут храниться на машиночитаемом носителе данных, который может управлять компьютером, программируемым устройством обработки данных и/или другими устройствами, чтобы они функционировали определенным образом, так что машиночитаемый носитель данных, содержащий хранящиеся на нем инструкции, содержит изделие производства, включая инструкции, которые реализуют аспекты функции/действия, указанные в функциональной схеме и/или блоке или блоках блок-схемы.

[49] Машиночитаемые программные инструкции также могут быть загружены в компьютер, другое программируемое устройство обработки данных или другое устройство, чтобы вызвать выполнение ряда операционных этапов на компьютере, другом программируемом устройстве или другом устройстве для создания процесса, реализуемого компьютером, например инструкции, которые выполняются на компьютере, другом программируемом устройстве или другом устройстве, реализуют функции/действия, указанные в блоке или блоках функциональной схемы и/или блок-схемы.

[50] Структурная схема и блок-схемы на чертежах иллюстрируют архитектуру, функциональность и работу возможных вариантов реализации систем, способов и машиночитаемых носителей, согласно различным вариантам осуществления. В этом отношении каждый блок в указанной структурной схеме или блок-схемах может представлять модуль, сегмент или часть инструкций, содержащую одну или большее количество исполняемых инструкций по реализации указанных логических функций. Способ, компьютерная система и машиночитаемый носитель могут включать в себя дополнительные блоки, меньшее количество блоков, разные блоки или блоки, расположенные иначе, чем те, которые изображены на чертежах. В некоторых альтернативных реализациях функции, указанные в блоках, могут выполняться не в порядке, указанном на чертежах. Например, два блока, показанные в последовательности, в действительности могут быть выполнены одновременно или по существу одновременно, или иногда блоки могут быть выполнены в обратном порядке, в зависимости от задействованной функциональности. Кроме того, следует отметить, что каждый из блоков на иллюстративных структурных схемах и/или блок-схемах и комбинации блоков на иллюстративных структурных схемах и/или блок-схемах могут быть реализованы с помощью специализированных аппаратных систем, которые выполняют заданные функции или действия, или выполнять комбинации специализированного аппаратного обеспечения и компьютерных инструкций.

[51] Очевидно, что описанные здесь системы и/или способы могут быть реализованы в различных формах аппаратного обеспечения, встроенного программного обеспечения или комбинации аппаратного и программного обеспечения. Фактический специализированный аппаратный или программный код управления, используемый для реализации этих систем и/или способов, не ограничивает реализации. Таким образом, работа и поведение систем и/или методов были описаны в данном документе без ссылки на конкретный программный код - при этом понятно, что программное обеспечение и оборудование могут быть разработаны для реализации систем и/или способов, основанных на описании в данном документе.

[52] Никакие элементы, действия или инструкции, используемые в данном документе, не должны рассматриваться как критические или существенные, если они явно не описаны как таковые. Кроме того, используемые здесь артикли «а» и «an» предназначены для включения одного или более элементов и могут использоваться взаимозаменяемо с «одним или несколькими». Кроме того, используемый здесь термин «набор» предназначен для включения одного или более элементов (например, связанных элементов, несвязанных элементов, комбинации связанных и несвязанных элементов и т.д.) и может использоваться взаимозаменяемо с «одним или более». Если предназначен только один элемент, используется термин «один» или аналогичный язык. Кроме того, используемые в данном документе термины «имеет», «иметь», «иметь» и т.п. используются как неограниченные термины. Кроме того, фраза «на основе» предназначена для обозначения «основанная, по крайней мере частично, на», если явно не указано иное.

[53] Описания различных аспектов и вариантов осуществления настоящего изобретения были представлены в целях иллюстрации и не предназначены для того, чтобы быть исчерпывающими или ограниченными раскрытыми вариантами осуществления. Даже несмотря на то, что комбинации признаков изложены в формуле изобретения и/или раскрыты в описании, эти комбинации не предназначены для ограничения раскрытия возможных реализаций. Фактически, многие из этих признаков могут быть объединены способами, которые конкретно не указаны в формуле изобретения и/или не раскрыты в описании. Хотя каждый зависимый пункт, перечисленный ниже, может напрямую зависеть только от одного пункта, раскрытие возможных реализаций включает каждый зависимый пункт в комбинации с каждым другим пунктом в наборе пунктов формулы. Многие модификации и вариации будут очевидны специалистам в данной области техники без выхода за рамки объема и сущности изобретения. Используемая здесь терминология была выбрана для наилучшего объяснения принципов вариантов осуществления, практического применения или технического усовершенствования технологий, имеющихся на рынке, или для того, чтобы дать возможность другим специалистам в данной области техники понять раскрытые здесь варианты осуществления.

Изобретение относится к области кодирования и декодирования видео. Технический результат заключается в повышении эффективности кодирования видео. Предложены способ и компьютерная система для кодирования видеопоследовательности. Принимается видеоинформация, соответствующая одному или нескольким субизображениям в изображении. Первое субизображение идентифицируется из числа одного или более субизображений в качестве интересующей области. Первое субизображение, соответствующее интересующей области, кодируется в режиме высокого качества. Одно или более других субизображений из числа одного или более субизображений кодируются в режиме низкого качества. Первое кодированное субизображение и один или более других кодированных субизображений выводятся с одним или более наборов выходных уровней. 3 н. и 3 з.п. ф-лы, 6 ил.

1. Способ кодирования видеопоследовательности, включающий:

получение видеоинформации, соответствующей группе субизображений в изображении; идентификацию первых субизображений из группы субизображений; увеличение и кодирование первых субизображений в режиме высокого качества как субизображений, соответственно, в группе уровней улучшения; кодирование оставшихся субизображений из группы субизображений в режиме низкого качества в базовом уровне;

и выведение набора видеопараметров, включающего группу флагов, причем первый флаг из группы флагов указывает, выровнены ли разделы субизображения по уровням, а второй флаг из группы флагов указывает, присутствуют ли идентификаторы субизображения в каждом уровне, причем видеоинформация включает множество наборов уровней, каждый из которых содержит множество уровней и группу субизображений, причем субизображения выровнены в каждом из уровней и по множеству наборов уровней.

2. Способ по п.1, дополнительно включающий выведение первого кодированного субизображения в уровне улучшения, закодированных оставшихся субизображений в базовом уровне, при этом набор выходных уровней из наборов выходных уровней включает уровень улучшения и базовый уровень.

3. Компьютерная система для кодирования видеопоследовательности, содержащая: один или более машиночитаемых невременных носителей, конфигурированных для хранения компьютерного программного кода; и один или более компьютерных процессоров, конфигурированных для доступа к указанному компьютерному программному коду и работы в соответствии с инструкциями указанного компьютерного программного кода, причем указанный компьютерный программный код включает в себя:

код приема, конфигурированный так, чтобы побуждать один или более процессоров принимать видеоинформацию, соответствующую группе субизображений в изображении;

код идентификации, конфигурированный так, чтобы побуждать один или более процессоров идентифицировать первые субизображения из группы субизображений; и

первый код кодирования, конфигурированный так, чтобы побуждать один или более процессоров увеличивать и кодировать первые субизображения в режиме высокого качества как субизображения, соответственно, в группе уровней улучшения; и

второй код кодирования, конфигурированный так, чтобы побуждать один или более компьютерных процессоров кодировать оставшиеся субизображения группы субизображений в режиме низкого качества в базовом уровне; и

код вывода, конфигурированный так, чтобы побуждать один или более процессоров выводить набор видеопараметров, включающий группу флагов, причем первый флаг из группы флагов указывает, выровнены ли разделы субизображения по уровням, а второй флаг из группы флагов указывает, присутствуют ли идентификаторы субизображения в каждом уровне, причем видеоинформация включает множество наборов уровней, каждый из которых содержит множество уровней и группу субизображений, причем субизображения выровнены в каждом из уровней и по множеству наборов уровней.

4. Компьютерная система по п.3, в которой код вывода конфигурирован так, чтобы побуждать один или более процессоров выводить первое кодированное субизображение в уровне улучшения, закодированных оставшихся субизображений в базовом уровне, при этом набор выходных уровней из наборов выходных уровней включает уровень улучшения и базовый уровень.

5. Невременный машиночитаемый носитель, хранящий компьютерную программу для кодирования видеопоследовательности, причем компьютерная программа конфигурирована так, чтобы побуждать один или более компьютерных процессоров выполнять:

получение видеоинформации, соответствующей группе субизображений в изображении; идентификацию первых субизображений из группы субизображений;

увеличение и кодирование первых субизображений в режиме высокого качества как субизображений, соответственно, в группе уровней улучшения;

кодирование оставшихся субизображений из группы субизображений в режиме низкого качества в базовом уровне; и

выведение набора видеопараметров, включающего группу флагов, причем первый флаг из группы флагов указывает, выровнены ли разделы субизображения по уровням, а второй флаг из группы флагов указывает, присутствуют ли идентификаторы субизображения в каждом уровне, причем видеоинформация включает множество наборов уровней, каждый из которых содержит множество уровней и группу субизображений, причем субизображения выровнены в каждом из уровней и по множеству наборов уровней.

6. Машиночитаемый носитель по п.5, причем компьютерная программа дополнительно конфигурирована так, чтобы побуждать один или более компьютерных процессоров выводить первое кодированное субизображение в уровне улучшения, закодированных оставшихся субизображений в базовом уровне, при этом набор выходных уровней из наборов выходных уровней включает уровень улучшения и базовый уровень.