СПОСОБ И УСТРОЙСТВО ДЛЯ РАЗДЕЛЕНИЯ ГРУППЫ ИЗОБРАЖЕНИЙ НА ОСНОВАНИИ ПЕРЕКЛЮЧЕНИЯ СЦЕНЫ И СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ ВИДЕО Российский патент 2023 года по МПК H04N19/142 

Ссылка на родственную заявку

[0001] Данная заявка основана на заявке на патент Китая №202010879575.0, поданной 27 августа 2020 года, и испрашивает приоритет по этой заявке, содержание которой полностью включено в настоящий документ посредством ссылки.

Область техники, к которой относится настоящее изобретение

[0002] Настоящее изобретение относится к области технологий кодирования, в частности, к способу разделения группы изображений на основании переключения сцены, устройству для разделения группы изображений на основании переключения сцены, способу кодирования видео, устройству для кодирования видео, электронному устройству и носителю данных.

Предшествующий уровень техники настоящего изобретения

[0003] В процессе кодирования видеоданных эти видеоданные обычно кодируются на основании группы изображений определенной длины. Группа изображений включает в себя множество видеокадров. Иначе говоря, группой изображений считается последовательность видеокадров, в которой ключевой кадр используется в качестве начального кадра, а кадр перед следующим ключевым кадром в качестве конечного кадра, причем ключевым кадром служит первый кадр группы изображений.

Краткое раскрытие настоящего изобретения

[0004] Некоторыми вариантами осуществления настоящего изобретения предложен способ разделения группы изображений на основании переключения сцены, устройство для разделения группы изображений на основании переключения сцены, способ кодирования видео, устройство для кодирования видео, электронное устройство и носитель данных для устранения недостатка предшествующего уровня техники, который заключается в том, что в случае, когда в группе изображений детектируется множество кадров переключения сцены, коэффициент сжатия видеоданных будет низким вследствие того, что кадры переключения сцены, входящие в указанное множество, кодируются как ключевые кадры.

[0005] Некоторыми вариантами осуществления настоящего изобретения предложен способ разделения группы изображений на основании переключения сцены. Этот способ предусматривает:

[0006] определение того, присутствует ли кадр переключения сцены в текущей группе изображений полученных видеоданных, причем текущая группа изображений включает в себя заданное число видеокадров;

[0007] определение того, является ли последний видеокадр в текущей группе изображений кадром переключения сцены, по факту установления наличия по меньшей мере одного кадра переключения сцены в текущей группе изображений;

[0008] определение первого кадра переключения сцены в текущей группе изображений в качестве целевого кадра переключения сцены в текущей группе изображений по факту установления того, что последний видеокадр в текущей группе изображений является кадром переключения сцены; или

[0009] получение целевого кадра переключения сцены путем просмотра по меньшей мере одного кадра переключения сцены в текущей группе изображений с конца до начала по факту установления того, что последний видеокадр в текущей группе изображений не является кадром переключения сцены;

[0010] определение предыдущего видеокадра целевого кадра переключения сцены в качестве последнего видеокадра текущей группы изображений; и

[0011] определение заданного числа видеокадров, которые следуют за целевым кадром переключения сцены и включают в себя целевой кадр переключения сцены, в качестве следующей группы изображений, а также определение следующей группы изображений в качестве текущей группы изображений и возврат к стадии определения того, присутствует ли кадр переключения сцены в текущей группе изображений полученных видеоданных.

[0012] Некоторыми вариантами осуществления настоящего изобретения предложен способ кодирования видео. Этот способ предусматривает:

[0013] получение видеоданных;

[0014] разделение видеоданных на множество групп изображений; и

[0015] кодирование первого видеокадра в каждой группе изображений в качестве ключевого кадра;

[0016] при этом множество групп изображений разделяется в соответствии со способом разделения группы изображений на основании переключения сцены, который был описан выше.

[0017] Некоторыми вариантами осуществления настоящего изобретения предложено устройство для разделения группы изображений на основании переключения сцены. Это устройство включает в себя:

[0018] первый модуль определения, выполненный с возможностью определения того, присутствует ли кадр переключения сцены в текущей группе изображений полученных видеоданных, причем текущая группа изображений включает в себя заданное число видеокадров;

[0019] второй модуль определения, выполненный с возможностью определения того, является ли последний видеокадр в текущей группе изображений кадром переключения сцены, по факту установления наличия по меньшей мере одного кадра переключения сцены в текущей группе изображений;

[0020] первый модуль определения целевого кадра переключения сцены, выполненный с возможностью определения по факту установления того, что последний видеокадр в текущей группе изображений является кадром переключения сцены - первого кадра переключения сцены в текущей группе изображений в качестве целевого кадра переключения сцены в текущей группе изображений;

[0021] второй модуль определения целевого кадра переключения сцены, выполненный с возможностью получения целевого кадра переключения сцены - по факту установления того, что последний видеокадр в текущей группе изображений не является кадром переключения сцены - путем просмотра по меньшей мере одного кадра переключения сцены в текущей группе изображений с конца до начала;

[0022] модуль повторного разделения текущей группы изображений, выполненный с возможностью определения предыдущего видеокадра целевого кадра переключения сцены в качестве последнего видеокадра текущей группы изображений; и

[0023] модуль определения следующей группы изображений, выполненный с возможностью определения заданного числа видеокадров, которые следуют за целевым кадром переключения сцены и включают в себя целевой кадр переключения сцены, в качестве следующей группы изображений, а также с возможностью определения следующей группы изображений в качестве текущей группы изображений и возврата к первому модулю определения.

[0024] Некоторыми вариантами осуществления настоящего изобретения предложено устройство для кодирования видео. Это устройство включает в себя:

[0025] модуль приема видеоданных, выполненный с возможностью приема видеоданных;

[0026] модуль разделения группы изображений, выполненный с возможностью разделения видеоданных на множество групп изображений; и

[0027] модуль кодирования, выполненный с возможностью кодирования первого видеокадра каждой группы изображений в качестве ключевого кадра;

[0028] при этом множество групп изображений разделяется в соответствии со способом разделения группы изображений на основании переключения сцены, описанным выше.

[0029] Некоторыми вариантами осуществления настоящего изобретения предложено электронное устройство. Это электронное устройство включает в себя:

[0030] один или несколько процессоров; и

[0031] память, выполненную с возможностью хранения одной или нескольких программ;

[0032] при этом одна или несколько программ при их загрузке и выполнении одним или несколькими процессорами инициирует реализацию одним или несколькими процессорами способа разделения группы изображений на основании переключения сцены, описанного выше, и/или способа кодирования видео, описанного выше.

[0033] Некоторыми вариантами осуществления настоящего изобретения предложен машиночитаемый носитель данных для хранения одной или нескольких компьютерных программ, при этом одна или несколько компьютерных программ при их выполнении процессором инициируют реализацию этим процессором способа разделения группы изображений на основании переключения сцены, описанного выше, и/или способа кодирования видео, описанного выше.

Краткое описание чертежей

[0034] На фиг. 1 представлена блок-схема, иллюстрирующая стадии способа разделения группы изображений на основании переключения сцены согласно первому варианту осуществления настоящего изобретения;

[0035] На фиг. 2А представлена блок-схема, иллюстрирующая стадии способа разделения группы изображений на основании переключения сцены согласно второму варианту осуществления настоящего изобретения;

[0036] На фиг. 2В представлена блок-схема, иллюстрирующая стадии способа разделения группы изображений на основании переключения сцены согласно второму варианту осуществления настоящего изобретения;

[0037] На фиг. 3 представлена блок-схема, иллюстрирующая стадии способа кодирования видео согласно третьему варианту осуществления настоящего изобретения;

[0038] На фиг. 4 показана структурная схема устройства для разделения группы изображений на основании переключения сцены согласно четвертому варианту осуществления настоящего изобретения;

[0039] На фиг. 5 показана структурная схема устройства для кодирования видео согласно пятому варианту осуществления настоящего изобретения; и

[0040] На фиг. 6 показана структурная схема электронного устройства согласно шестому варианту осуществления настоящего изобретения.

Подробное раскрытие настоящего изобретения

[0041] Если в процессе кодирования видеоданных на основании группы изображений определенной длины внезапно происходит переключение сцены в видеоконтенте, видеокодер кодирует видеокадр, где произошло переключения сцены, в качестве ключевого кадра, в результате чего группа изображений разделяется повторно за счет вставки ключевого кадра. Таким способом предотвращается распространение ошибок, обусловленное межкадровой привязкой в процессе кодирования, благодаря чему обеспечивается высококачественная привязка последующих видеокадров.

[0042] На предшествующем уровне техники предусмотрено, что в случае детектирования кадра переключения сцены в группе изображений этот кадр переключения сцены кодируется как ключевой кадр. Поскольку при кодировании кадра переключения сцены в качестве ключевого кадра привязка идет только к межкадровой информации, коэффициент сжатия при кодировании будет низким. В случае кодирования множества кадров переключения сцены, детектированных в группе изображений, в качестве ключевых кадров коэффициент сжатия всего видео уменьшается.

[0043] Настоящее изобретение описано ниже в привязке к прилагаемым чертежам и на примере различных вариантов его осуществления.

[0044] Первый вариант осуществления настоящего изобретения

[0045] На фиг. 1 представлена блок-схема, иллюстрирующая стадии способа разделения группы изображений на основании переключения сцены согласно первому варианту осуществления настоящего изобретения. Этот вариант осуществления настоящего изобретения применим к сценарию, в котором видеоданные разделяются на группу изображений в процессе кодирования. Описываемый способ выполняется устройством для разделения группы изображений на основании переключения сцены согласно некоторым вариантам осуществления настоящего изображения, которое реализовано в виде аппаратных или программных средств и интегрировано в электронное устройство согласно некоторым вариантам осуществления настоящего изобретения. Как показано на фиг. 1, способ разделения группы изображений на основании переключения сцены согласно этому варианту осуществления настоящего изобретения предусматривает выполнение стадий, описанных ниже.

[0046] На стадии S101 определяется, присутствует ли кадр переключения сцены в текущей группе изображений полученных видеоданных, причем текущая группа изображений включает в себя заданное число видеокадров.

[0047] Группа изображений (GOP) относится к группе последовательных изображений в видеоданных. Иначе говоря, группа GOP представляет собой набор изображений, причем первый видеокадр в группе GOP должен представлять собой ключевой кадр (кадр I), и группа GOP включает в себя ключевой кадр (кадр I) и множество прогнозирующих кадров (кадров Ρ или кадров В).

[0048] Во время кодирования видеоданных задается длина группы GOP. Иначе говоря, группа GOP включает в себя заданное число видеокадров, и текущая группа GOP принимается в том случае, если во время кодирования принимается заданное число видеокадров. Например, заданным числом может быть 15, и когда кодер принимает 15 видеокадров, принимаемые в данный момент времени видеокадры числом 15 определяются как текущая группа GOP. В этом случае детектирование переключения сцены осуществляется в отношении текущей группы GOP. Переключение сцены, происходящее в двух видеокадрах, относится к такой величине изменения между измерениями видео-контента сцены в двух видеокадрах, которая превышает заданную пороговую величину.

[0049] На практике измерение видео-контента сцены выполняется на основании одного из таких параметров, как яркость, гистограмма, затраты на межкадровое прогнозирование, сходство видеокадров и тому подобное. При детектировании того, происходит ли переключение сцены между двумя видеокадрами, определение того, происходит ли переключение сцены между текущим видеокадром и предыдущим видеокадром детектируется путем расчета разницы в яркости, разницы в гистограмме, затрат на межкадровое прогнозирование, сходства видеокадров и тому подобного между текущим видеокадром и предыдущим видеокадром. Если переключение сцены происходит между текущим видеокадром и предыдущим видеокадром, то текущий видеокадр определяется в качестве кадра переключения сцены. На практике определение того, являются ли текущий видеокадр и видеокадр, который предшествует текущему видеокадру, кадрами переключения сцены, осуществляется обученной нейронной сетью. В контексте настоящего документа способ определения того, включает ли в себя текущая группа GOP кадр переключения сцены, не носит ограничительного характера.

[0050] В некоторых вариантах осуществления настоящего изобретения предусмотрено, что в случае, если в текущей группе GOP определяется присутствие кадра переключения сцены, то выполняется стадия S102; а если в текущей группе GOP отсутствует кадр переключения сцены, то текущая группа GOP не требует повторного разделения, и следующая группа GOP принимается как текущая группа GOP и продолжается до окончания видеоданных.

[0051] Если в текущей группе GOP присутствует по меньшей мере один кадр переключения сцены, то на стадии S102 определяется, является ли последний видеокадр текущей группы GOP кадром переключения сцены.

[0052] Если после детектирования переключения сцены устанавливается, что текущая группа GOP включает в себя по меньшей мере один кадр переключения сцены, то следует определить, является ли последний видеокадр текущей группы GOP кадром переключения сцены. Если последний видеокадр текущей группы GOP является кадром переключения сцены, то выполняется стадия S103, а если последний видеокадр текущей группы GOP не является кадром переключения сцены, то выполняется стадия S104.

[0053] К примеру, если при детектировании переключения сцены в отношении группы GOP устанавливается, что данный видеокадр является кадром переключения сцены, то этот видеокадр снабжается меткой переключения сцены, и детектируется, помечен ли последний видеокадр текущей группы GOP меткой переключения сцены. Например, если группа GOP включает в себя 20 видеокадров, то определяется, снабжен ли двадцатый видеокадр группы GOP меткой переключения сцены. Если двадцатый видеокадр группы GOP снабжен меткой переключения сцены, то последний видеокадр группы GOP является кадром переключения сцены.

[0054] На стадии S103 первый кадр переключения сцены текущей группы GOP определяется в качестве целевого кадра переключения сцены текущей группы GOP.

[0055] На практике текущая группа GOP включает в себя один или несколько кадров переключения сцены. Если кадром переключения сцены является последний видеокадр текущей группы GOP, то в качестве целевого кадра переключения сцены текущей группы GOP определяется первый (от начала) видеокадр текущей группы GOP, а остальные кадры переключения сцены не определяются в качестве кадров переключения сцены; т.е. метки переключения сцены на остальных видеокадрах в текущей группе GOP аннулируются.

[0056] На стадии S104 обеспечивается получение целевого кадра переключения сцены путем просмотра по меньшей мере одного кадра переключения сцены в текущей группе GOP с конца до начала.

[0057] Если последний видеокадр текущей группы GOP не является кадром переключения сцены, то кадры переключения сцены в текущей группе GOP просматривается в обратном порядке с конца до начала. При просмотре одного из кадров переключения сцены определяется, образуют ли переключение сцены предыдущий видеокадр и следующий видеокадр только что просмотренного видеокадра. Если предыдущий видеокадр и следующий видеокадр только что просмотренного видеокадра образуют переключение сцены, то только что просмотренный видеокадр определяется в качестве целевого кадра переключения сцены, а остальные кадры переключения сцены не считаются кадрами переключения сцены, т.е. метки переключения сцены остальных видеокадров в текущей группе GOP аннулируются. Если предыдущий видеокадр и следующий видеокадр только что просмотренного видеокадра не образуют переключение сцены, то кадры переключения сцены в группе GOP продолжают просматриваться до второго видеокадра текущей группы GOP. Если целевой кадр переключения сцены по-прежнему не определен, даже в случае просмотра второго видеокадра текущей группы GOP, то устанавливается, что текущая группа GOP не содержит кадра переключения сцены, следующая группа GOP продолжает приниматься в качестве текущей группы GOP, и осуществляется возврат к стадии S101 процесса.

[0058] На практике видеокадры в текущей группе GOP просматриваются с конца до начала. Если видеокадр является кадром переключения сцены (например, видеокадр снабжен меткой переключения сцены), то определяется, образуют ли переключение сцены предыдущий видеокадр и следующий видеокадр только что просмотренного видеокадра. Если предыдущий видеокадр и следующий видеокадр только что просмотренного видеокадра образуют переключение сцены, то этот видеокадр считается целевым кадром переключения сцены. Если предыдущий видеокадр и следующий видеокадр только что просмотренного видеокадра не образуют переключение сцены, то видеокадры продолжают просматриваться далее в направлении второго видеокадра текущей группы GOP.

[0059] На стадии S105 предыдущий видеокадр целевого кадра переключения сцены определяется в качестве последнего видеокадра текущей группы GOP.

[0060] В случае определения целевого кадра переключения сцены в текущей группе GOP между сценой целевого кадра переключения сцены и сценами множества предыдущих видеокадров будет наблюдаться большая разница, и поэтому продолжение кодирования целевого кадра переключения сцены путем привязки к предыдущим видеокадрам не имеет большого значения. Целевой кадр переключения сцены кодируется в качестве ключевого кадра, вследствие чего текущая группа GOP разделяется повторно за счет вставки ключевого кадра в текущую группу GOP. Таким образом, видеокадр перед целевым кадром переключения сцены определяется в качестве последнего видеокадра текущей группы GOP, а целевой кадр переключения сцены определяется в качестве первого видеокадра новой группы GOP.

[0061] На стадии S106 заданное число видеокадров, которые следуют за целевым кадром переключения сцены и включают в себя целевой кадр переключения сцены, определяется в качестве следующей группы GOP, а следующая группа GOP определяется в качестве текущей группы GOP.

[0062] После определения видеокадра перед целевым кадром переключения сцены в качестве последнего видеокадра текущей группы GOP определяется следующая группа GOP. Следующая группа GOP включает в себя заданное число видеокадров. Иначе говоря, следующая группа GOP включает в себя целевой кадр переключения сцены и множество видеокадров, которые следуют за целевыми кадрами переключения сцены.

[0063] К примеру, принятая текущая группа GOP состоит из видеокадров с первого по двадцатый. Если десятый видеокадр определяется в качестве целевого кадра переключения сцены, то видеокадры с первого по девятый определяются в качестве текущей группы GOP, а видеокадры с десятого по тридцатый определяются в качестве следующей группы GOP. После определения следующей группы GOP в качестве текущей группы GOP осуществляется возврат к стадии S101 процесса - к концу видеоданных.

[0064] При условии наличия кадра переключения сцены в текущей группе GOP в некоторых вариантах осуществления настоящего изобретения предусмотрено, что если последний видеокадр текущей группы GOP является кадром переключения сцены, то первый кадр переключения сцены текущей группы GOP определяется в качестве целевого кадра переключения сцены, а если последний видеокадр текущей группы GOP не является кадром переключения сцены, то целевой кадр переключения сцены получается путем просмотра кадров переключения сцены в группе GOP с конца до начала; видеокадр перед целевым кадром переключения сцены определяется в качестве последнего видеокадра текущей группы GOP; а заданное число видеокадров, которые следуют за целевым кадром переключения сцены и включают в себя целевой кадр переключения сцены, определяется в качестве следующей группы GOP. Таким образом, текущая группа GOP разделяется повторно на основании переключения сцены, вследствие чего устраняется проблема низкого коэффициента сжатия видеоданных, обусловленная кодированием всех кадров переключения сцены в текущей группе GOP в качестве ключевых кадров. Текущая группа GOP разделяется повторно путем выбора целевого кадра переключения сцены из множества кадров переключения сцены в текущей группе GOP. В сравнении с технологией предшествующего уровня техники, где каждый кадр переключения сцены определяется в качестве ключевого кадра, в вариантах осуществления настоящего изобретения целевой кадр переключения сцены выделяется из множества кадров переключения сцены, вследствие чего число видеокадров в текущей группе GOP, кодированных в качестве ключевых кадров, будет уменьшено, благодаря чему будет также сокращено число групп GOP, разделенных в соответствии с целевым кадром переключения сцены, что улучшит коэффициент сжатия видеоданных.

[0065] Второй вариант осуществления настоящего изобретения

[0066] На фиг. 2А представлена блок-схема, иллюстрирующая стадии способа разделения группы изображений на основании переключения сцены согласно второму варианту осуществления настоящего изобретения. Этот вариант осуществления настоящего изобретения раскрывается на основе описанного выше первого варианта осуществления настоящего изобретения. Как показано на фиг. 2А, способ разделения группы изображений на основании переключения сцены согласно этому варианту осуществления настоящего изобретения предусматривает выполнение стадий, описанных ниже.

[0067] На стадии S201 выполняется операция детектирования переключения сцены в отношении текущей группы GOP полученных видеоданных.

[0068] В некоторых вариантах осуществления настоящего изобретения длина группы GOP задается заранее. Иначе говоря, полученное заданное число видеокадров определяется в качестве группы GOP. Всякий раз, когда осуществляется получение заданного числа видеокадров, т.е. во время приема группы GOP, в отношении текущей группы GOP выполняется операция детектирования переключения сцены.

[0069] В некоторых необязательных вариантах осуществления настоящего изобретения предусмотрено, что во время выполнения операции детектирования переключения сцены в отношении текущей группы GOP сначала просматриваются видеокадры, которые следуют за первым видеокадром текущей группы GOP. Во время просмотра видеокадров определяется, является ли текущий видеокадр кадром переключения сцены относительно первого видеокадра текущей группы. Если текущий видеокадр является кадром переключения сцены относительно первого видеокадра текущей группы GOP, то в случае, если текущий видеокадр является кадром переключения сцены относительно предыдущего видеокадра текущего видеокадра, то текущий видеокадр маркируется как кадр переключения сцены. Если текущий видеокадр не является кадром переключения сцены относительно первого видеокадра текущей группы GOP, то видеокадры между текущим видеокадром и первым видеокадром определяются в качестве не переключающих сцену кадров. Иначе говоря, метки переключения сцены для видеокадров между текущим видеокадром и первым видеокадром аннулируются.

[0070] Является ли видеокадр кадром переключения сцены относительно другого видеокадра, можно определить с помощью вариантов осуществления настоящего изобретения, описанных ниже. К примеру, при определении того, является ли второй видеокадр, который следует за первым видеокадром, кадром переключения сцены, рассчитывается один из таких параметров, как разность в яркости, разница в гистограммах, затраты на межкадровое прогнозирование, сходство видеокадров и тому подобное между вторым видеокадром и первым видеокадром; и является ли второй видеокадр кадром переключения сцены, определяется путем сравнения одного из таких параметров, как разность в яркости, разница в гистограммах, затраты на межкадровое прогнозирование и сходство видеокадров, с заданной пороговой величиной. В некоторых примерах предусмотрено, что если разница в яркости превышает определенную пороговую величину, то второй видеокадр определяется в качестве кадра переключения сцены. В альтернативном варианте предусмотрено, что если сходство видео характеризуется величиной, которая меньше заданной пороговой величины, то второй видеокадр определяется в качестве кадра переключения сцены. На практике определение того, является ли второй видеокадр кадром переключения сцены, осуществляется с помощью обученной нейронной сети. Способ определения того, является ли данный видеокадр кадром переключения сцены, в контексте настоящего документа не носит ограничительного характера.

[0071] В некоторых примерах текущая группа GOP включает в себя видеокадры с первого по двадцатый. При просмотре десятого видеокадра определяется, является ли десятый видеокадр кадром переключения сцены относительно первого видеокадра. При условии, что десятый видеокадр является кадром переключения сцены относительно первого видеокадра, предусмотрено следующее: в случае, если десятый видеокадр является кадром переключения сцены относительно девятого видеокадра, десятый видеокадр снабжается меткой переключения сцены; а в случае, если десятый видеокадр не является кадром переключения сцены относительно девятого видеокадра, то необходимость в снабжении десятого видеокадра меткой переключения сцены отсутствует. В случае если десятый видеокадр не является кадром переключения сцены относительно первого видеокадра, необходимость в снабжении десятого видеокадра меткой переключения сцены отсутствует, и метки переключения сцены в видеокадрах со второго по девятый аннулируются.

[0072] В группе GOP предусмотрено, что если текущий видеокадр является кадром переключения сцены относительно, как предыдущего видеокадра, так и первого видеокадра, то текущий видеокадр определяется в качестве кадра переключения сцены. Если же текущий видеокадр не является кадром переключения сцены относительно первого видеокадра, то сцена текущего видеокадра не сильно отличается от сцены первого видеокадра, и сцены видеокадров между текущим видеокадром и первым видеокадром также не сильно отличаются от сцены первого видеокадра, вследствие чего видеокадры кодируются в привязке к первому видеокадру. Видеокадры между текущим видеокадром и первым видеокадром определяются в качестве не переключающих сцену кадров, вследствие чего предотвращается ошибочное определение текущего видеокадра в качестве кадра переключения сцены, что может быть обусловлено дрожанием и неустойчивостью изображении, и благодаря этому обеспечивается точность детектирования переключения сцены.

[0073] В других необязательных вариантах осуществления настоящего изобретения текущий видеокадр (n-ый видеокадр) маркируется как кадр переключения сцены после описанного детектирования переключения сцены. При этом рассчитываются первые затраты на межкадровое прогнозирование текущего видеокадра и (n-1)-ого видеокадра, вторые затраты на межкадровое прогнозирование (n-1)-ого видеокадра и (n-2)-ого видеокадра и разница между первыми затратами на межкадровое прогнозирование и вторыми затратами на межкадровое прогнозирование. Если отношение разницы ко вторым затратам на межкадровое прогнозирование превышает заданную пороговую величину, то текущий видеокадр по-прежнему маркируется как кадр переключения сцены, а если отношение разницы ко вторым затратам на межкадровое прогнозирование характеризуется величиной, которая меньше заданной пороговой величины, то текущий видеокадр определяется в качестве не переключающего сцену кадра.

[0074] На практике сначала рассчитываются первые затраты на межкадровое прогнозирование текущего видеокадра и предыдущего видеокадра, затем рассчитываются вторые затраты на межкадровое прогнозирование между двумя соседними видеокадрами в текущей группе GOP, после чего рассчитывается среднее значение множества вторых затрат на межкадровое прогнозирование, и в конце рассчитывается отношение первых затрат на межкадровое прогнозирование к полученному среднему значению. Если это отношение превышает заданную пороговую величину, то текущий видеокадр по-прежнему маркируется как кадр переключения сцены, а если это отношение не превышает заданную пороговую величину, то текущий видеокадр определяется в качестве не переключающего сцену кадра, и метка переключения сцены текущего видеокадра аннулируется.

[0075] При межкадровом прогнозировании прогнозное значение генерируется с использованием кодированных пикселей в соседних изображениях, а остаток, полученный путем вычитания исходного значения из прогнозного значения, определяется в качестве затрат на межкадровое прогнозирование. К примеру, для текущего видеокадра по опорному видеокадру определяется наилучшая единица соответствия, и наилучшая единица соответствия представляет собой прогнозное значение. На практике наилучшая единица соответствия получается из оценки параметров движения с точностью пикселя путем компенсации движения (т.е. интерполяции), а остаток, полученный путем выполнения операции вычитания между пиксельным значением наилучшей единицы соответствия и пиксельным значением текущего видеокадра, представляет собой затраты на межкадровое прогнозирование. Для межкадрового прогнозирования может даваться ссылка на любое межкадровое прогнозирование предшествующего уровня техники, что в контексте настоящего документа не носит ограничительного характера.

[0076] Варианты осуществления настоящего изобретения определяют, является ли текущее видеоизображение кадром переключения сцены, по затратам на межкадровое прогнозирование. Таким образом, предотвращается ошибочное суждение, обусловленное большой амплитудой движения или быстрым изменением всего видеоизображения, благодаря чему повышается точность детектирования кадра переключения сцены, и таким образом - повышается точность разделения группы GOP.

[0077] Если в текущей группе GOP детектируется наличие кадра переключения сцены, то на стадии S202 для текущей группы GOP генерируется метка переключения сцены.

[0078] В случае детектирования кадра переключения сцены в текущей группе GOP текущая группа GOP снабжается меткой переключения сцены. К примеру, метка переключения сцены текущей группы GOP может представлять собой любой отличительный признак, такой как число, буква, символ или иной элемент подобного рода.

[0079] На стадии S203 определяется, имеется ли метка переключения сцены в текущей группе GOP принятых видеоданных.

[0080] В некоторых примерах детектирование переключения сцены осуществляется сначала в отношении текущей группы GOP. В том случае, если группа GOP снабжена меткой переключения сцены, то при условии, что кодер принимает группу GOP, эта группа GOP включает в себя по меньшей мере один кадр переключения сцены, и выполняются стадии S204-S211; а в случае, если группа GOP не снабжена меткой переключения сцены, то выполняются стадии S212-S213.

[0081] На стадии S204 определяется, является ли последний видеокадр текущей группы GOP кадром переключения сцены.

[0082] В случае наличия кадра переключения сцены в текущей группе GOP определяется, снабжен ли последний видеокадр текущей группы GOP меткой переключения сцены. В случае наличия метки переключения сцены в последнем видеокадре текущей группы GOP последний видеокадр текущей группы GOP является кадром переключения сцены, и выполняется стадия S205. В случае отсутствия метки переключения сцены в последнем видеокадре текущей группы GOP последний видеокадр текущей группы GOP не является кадром переключения сцены, и выполняются стадии S206-S209.

[0083] На стадии S205 происходит определение первого кадра переключения сцены в качестве целевого кадра переключения сцены текущей группы GOP.

[0084] Текущая группа GOP включает в себя один или несколько кадров переключения сцены. Если последний видеокадр текущей группы GOP представляет собой кадр переключения сцены, то первый с начала кадр переключения сцены в текущей группе GOP определяется в качестве целевого кадра переключения сцены текущей группы GOP. Прочие кадры переключения сцены не считаются кадрами переключения сцены. Иначе говоря, метки переключения сцены прочих видеокадров в текущей группе GOP аннулируются.

[0085] В других необязательных вариантах осуществления настоящего изобретения рассчитывается число видеокадров между первым кадром переключения сцены и последним видеокадром видеоданных. Если число видеокадров меньше заданного количества, то первый кадр переключения сцены определяется в качестве не переключающего сцену кадра. Если текущая группа GOP представляет собой последнюю группу GOP видеоданных, то первый кадр переключения сцены текущей группы GOP находится близко к концу видеоданных. С точки зрения затрат добавление кадра переключения сцены ближе к концу видеоданных не представляется целесообразным, и поэтому первый кадр переключения сцены не определяется в качестве целевого кадра переключения сцены, и последняя группа GOP повторно не разделяется. Таким образом, решается проблема бесполезной растраты скорости передачи видеоинформации, обусловленная добавлением кадра переключения сцены в конце видеоданных и кодированием добавленного кадра переключения сцены в качестве ключевого кадра, благодаря чему повышается скорость передачи видеоданных в битах.

[0086] На стадии S206 осуществляется просмотр кадров переключения сцены в текущей группе GOP с конца до начала.

[0087] В некоторых примерах видеокадры, снабженные метками переключения сцены в текущей группе GOP, просматриваются в обратном порядке с конца до начала. Всякий раз, когда просматривается один из видеокадров, снабженный меткой переключения сцены, выполняются стадии S207-S209.

[0088] Видеокадры в текущей группе GOP просматриваются в обратном порядке с конца до начала. В том случае, если просмотренный текущий видеокадр характеризуется наличием метки переключения сцены, то выполняются стадии S207-S209. В том случае, если просмотренный текущий видеокадр не содержит метку переключения сцены, то продолжается просмотр видеокадров в направлении второго видеокадра текущей группы GOP.

[0089] На стадии S207 для текущего кадра переключения сцены определяется, образует ли следующий видеокадр текущего кадра переключения сцены переключение сцены относительно предыдущего видеокадра текущего кадра переключении сцены.

[0090] Всякий раз, когда просматривается один из кадров переключения сцены, происходит получение предыдущего видеокадра и следующего видеокадра кадра переключения сцены. Если следующий видеокадр кадра переключения сцены образует переключение сцены относительно предыдущего видеокадра, то выполняется стадия S208. Образуют ли два видеокадра переключение сцены, определяется на основании одного из таких параметров, как разность в яркости, разница в гистограммах, затраты на межкадровое прогнозирование, сходство видеокадров и тому подобное между двумя видеокадрами, что далее по тексту повторно не описывается.

[0091] Если целевой кадр переключения сцены не определяется даже при просмотре второго видеокадра текущей группы GOP, это значит, что кадр переключения сцены в текущей группе GOP отсутствует, и повторное разделение текущей группы GOP не требуется.

[0092] В некоторых необязательных вариантах осуществления настоящего изобретения предусмотрено, что если следующий видеокадр текущего кадра переключения сцены образует переключение сцены относительно предыдущего видеокадра текущего кадра переключения сцены, то рассчитывается число видеокадров между текущим кадром переключения сцены и последним видеокадром видеоданных. Если число этих видеокадров меньше заданного значения, то текущий кадр переключения сцены определяется в качестве не переключающего сцену кадра. Если текущая группа GOP представляет собой последнюю группу GOP видеоданных, то текущий кадр переключения сцены находится близко к концу видеоданных. С точки зрения затрат добавление кадра переключения сцены ближе к концу видеоданных не представляется целесообразным, и поэтому текущий кадр переключения сцены не определяется в качестве целевого кадра переключения сцены, т.е. последняя группа GOP повторно не разделяется. Таким образом, решается проблема бесполезной растраты скорости передачи видеоинформации, обусловленная добавлением кадра переключения сцены в конце видеоданных и кодированием добавленного кадра переключения сцены в качестве ключевого кадра, благодаря чему повышается скорость передачи видеоданных в битах.

[0093] На стадии S208 текущий кадр переключения сцены определяется в качестве целевого кадра переключения кадра.

[0094] В том случае, если следующий видеокадр текущего кадра переключения сцены образует переключение сцены относительно предыдущего видеокадра текущего кадра переключения сцены, текущий кадр переключения сцены определяется в качестве целевого кадра переключения сцены в текущей группе GOP, и операция просмотра кадров переключения сцены в текущей группе GOP с конца до начала завершается. В том случае, если следующий видеокадр текущего кадра переключения сцены не образует переключение сцены относительно предыдущего видеокадра текущего кадра переключения сцены, будет продолжен просмотр кадров переключения сцены в текущей группе GOP с конца до начала в направлении второго видеокадра текущей группы GOP.

[0095] На стадии S209 видеокадры, за исключением текущего кадра переключения сцены, определяются в качестве не переключающих сцену кадров.

[0096] В случае определения целевого кадра переключения сцены в текущей группе GOP метки переключения сцены кадров переключения сцены в текущей группе GOP, за исключением текущего кадра переключения сцены, аннулируются. Иначе говоря, из текущей группы GOP выбирается всего один кадр переключения сцены, который должен быть определен в качестве целевого кадра переключения сцены.

[0097] На стадии S210 предыдущий видеокадр целевого кадра переключения сцены определяется в качестве последнего видеокадра текущей группы GOP.

[0098] В том случае, если в текущей группе GOP определяется целевой кадр переключения сцены, между сценой целевого кадра переключения сцены и сценами множества предыдущих видеокадров будет большая разница. Целевой кадр переключения сцены кодируется в качестве ключевого кадра, вследствие чего текущая группа GOP повторно разделяется за счет вставки ключевого кадра в текущую группу GOP. Таким образом, видеокадр перед целевым кадром переключения сцены определяется в качестве последнего видеокадра текущей группы GOP, а целевой кадр переключения сцены определяется в качестве первого видеокадра новой группы GOP.

[0099] На стадии S211 заданное число видеокадров, которые следуют за целевым кадром переключения сцены и включают в себя целевой кадр переключения сцены, определяется в качестве следующей группы GOP, и следующая группа GOP определяется в качестве текущей группы GOP.

[00100] В том случае, если видеокадр перед целевым кадром переключения сцены определяется в качестве последнего видеокадра в текущей группе GOP,to определяется следующая группа GOP. Следующая группа GOP включает в себя заданное число видеокадров. Иначе говоря, следующая группа GOP включает в себя целевой кадр переключения сцены и множество видеокадров, которые следуют за целевым кадром переключения сцены. Следующая группа GOP определяется в качестве текущей группы GOP, и осуществляется возврат к стадии S201 процесса.

[00101] На стадии S212 устанавливается отсутствие кадра переключения сцены в текущей группе GOP.

[00102] Если в текущей группе GOP отсутствует метка переключения сцены, это значит, что в текущей группе GOP нет кадра переключения сцены, и поэтому повторное разделение текущей группы GOP за счет вставки ключевого кадра не требуется.

[00103] На стадии S213 следующая группа GOP определяется в качестве текущей группы GOP.

[00104] Если в текущей группе GOP отсутствует кадр переключения сцены, то будет продолжаться прием следующей группы GOP в качестве текущей группы GOP и осуществляться возврат к стадии S201 процесса до тех пор, пока все видеокадры видеоданных не будут разделены на группы GOP.

[00105] В других необязательных вариантах осуществления настоящего изобретения для текущей группы GOP предусмотрено следующее: если в текущей группе GOP устанавливается наличие кадра переключения сцены, то перед определением того, является ли последний видеокадр текущей группы GOP кадром переключения сцены, определяется, была ли повторно разделена предыдущая группа GOP. Если предыдущая группа GOP была повторно разделена, то текущая группа GOP повторно не разделяется, следующая группа GOP текущей группы GOP принимается в качестве текущей группы GOP, и осуществляется возврат к стадии процесса, на которой определяется, присутствует ли кадр переключения сцены в текущей группе GOP принятых видеоданных. Если предыдущая группа GOP не была повторно разделена, то при условии, что в предыдущей группе GOP присутствует кадр переключения сцены, а текущая группа GOP повторно не делится, следующая группа GOP текущей группы GOP принимается в качестве текущей, и осуществляется возврат к стадии процесса, на которой определяется, присутствует ли кадр переключения сцены в текущей группе GOP принятых видеоданных; а если в предыдущей группе GOP кадр переключения сцены отсутствует, то осуществляется возврат к стадии процесса, на которой определяется, является ли последний видеокадр текущей группы GOP кадром переключения сцены. Предыдущая группа GOP представляет собой группу GOP, полученную до приема текущей группы GOP.

[00106] Для текущей группы GOP предусмотрено, что если в текущей группе GOP устанавливается наличие кадра переключения сцены, то в случае вставки ключевого кадра в предыдущую группу GOP (в предыдущей группе GOP определен целевой кадр переключения сцены для повторного разделения предыдущей группы GOP), в текущую группу GOP ключевой кадр не вставляется; иначе говоря, текущая группа GOP кодируется в обычном режиме без какой-либо обработки, а следующая группа GOP получается напрямую как текущая группа GOP; если ключевой кадр не вставляется в предыдущую группу GOP (в предыдущей группе GOP не определен целевой кадр переключения сцены для повторного разделения предыдущей группы GOP), то определяется, присутствует ли в предыдущей группе GOP кадр переключения сцены; если в предыдущей группе GOP отсутствует кадр переключения сцены, то изображения в предыдущей группе GOP стабильны, и выполняется стадия, на которой определяется, является ли последний видеокадр текущей группы GOP кадром переключения сцены; а если кадр переключения сцены присутствует в текущей группе GOP, то изображения в предыдущей группе GOP нестабильны, и стадия, на которой определяется, является ли последний видеокадр текущей группы GOP кадром переключения сцены, не выполняется, а следующая группа GOP принимается напрямую как текущая группа GOP.

[00107] К примеру, для текущей GOP n предусмотрено, что если в текущей группе GOP (т.е. в n-ой группе GOP) детектируется наличие кадра переключения сцены, то в случает повторного разделения (при определении целевого кадра переключения сцены) ранее принятой группы GOP (т.е. (n-1)-ой группы GOP) ключевой кадр в текущую группу GOP (т.е. в n-ую группу GOP) не вставляется, т.е. операция определения того, является ли последний видеокадр текущей группы GOP кадром переключения сцены, не выполняется, и следующая группа GOP (т.е. (n+1)-ая группа GOP) принимается напрямую как текущая группа GOP. Если предыдущая группа GOP (т.е. (n-1)-ая группа GOP) повторно не разделяется (целевой кадр переключения сцены не определен), и в предыдущей группе GOP (т.е. в (n-1)-ой группе GOP) не детектируется кадр переключения сцены, то это указывает на то, что изображения в предыдущей группе GOP (т.е. в (n-1)-ой группе GOP) стабильны, и в отношении текущей группы GOP (т.е. n-ой группы GOP) требуется выполнение стадии, на которой определяется, является ли последний видеокадр кадром переключения сцены, т.е. должны быть выполнены стадии S204-S213.

[00108] Согласно некоторым вариантам осуществления настоящего изобретения положительный эффект обеспечивается за счет вставки ключевого кадра, исходя из стабильности группы GOP. Например, после повторного разделения первой группы GOP за счет вставки ключевого кадра в первую группу GOP ключевой кадр будет вставляться в последующую группу GOP (например, i-ую группу GOP) только до тех пор, пока изображения второй группы GOP или группы GOP, предыдущей по отношению к i-ой группе GOP, будут оставаться стабильными. Таким образом, уменьшается число вставляемых ключевых кадров и предотвращается ошибочное определение кадров переключения сцены, обусловленное неустойчивостью изображений, благодаря чему улучшается коэффициент сжатия видеоданных и повышается точность разделения GOP.

[00109] Способ разделения группы изображений на основании переключения сцены согласно вариантам осуществления настоящего изобретения иллюстративно описан в привязке к фиг. 2В. Как показано на фиг. 2В, в некоторых примерах способ разделения группы изображений на основании переключения сцены предусматривает выполнение стадий, описанных ниже.

[00110] На стадии S01 обеспечивается прием текущей группы GOP.

[00111] На стадии S02 осуществляется просмотр видеокадров далее от второго кадра, т.е. видеокадры просматриваются - от начала до конца - в направлении от второго кадра текущей группы GOP.

[00112] На стадии S03 определяется, наблюдается ли переключение сцены между текущим кадром и первым кадром текущей группы GOP. Если между текущим кадром и первым кадром текущей группы GOP наблюдается переключение сцены, то выполняется стадия S04; а если между текущим кадром и первым кадром текущей группы GOP не наблюдается переключение сцены, то выполняются стадии S05, S06 и S09.

[00113] На стадии S04 определяется, наблюдается ли переключение сцены между текущим кадром и предыдущим кадром. Если между текущим кадром и предыдущим кадром наблюдается переключение сцены, то выполняется стадия S07; а если между текущим кадром и предыдущим кадром не наблюдается переключение сцены, то выполняется стадия S09.

[00114] На стадии S05 происходит аннулирование меток переключения сцены в кадрах между текущим кадром и первым кадром.

[00115] На стадии S06 текущая группа GOP маркируется как не содержащая кадра переключения сцены.

[00116] На стадии S07 текущий кадр маркируется как кадр переключения сцены.

[00117] На стадии S08 текущая группа GOP маркируется как содержащая кадр переключения сцены.

[00118] На стадии S09 определяется, является ли текущий кадр последним кадром текущей группы GOP. Если текущий кадр является последним кадром текущей группы GOP, то выполняется стадия S11; а если текущий кадр не является последним кадром текущей группы GOP, то выполняется стадия S10.

[00119] На стадии S10 следующий кадр текущего кадра определяется в качестве текущего кадра, и осуществляется возврат к стадии S03 процесса.

[00120] На стадии S11 определяется, присутствует ли кадр переключения сцены в текущей группе GOP. В том случае, если в текущей группе GOP имеется кадр переключения сцены, то выполняется стадия S12; а если в текущей группе GOP нет кадра переключения сцены, то текущая группа GOP определяется как не содержащая кадра переключения сцены, и осуществляется возврат к стадии S01 процесса для приема следующей группы GOP в качестве текущей группы GOP.

[00121] На стадии S12 видеокадры просматриваются в обратную сторону от последнего кадра. Иначе говоря, видеокадры в текущей группе GOP просматриваются в обратном порядке.

[00122] На стадии S13 определяется, является ли текущий кадр кадром переключения сцены. В том случае, если текущий кадр является кадром переключения сцены, то выполняется стадия S14.

[00123] На стадии S14 определяется, является ли текущий кадр последним кадром текущей группы GOP. В том случае, если текущий кадр является последним кадром текущей группы GOP, то выполняется стадия S15; а если текущий кадр не является последним кадром текущей группы GOP, то выполняется стадия S16.

[00124] На стадии S15 видеокадры просматриваются вперед от второго кадра. Иначе говоря, видеокадры в текущей группе GOP просматриваются далее в направлении от второго кадра, после чего осуществляется возврат к стадии S17 процесса.

[00125] На стадии S16 определяется, образует ли предыдущий видеокадр и следующий видеокадр текущего видеокадра переключение сцены. Если предыдущий видеокадр и следующий видеокадр текущего видеокадра образуют переключение сцены, то выполняется стадия S18; а если предыдущий видеокадр и следующий видеокадр текущего видеокадра не образуют переключение сцены, то выполняется стадия S19.

[00126] На стадии S17 определяется, маркирован ли текущий видеокадр как кадр переключения сцены. В том случае, если текущий видеокадр маркирован как кадр переключения сцены, то выполняется стадия S18; а если текущий видеокадр не маркирован как кадр переключения сцены, то выполняется стадия S20.

[00127] На стадии S18 текущий кадр определяется в качестве кадра переключения сцены, после чего выполняются стадии S21 и S22.

[00128] На стадии S19 определяется, является ли текущий кадр вторым кадром текущей группы GOP. В том случае, если текущий кадр является вторым кадром текущей группы GOP, то текущая группа GOP определяется как не содержащая кадра переключения сцены; а если текущий кадр не является вторым кадром текущей группы GOP, то следующий кадр текущего кадра определяется в качестве текущего кадра, и осуществляется возврат к стадии S13 процесса.

[00129] На стадии S20 определяется, является ли текущий кадр последним кадром текущей группы GOP. В том случае, если текущий кадр является последним кадром текущей группы GOP, то текущая группа GOP определяется как не содержащая кадр переключения сцены; а в случае, если текущий кадр не является последним кадром текущей группы GOP, то следующий кадр текущего кадра определяется в качестве текущего кадра, и осуществляется возврат к стадии S17 процесса.

[00130] На стадии S21 аннулируются метки переключения сцены прочих видеокадров.

[00131] На стадии S22 определяется, находится ли текущая группа GOP близко к концу последовательности. Иначе говоря, определяется, находится ли текущая группа GOP близко к концу последовательности видеокадров видеоданных, например не меньше ли число видеокадров в текущей группе GOP заданного количества. В том случае, если текущая группа GOP находится близко к концу последовательности, то выполняется стадия S23; а если текущая группа GOP не находится близко к концу последовательности, то выполняется стадия S24.

[00132] На стадии S23 текущий кадр не обрабатывается в качестве кадра переключения сцены.

[00133] На стадии S24 текущий кадр определяется в качестве кадра переключения сцены для повторного разделения текущей группы GOP.

[00134] Согласно некоторым вариантам осуществления настоящего изобретения операция переключения сцены выполняется в отношении принятой текущей группы GOP. В том случае, если в текущей группе GOP имеется кадр переключения сцены, то определяется, является ли последний кадр текущей группы GOP кадром переключения сцены. В том случае, если последний кадр текущей группы GOP является кадром переключения сцены, то первый кадр переключения сцены текущей группы GOP определяется в качестве целевого кадра переключения сцены. В том случае, если последний кадр текущей группы GOP не является кадром переключения сцены, то кадры переключения сцены в текущей группе GOP просматриваются с конца до начала. В том случае, если следующий видеокадр текущего кадра переключения сцены образует переключение сцены относительно предыдущего видеокадра текущего кадра переключения сцены, то текущий кадр переключения сцены определяется в качестве целевого кадра переключения сцены, а предыдущий кадр переключения сцены целевого кадра переключения сцены определяется в качестве последнего видеокадра текущей группы GOP для повторного разделения текущей группы GOP. Таким образом, устраняется проблема низкой скорости сжатия видеоданных, обусловленная кодированием всех кадров переключения сцены в текущей группе GOP в качестве ключевых кадров, а количество видеокадров, кодированных в качестве ключевых кадров в текущей группе GOP, уменьшается за счет выбора одного целевого кадра переключения сцены среди множества кадров переключения сцены в каждой группе GOP для повторного разделения текущей группы GOP, благодаря чему повышается скорость сжатия видеоданных.

[00135] При определении целевого кадра переключения сцены предусмотрено, что в том случае, если количество видеокадров между целевым кадром переключения сцены и последним видеокадром видеоданных меньше заданной пороговой величины, то это значит, что кадр переключения сцены находится близко к концу видео, и кадр переключения сцены не определяется в качестве кадра переключения сцены. Иначе говоря, последняя группа GOP не подвергается повторному разделению, при этом устраняется проблема бесполезной растраты скорости передачи видеоинформации, обусловленная добавлением кадра переключения сцены в конце видеоданных и кодированием добавленного кадра переключения сцены в качестве ключевого кадра, благодаря чему повышается скорость передачи видеоданных в битах.

[00136] Третий вариант осуществления настоящего изобретения

[00137] На фиг. 3 представлена блок-схема, иллюстрирующая стадии способа кодирования видео согласно третьему варианту осуществления настоящего изобретения. Этот вариант осуществления заявленного изобретения применим к сценарию, в котором видеоданные подвергаются кодированию. Этот способ выполняется устройством для разделения группы изображений на основании переключения сцены согласно некоторым вариантам осуществления настоящего изобретения, которое реализуются аппаратными или программными средствами и интегрировано в электронное устройство согласно некоторым вариантам осуществления настоящего изобретения. Как показано на фиг. 3, способ кодирования видео согласно этому варианту осуществления настоящего изобретения предусматривает выполнение стадий, описанных ниже.

[00138] На стадии S301 осуществляется прием видеоданных.

[00139] В некоторых вариантах осуществления настоящего изобретения видеоданными называются захваченные исходные видеоданные, т.е. последовательность некодированных видеокадров без кодирования. В некоторых сценариях применения видеоданные представляют собой последовательность исходных видеоданных, захваченную камерой под управлением видеоприложения, такого как приложение прямой трансляции и платформа коротких видеороликов.

[00140] На стадии S302 происходит разделение видеоданных на множество групп изображений.

[00141] Для каждой группы GOP предопределено заданное число видеокадров, которое она должна содержать, и всякий раз кодер принимает заданное число видеокадров, т.е. осуществляет прием текущей группы GOP. После этого в отношении текущей группы GOP выполняется операция переключения сцены, чтобы определить, требуется ли повторное разделение текущей группы GOP. В случае необходимости повторного разделения текущей группы GOP число видеокадров, содержащихся в разделенной группе GOP, будет меньше указанного заданного количества. В отношении деталей делается ссылка на способ разделения группы изображений на основании переключения сцены согласно первому или второму варианту осуществления настоящего изобретения, описание которого далее по тексту не повторяется.

[00142] На стадии S303 происходит кодирование первого видеокадра группы GOP в качестве ключевого кадра.

[00143] Для каждой из разделенных групп GOP первый видеокадр кодируется в качестве ключевого кадра (кадра I), а остальные видеокадры группы GOP кодируются в качестве прогнозирующих кадров (кадр Ρ или кадр В). В контексте настоящего документа способ кодирования видео не носит ограничительного характера.

[00144] Способ кодирования видео согласно вариантам осуществления настоящего изобретения предусматривает, что после получения видеоданных эти видеоданные разделяются на группы GOP с использованием способа разделения группы изображений на основании переключения сцены, и первый видеокадр каждой из групп GOP кодируется в качестве ключевого кадра. Поскольку текущая группа GOP с переключением сцены делится повторно с использованием способа разделения группы изображений на основании переключения сцены, устраняется проблема низкой скорости сжатия видеоданных, обусловленная кодированием всех кадров переключения сцены в текущей группе GOP в качестве ключевых кадров. Количество видеокадров, кодированных в качестве ключевых кадров в текущей группе GOP, уменьшается за счет выбора одного целевого кадра переключения сцены среди множества кадров переключения сцены в каждой группе GOP для повторного разделения текущей группы GOP, благодаря чему повышается скорость сжатия видеоданных.

[00145] Четвертый вариант осуществления настоящего изобретения

[00146] На фиг. 4 показана структурная схема устройства для разделения группы изображений на основании переключения сцены согласно четвертому варианту осуществления настоящего изобретения.

[00147] Как показано на фиг. 4, устройство для разделения группы изображений на основании переключения сцены согласно этому варианту осуществления настоящего изобретения включает в себя: первый модуль 401 определения, выполненный с возможностью определения, присутствует ли кадр переключения сцены в текущей группе GOP принятых видеоданных, причем текущая группа GOP содержит заданное число видеокадров; второй модуль 402 определения, выполненный с возможностью определения, является ли последний видеокадр текущей группы GOP кадром переключения сцены, если в текущей группе GOP имеется по меньшей мере один кадр переключения сцены; первый модуль 403 определения целевого кадра переключения сцены, выполненный с возможностью определения - по факту определения того, что последний видеокадр текущей группы GOP является кадром переключения сцены первого кадра переключения сцены текущей группы GOP в качестве целевого кадра переключения сцены текущей группы GOP; второй модуль 404 определения целевого кадра переключения сцены, выполненный с возможностью получения - по факту определения того, что последний видеокадр текущей группы GOP не является кадром переключения сцены целевого кадра переключения сцены путем просмотра по меньшей мере одного кадра переключения сцены в текущей группе GOP с конца до начала; модуль 405 повторного разделения текущей группы GOP, выполненный с возможностью определения предыдущего видеокадра целевого кадра переключения сцены в качестве последнего видеокадра текущей группы GOP; и модуль 406 определения следующей группы GOP, выполненный с возможностью определения заданного количества видеокадров, которые следуют за целевым кадром переключения сцены и включают в себя целевой кадр переключения сцены, в качестве следующей группы GOP, определения следующей группы GOP в качестве текущей группы GOP и возврата к первому модулю определения.

[00148] Устройство для разделения группы изображений на основании переключения сцены согласно этому варианту осуществления настоящего изобретения выполнено с возможностью реализации способа разделения группы изображений на основании переключения сцены согласно первому или второму варианту осуществления настоящего изобретении, и оно включает в себя функциональные модули и обеспечивает эффекты, соответствующие реализации указанного способа.

[00149] Пятый вариант осуществления настоящего изобретения

[00150] На фиг. 5 показана структурная схема устройства для кодирования видео согласно пятому варианту осуществления настоящего изобретения.

[00151] Как показано на фиг. 5, устройство для кодирования видео согласно этому варианту осуществления настоящего изобретения включает в себя: модуль 501 приема видеоданных, выполненный с возможностью приема видеоданных; модуль 502 разделения GOP, выполненный с возможностью разделения видеоданных на множество групп GOP; и модуль 503 кодирования, выполненный с возможностью кодирования первого видеокадра каждой из групп GOP в качестве ключевого кадра; при этом множество групп GOP разделяется с использованием способа разделения группы изображений на основании переключения сцены согласно первому или второму варианту осуществления настоящего изобретения.

[00152] Устройство для кодирования видео согласно этому варианту осуществления настоящего изобретения выполнено с возможностью реализации способа кодирования видео согласно третьему варианту осуществления настоящего изобретения, и оно включает в себя функциональные модули и обеспечивает эффекты, соответствующие реализации указанного способа.

[00153] Шестой вариант осуществления настоящего изобретения

[00154] На фиг. 6 показана структурная схема электронного устройства согласно шестому варианту осуществления настоящего изобретения. Как показано на фиг. 6, электронное устройство включает в себя: процессор 601, память 602, дисплей 603 с сенсорной функцией, устройство 604 ввода, устройство 605 вывода и устройство 606 связи. В электронном устройстве может быть предусмотрен один или несколько процессоров, и в качестве примера, который приведен на фиг. 6, используется один процессор 601. Процессор 601, память 602, дисплей 603, устройство 604 ввода, устройство 605 вывода и устройство 606 связи электронного устройства соединены между собой посредством шины или иным способом, и в качестве примера, который приведен на фиг. 6, используется соединение через шину. Электронное устройство выполнено с возможностью реализации способа разделения группы изображений на основании переключения сцены и/или способа кодирования видео согласно любому из вариантов осуществления настоящего изобретения.

[00155] Некоторыми варианты осуществления настоящего изобретения дополнительно предложен машиночитаемый носитель данных для хранения одной или нескольких компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором электронного устройства инициируют реализацию электронным устройством способа разделения группы изображений на основании переключения сцены и/или способа кодирования видео согласно описанным выше вариантам осуществления настоящего изобретения.

[00156] Варианты осуществления устройства, электронного устройства и носителя данных описаны в относительно упрощенной форме, поскольку их описание по существу аналогично описанию вариантов осуществления способов. В отношении соответствующих элементов может быть дана отсылка к вариантам осуществления способов.

[00157] В описании, представленном в настоящем документе, термины «один из вариантов осуществления настоящего изобретения», «некоторые варианты осуществления настоящего изобретения», «пример осуществления настоящего изобретения» или «некоторые примеры осуществления настоящего изобретения» и прочие термины подобного рода указывают на то, что признаки, структуры, материалы или характеристики, описанные в рамках конкретного варианта или примера осуществления настоящего изобретения, включены по меньшей мере в один из вариантов или примеров осуществления настоящего изобретения. В контексте настоящего документа схематическое описание указанных терминов не обязательно относится к одному и тому же варианту или примеру осуществления заявленного изобретения. Кроме того, описанные признаки, структуры, материалы или характеристики могут быть надлежащим образом объединены в одном или нескольких вариантах или примерах осуществления настоящего изобретения.

Изобретение относится к средствам кодирования видео. Технический результат - предотвращение распространения ошибок, обусловленного межкадровой привязкой в процессе кодирования, благодаря чему обеспечивается высококачественная привязка последующих видеокадров. Для этого предложен способ разделения группы изображений (GOP), предусматривающий следующие стадии: определение того, присутствует ли кадр переключения сцены в текущей группе GOP принятых видеоданных; определение того, является ли последний видеокадр текущей группы GOP кадром переключения сцены; определение первого кадра переключения сцены в качестве целевого кадра переключения сцены текущей группы GOP; получение целевого кадра переключения сцены путем просмотра по меньшей мере одного кадра переключения сцены в текущей группе GOP с конца до начала; определение предыдущего видеокадра целевого кадра переключения сцены в качестве последнего видеокадра текущей группы GOP; и определение заданного числа видеокадров, которые следуют за целевым кадром переключения сцены и включают в себя целевой кадр переключения сцены в качестве следующей группы GOP и определение следующей группы GOP в качестве текущей группы GOP. 8 н. и 10 з.п. ф-лы, 7 ил.

1. Способ разделения группы изображений на основании переключения сцены, предусматривающий:

определение того, присутствует ли кадр переключения сцены в текущей группе изображений полученных видеоданных, причем текущая группа изображений включает в себя заданное число видеокадров;

определение того, является ли последний видеокадр в текущей группе изображений кадром переключения сцены, по факту установления наличия по меньшей мере одного кадра переключения сцены в текущей группе изображений;

определение первого кадра переключения сцены в текущей группе изображений в качестве целевого кадра переключения сцены в текущей группе изображений по факту установления того, что последний видеокадр в текущей группе изображений является кадром переключения сцены; или

получение целевого кадра переключения сцены путем просмотра по меньшей мере одного кадра переключения сцены в текущей группе изображений с конца до начала по факту установления того, что последний видеокадр в текущей группе изображений не является кадром переключения сцены;

определение предыдущего видеокадра целевого кадра переключения сцены в качестве последнего видеокадра текущей группы изображений; и

определение заданного числа видеокадров, которые следуют за целевым кадром переключения сцены, в качестве следующей группы изображений, причем следующая группа изображений включает в себя целевой кадр переключения сцены, а также определение следующей группы изображений в качестве текущей группы изображений и возврат к стадии определения того, присутствует ли кадр переключения сцены в текущей группе изображений полученных видеоданных.

2. Способ по п. 1, дополнительно предусматривающий:

определение видеокадров в текущей группе изображений, за исключением целевого кадра переключения сцены, в качестве не переключающих сцену кадров после определения целевого кадра переключения сцены.

3. Способ по п. 1, отличающийся тем, что перед определением того, присутствует ли кадр переключения сцены в текущей группе изображений, этот способ дополнительно предусматривает:

выполнение операции детектирования переключения сцены в отношении текущей группы изображений полученных видеоданных; и

генерирование метки переключения сцены для текущей группы изображений в том случае, если в текущей группе изображений было детектировано наличие кадра переключения сцены.

4. Способ по п. 3, в котором выполнение операции детектирования переключения сцены в отношении текущей группы изображений полученных видеоданных предусматривает:

просмотр видеокадров, которые следуют за первым видеокадром в текущей группе изображений;

определение того, является ли текущий видеокадр кадром переключения сцены относительно первого видеокадра в текущей группе изображений, во время указанного просмотра; и

по факту установления того, что данный видеокадр является кадром переключения сцены относительно первого видеокадра в текущей группе изображений, маркирование текущего видеокадра как кадра переключения сцены, если текущий видеокадр является кадром переключения сцены относительно предыдущего видеокадра текущего видеокадра; или

по факту установления того, что данный видеокадр не является кадром переключения сцены относительно первого видеокадра в текущей группе изображений, определение видеокадров между текущим видеокадром и первым видеокадром в качестве не переключающих сцену кадров.

5. Способ по п. 4, в котором выполнение операции детектирования переключения сцены в отношении текущей группы изображений полученных видеоданных дополнительно предусматривает:

при условии, что текущий видеокадр маркирован как кадр переключения сцены:

вычисление первых затрат на межкадровое прогнозирование текущего видеокадра и (n-1)-го видеокадра, причем позицией n обозначено положение, в котором текущий видеокадр находится в текущей группе изображений;

вычисление вторых затрат на межкадровое прогнозирование (n-1)-го видеокадра и (n-2)-го видеокадра;

вычисление разницы между первыми затратами на межкадровое прогнозирование и вторыми затратами на межкадровое прогнозирование; и

сохранение маркировки текущего видеокадра в качестве кадра переключения сцены, если отношение разницы ко вторым затратам на межкадровое прогнозирование превышает заданную пороговую величину; или

определение текущего видеокадра в качестве не переключающего сцену кадра, если отношение разницы ко вторым затратам на межкадровое прогнозирование меньше заданной пороговой величины.

6. Способ по любому из предшествующих пп. 1-5, в котором определение того, присутствует ли кадр переключения сцены в текущей группе изображений полученных видеоданных, предусматривает:

определение того, имеется ли метка переключения сцены в текущей группе изображений принятых видеоданных;

выполнение операции определения того, является ли последний видеокадр текущей группы изображений кадром переключения сцены, по факту определения того, что в текущей группе изображений принятых видеоданных имеется метка переключения сцены; или

установление того, что в текущей группе изображений нет кадра переключения сцены, по факту определения того, что в текущей группе изображений принятых видеоданных отсутствует метка переключения сцены.

7. Способ по любому из предшествующих пп. 1-5, отличающийся тем, что после определения того, присутствует ли кадр переключения сцены в текущей группе изображений полученных видеоданных, этот способ дополнительно предусматривает:

определение следующей группы изображений в качестве текущей группы изображений, если в текущей группе изображений нет кадра переключения сцены, и возврат к стадии определения того, присутствует ли кадр переключения сцены в текущей группе изображений принятых видеоданных.

8. Способ по любому из предшествующих пп. 1-5, в котором получение целевого кадра переключения сцены путем просмотра кадров переключения сцены в текущей группе изображений с конца до начала предусматривает:

просмотр кадров переключения сцены в текущей группе изображений с конца до начала;

в отношении текущего кадра переключения сцены определение того, образует ли следующий видеокадр текущего кадра переключения сцены относительно предыдущего видеокадра кадра переключения сцены переключение сцены;

определение текущего кадра переключения сцены в качестве целевого кадра переключения сцены по факту установлении того, что следующий видеокадр текущего кадра переключения сцены относительно предыдущего видеокадра текущего кадра переключения сцены образует переключения сцены; и

определение видеокадров в текущей группе изображений, за исключением текущего кадра переключения сцены, в качестве не переключающих сцену кадров.

9. Способ по п. 8, в котором определение текущего кадра переключения сцены в качестве целевого кадра переключения сцены предусматривает:

вычисление числа видеокадров между текущим кадром переключения сцены и последним видеокадром видеоданных; и

определение текущего кадра переключения сцены в качестве не переключающего сцену кадра, если число видеокадров меньше заданного количества.

10. Способ по любому из предшествующих пп. 1-5, отличающийся тем, что перед определением первого кадра переключения сцены в текущей группе изображений в качестве целевого кадра переключения сцены в текущей группе изображений этот способ дополнительно предусматривает:

вычисление числа видеокадров между первым кадром переключения сцены и последним видеокадром видеоданных; и

определение первого кадра переключения сцены в качестве не переключающего сцену кадра, если число видеокадров меньше заданного количества.

11. Способ по любому из предшествующих пп. 1-5, отличающийся тем, что перед определением того, является ли последний видеокадр текущей группы изображений кадром переключения сцены, этот способ дополнительно предусматривает:

определение того, делится ли повторно предыдущая группа изображений, если в текущей группе изображений присутствует по меньшей мере один кадр переключения сцены, при этом предыдущая группа изображений представляет собой группу изображений, принятую до приема текущей группы изображений;

не выполнение операции повторного разделения текущей группы изображений по факту установления повторного разделения предыдущей группы изображений и прием следующей группы изображений текущей группы изображений в качестве текущей группы изображений, и возврат к стадии определения того, присутствует ли кадр переключения сцены в текущей группе изображений принятых видеоданных; или

не выполнение операции повторного разделения текущей группы изображений по факту установления того, что предыдущая группа изображений повторно не разделяется, если в предыдущей группе изображений имеется кадр переключения сцены, и прием следующей группы изображений текущей группы изображений в качестве текущей группы изображений, и возврат к стадии определения того, присутствует ли кадр переключения сцены в текущей группе изображений принятых видеоданных; и

возврат к стадии определения того, является ли последний видеокадр текущей группы изображений кадром переключения сцены, если в предыдущей группе изображений отсутствует кадр переключения сцены.

12. Способ кодирования видео, предусматривающий:

прием видеоданных;

разделение видеоданных на множество групп изображений; и

кодирование первого видеокадра в каждой группе изображений в качестве ключевого кадра;

при этом множество групп изображений делится с использованием способа разделения группы изображений на основании переключения сцены по любому из предшествующих пп. 1-11.

13. Устройство для разделения группы изображений на основании переключения сцены, содержащее:

первый модуль определения, выполненный с возможностью определения, присутствует ли кадр переключения сцены в текущей группе изображений принятых видеоданных, причем текущая группа изображений содержит заданное число видеокадров;

второй модуль определения, выполненный с возможностью определения того, является ли последний видеокадр текущей группы изображений кадром переключения сцены, если в текущей группе изображений имеется по меньшей мере один кадр переключения сцены;

первый модуль определения целевого кадра переключения сцены, выполненный с возможностью определения – по факту определения того, что последний видеокадр текущей группы изображений является кадром переключения сцены – первого кадра переключения сцены текущей группы изображений в качестве целевого кадра переключения сцены текущей группы изображений;

второй модуль определения целевого кадра переключения сцены, выполненный с возможностью получения – по факту определения того, что последний видеокадр текущей группы изображений не является кадром переключения сцены – целевого кадра переключения сцены путем просмотра по меньшей мере одного кадра переключения сцены в текущей группе изображений с конца до начала;

модуль повторного разделения текущей группы изображений, выполненный с возможностью определения предыдущего видеокадра целевого кадра переключения сцены в качестве последнего видеокадра текущей группы изображений; и

модуль определения следующей группы изображений, выполненный с возможностью определения заданного количества видеокадров, которые следуют за целевым кадром переключения сцены, в качестве следующей группы изображений, причем следующая группа изображений включает в себя целевой кадр переключения сцены, и определения следующей группы изображений в качестве текущей группы изображений и возврата к первому модулю определения.

14. Устройство для кодирования видео, содержащее:

модуль приема видеоданных, выполненный с возможностью приема видеоданных;

модуль разделения группы изображений, выполненный с возможностью разделения видеоданных на множество групп изображений; и

модуль кодирования, выполненный с возможностью кодирования первого видеокадра каждой группы изображений в качестве ключевого кадра;

при этом множество групп изображений делится с использованием способа разделения группы изображений на основании переключения сцены по любому из предшествующих пп. 1-11.

15. Электронное устройство для разделения группы изображений на основании переключения сцены, содержащее:

по меньшей мере один процессор; и

память, выполненную с возможностью хранения по меньшей мере одной программы;

при этом по меньшей мере одна программа при ее загрузке и выполнении по меньшей мере одним процессором инициирует реализацию по меньшей мере одним процессором способа разделения группы изображений на основании переключения сцены по любому из предшествующих пп. 1-11.

16. Машиночитаемый носитель данных, в котором хранится одна или несколько компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором инициируют реализацию этим процессором способа разделения группы изображений на основании переключения сцены по любому из предшествующих пп. 1-11.

17. Электронное устройство для кодирования видео, содержащее:

по меньшей мере один процессор; и

память, выполненную с возможностью хранения по меньшей мере одной программы;

при этом по меньшей мере одна программа при ее загрузке и выполнении по меньшей мере одним процессором инициирует реализацию по меньшей мере одним процессором способа кодирования видео по п. 12.

18. Машиночитаемый носитель данных, в котором хранится одна или несколько компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором инициируют реализацию этим процессором способа кодирования видео по п. 12.