СЕРВЕР, ОКОНЕЧНОЕ УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2022 года по МПК H04N19/176 H04N19/115 H04N19/597 G06T3/00 

Настоящее изобретение имеет приоритет над заявкой на патент Китая № 201710645108.X, поданной в патентное ведомство Китая 31 июля 2017 года и озаглавленной «Сервер, оконечное устройство и способ обработки изображений», которая включена в настоящее описание посредством ссылки в полном объеме.

Область техники, к которой относится изобретение

Настоящее изобретение относится к области медиастандартов и технологий медиаприложений и, в частности, к способу, оконечному устройству и серверу для обработки изображения.

Уровень техники

В видеоприложении активно используют технологию виртуальной реальности (virtual reality, VR)/круговое панорамное видеоизображение, что предоставляет новый способ просмотра и визуальное восприятие изображения, но также требует решения новой технической задачи. Круговое панорамное видеоизображение получают посредством множества камер на объекте во множестве углов для поддержки многоуглового воспроизведения. Сигнал изображения видео может быть виртуализирован, как сигнал сферического изображения. Как показано на фиг.1, сигналы сферического изображения различных местоположений в сфере могут представлять различный контент угла обзора. Тем не менее сигнал виртуального сферического изображения не может быть виден человеческим глазом. Таким образом, сигнал трехмерного сферического изображения должен быть представлен в виде сигнала двумерного плоского изображения, например, представлен в форме представления, такого как карта широты и долготы или куба. В этих формах представления сигнал сферического изображения фактически отображают на двумерное изображение в процессе отображения, так что сигнал сферического изображения становится сигналом изображения, который может быть непосредственно виден глазом человека. Наиболее часто используемый формат прямого изображения является карта широты и долготы. Способ получения изображения заключается в следующем: выполняют равномерную выборку сигнала сферического изображения в горизонтальном направлении в соответствии с углом долготы и выполняют равномерную выборку в вертикальном направлении в зависимости от угла широты. В качестве примера используют сигнал сферического изображения земли и на фиг.2 показано двумерное отображение его изображения.

В VR приложении сигнал сферического изображения представляет собой круговое панорамное изображение, и диапазон углов обзора человеческого глаза обычно составляет около 120 градусов. Таким образом, действительный сигнал сферы, виден с угла обзора человеческого глаза, составляет около 22% от сигнала панорамы. VR оконечное устройство (например, VR очки) может поддерживать один угол обзора между около 90 градусов до 110 градусов для получения наилучшего восприятия просмотра. Тем не менее, когда пользователь наблюдает изображение, информационное содержание изображения в одном углу обзора занимает небольшую часть всего панорамного изображения, и информация изображения за пределами угла обзора не используется пользователем. Если передают все панорамные изображения, то это вызывает неэффективное использование полосы пропускания. Таким образом, в технологии кодирования и передачи панорамного видео в окне просмотра зависимого кодирования видео (viewport dependent video coding, VDC) изображения всего видеоизображения делят и выбирают подобласть, которая должна быть передана, в соответствии с текущим углом обзора пользователя, тем самым экономя полосу пропускания.

Указанная выше технология VR кодирования и передачи панорамного видео может включать в себя два типа: (1) независимо использовать способ тайлового кодирования и передачи; (2) выполняют гибридное кодирование и передачу панорамного видеокодирования и способ тайлового кодирования и передачи. В способе тайлового кодирования и передачи последовательность изображений разделена на несколько подобластей изображения, и все подобласти отдельно кодируются для генерирования одного или более битовых потоков. Способ равномерного деления карты широты и долготы включает в себя равномерное деление карты широты и долготы на множество тайлов в направлении ширины и направлении по высоте. Когда пользователь просматривает изображение под углом обзора на клиенте, то клиент вычисляет диапазон покрытия угла обзора на изображении на основании угла обзора местоположения пользователя и получает, основываясь на диапазоне, информацию тайла, которая должна быть передана для изображения, включающая в себя местоположение и размер тайла в изображении, и запрашивает с сервера битовые потоки, соответствующие тайлам, для передачи, для визуализации и отображения текущего угла обзора на клиенте. Однако, когда для деления используют карту широты и долготы, частота выборки изображения вблизи экватора является относительно высокой, и частота выборки изображения вблизи двух полюсов является относительно низкой. Другими словами, пиксельная избыточность изображения вблизи экватора является относительно низкой, и пиксельная избыточность изображения вблизи двух полюсов является относительно высокой, и более высокой широты указывает на более высокую избыточность. Если используют карту широты и долготы для равномерного деления, то особенность пиксельной избыточности карты широты и долготы в разных широтах не принимают во внимание, при этом, в данном случае, кодируют каждый блок изображения для передачи при одинаковом разрешении и эффективность кодирования является низкой, что вызывает относительно значительное неэффективное использование полосы пропускания.

Сущность изобретения

Вариант осуществления настоящего изобретения обеспечивает способ обработки изображений, оконечное устройство и сервер для решения технической задачи низкой эффективности кодирования и неэффективного использования полосы пропускания во время кодирования и передачи при равномерном разделении изображения с использованием карты широты и долготы во время выборки изображения.

В соответствии с первым аспектом предоставлен способ обработки изображения, когда способ применяют к серверу и включает в себя: выполнение горизонтального деления и вертикального деления на карте широты и долготы или карте сферы обрабатываемого изображения, для получения подобластей карты широты и долготы или карты сферы, где местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального деления определяется широтой, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной соседними местоположениями деления горизонтального деления и интервал вертикального деления является расстоянием между соседними местоположениями деления вертикального деления; и кодирование изображений полученных подобластей. Таким образом, по сравнению с предшествующим уровнем техники, в котором карту широты и долготы равномерно разделяют с одинаковым интервалом деления, характеристика равномерного детального деления в течение деления приводит к низкой эффективности кодирования и вызывает недостаток, заключающийся в том, что при передаче после кодирования значительная часть полосы пропускания является занятой. В настоящем изобретении характеристику равномерного и тщательного деления в предшествующем уровне техники можно избежать путем выполнения вертикального деления на основании, по меньшей мере, двух интервалов вертикального деления в различных широтах. В настоящем изобретении, вертикальное деление может быть выполнено с множеством интервалов вертикального деления, так что есть множество размеров подобластей изображения. Больший интервал деления указывает на большую подобласть. Эффективность кодирования во время кодирования повышается, и после кодирования часть занятой полосы пропускания, когда сервер передает битовый поток на оконечное устройство, сокращается.

В возможной реализации, что местоположение деления вертикального деления определяется широтой, включает в себя: более высокую широту местоположения деления вертикального деления, указывает на больший интервал вертикального деления. Таким образом, благодаря различным широтам, в которых расположены подобласти, более высокая широта указывает на большую подобласть. Грубое деление может повысить эффективность кодирования и передачи, а также уменьшить ширину полосы пропускания передачи.

В возможной реализации, перед кодированием изображений полученных подобластей, способ дополнительно включает в себя: выборку изображения подобласти в горизонтальном направлении с первым интервалом выборки, где более высокая широта, соответствующая подобласти, указывает на больший первый интервал выборки; и кодирование изображений полученных подобластей включает в себя: кодирование изображений подобластей после выборки. В карте широты и долготы, поскольку пиксельная избыточность изображения вблизи экватора является относительно низкой, и пиксельная избыточность изображения вблизи двух полюсов является относительно высокой, если каждая подобласть кодируется и передается в одном и том же разрешении, ширина полосы частот передачи используют неэффективно. Дополнительно, пиксельная избыточность стороны декодирования является высокой и, как следствие, сторона декодирования требует высокой способности декодирования, и скорость декодирования мала. Тем не менее, в настоящем изобретении, перед кодированием может быть выполнена выборка по горизонтали и, когда выполняют выборку по горизонтали, более высокая широта, соответствующая подобласти, указывает на больший первый интервал выборки. Другими словами, выполняют понижающую выборку на подобласти высокой широты в горизонтальном направлении, а именно, выполняют выборку со сжатием, так что пиксельная избыточность изображения, передаваемого в подобласти высокой широты перед кодированием, может быть уменьшена, тем самым, снижая ширину полосы пропускания. Дополнительно, понижающая выборка уменьшает значение пикселя, который должен быть закодирован и передан, так что требование стороны декодирования к способности декодирования снижают. Сложность декодирования уменьшается, тем самым повышая скорость декодирования.

В возможной реализации, перед кодированием изображений полученных подобластей, способ дополнительно включает в себя: выборку изображения подобласти в вертикальном направлении со вторым интервалом выборки. Второй интервал выборки может быть таким же, как интервал подобласти до выборки, а именно, исходные выборки поддерживаются в вертикальном направлении, или может быть меньше, чем интервал подобласти до выборки, а именно, выполняют понижающую выборку по всему вертикальному направлению. Аналогичным образом, полоса пропускания кодирования и передачи может быть относительно небольшой, сложность декодирования стороны декодирования снижается и скорость декодирования повышается.

В возможной реализации, когда подобласть получают путем выполнения горизонтального деления и вертикального деления на карте сферы обрабатываемого изображения, до выборки изображения подобласти в горизонтальном направлении с первым интервалом выборки, при этом способ дополнительно включает в себя: отображение изображения подобласти на двумерное плоское изображение на основании заданного размера; и выборку изображения подобласти в горизонтальном направлении с первым интервалом выборки включает в себя: выборку с первым интервалом выборки в горизонтальном направлении, двумерное плоское изображение, на которое отображают изображение подобласти. Другими словами, если сервер получает карту сферы из фотографического устройства, сервер может сначала отобразить изображение подобласти карты сферы на двумерную карту широты и долготы, и затем выполняет понижающую выборку на карте широты и долготы. В этом случае предполагают, что сервер непосредственно получает сигнал сферы из фотографического устройства, и сервер может непосредственно разделить карту сферы на подобласти, и затем отобразить подобласти карты сферы на карту широты и долготы, и затем выполнить понижающую выборку на карте широты и долготы.

В возможной реализации, перед кодированием изображений выбранных подобластей, способ дополнительно включает в себя: корректировку местоположения отобранных подобластей, так что горизонтальный край и вертикальный край изображения, соединенные изображениями скорректированных подобластей, соответственно выровнены. Таким образом, подобласти может быть пронумерованы последовательно в соединенном изображении, так что сервер и оконечное устройство передают и обрабатывают каждую подобласть на основании номера каждой подобласти.

В возможной реализации, кодирующие изображения отобранных подобластей включают в себя: кодирование тайла (tile) соединенного изображения. Таким образом, может быть сгенерирован один битовый поток для хранения или делят единый битовый поток для получения множество подобластей для хранения.

В возможной реализации, после кодирования изображений полученных подобластей, способ дополнительно включает в себя: независимое инкапсулирование битовых потоков, соответствующих кодированным изображениям подобластей, и кодированная информация местоположения подобластей, где кодированная информация местоположения всех подобластей и битовые потоки всех подобластей присутствуют на одном и том же треке; или кодированная информация местоположения и битовый поток каждой подобласти, соответственно, присутствуют на треке информации местоположения и треке битового потока; или кодированная информация местоположения всех подобластей находится в описании медиапрезентации (MPD); или кодированная информация местоположения всех подобластей находится в личном файле, и адрес личного файла находится в MPD; или кодированная информация местоположения каждой подобласти находится в информации для дополнительной оптимизации (SEI) битового потока каждой подобласти.

В возможной реализации, когда подобласть получают путем выполнения горизонтального деления и вертикального деления на карте широты и долготы обрабатываемого изображения, выборочные подобласти формируют выборочную карту широты и долготы, и информация местоположения включает в себя местоположение и размер подобласти в карте широты и долготы, и местоположение и размер подобласти в выборочной карте широты и долготы; или информация местоположения включает в себя местоположение и размер подобласти в карте широты и долготы, и местоположение и размер подобласти в соединенном изображении; или, когда подобласть получают путь выполнения горизонтального деления и вертикального деления на карте сферы обрабатываемого изображения, выборочные подобласти образуют выборочную карты сферы, информация местоположения включает в себя местоположение и диапазон широты и долготы подобласти в изображении карты сферы, и местоположение и размер подобласти в изображении выборочной карты сферы; или информация местоположения включает в себя местоположение и диапазон широты и долготы подобласти в изображении карты сферы, и местоположение и размер подобласти в соединенном изображении. Таким образом, оконечное устройство может визуализировать и представлять изображение на основании местоположения и размера подобласти во время воспроизведения и отображения.

В возможной реализации, личный файл может дополнительно включать в себя информацию, используемую для представления соответствия между точкой обзора пользователя и номером подобласти, охватываемой углом обзора точки обзора пользователя. Когда оконечное устройство определяет точку обзора пользователя, оконечное устройство может непосредственно определить, на основании соответствия, подобласть, охватываемую углом обзора точки обзора, с тем, чтобы выполнять декодирование изображения на основании битового потока подобласти, тем самым, повышая скорость декодирования оконечного устройства во время декодирования.

В возможной реализации, личный файл дополнительно включает в себя информацию, используемую для представления количества подобластей, которые должны быть предпочтительно отображены в подобласти, охватываемой углом обзора пользователя, информацию о номере подобласти, которая должна быть предпочтительно отображена, информацию о номере подобласти, которая отображается вторично, и информацию о номере подобласти, которая не отображается. Таким образом, когда не все битовые потоки всех подобластей могут быть получены или должны быть получены каким-либо причинам (например, нестабильная сеть), изображение подобласти, близкой к точке обзора, предпочтительно может быть получено для предпочтительного отображения, и данные изображения подобласти, которая предпочтительно не отображается, отбрасывают.

В возможной реализации, карта широты и долготы включает в себя карту широты и долготы, соответствующую для просмотра левым глазом, и карту широты и долготы, соответствующую для просмотра правым глазом; до выполнения горизонтального деления и вертикального деления на карте широты и долготы или карте сферы обрабатываемого изображения, способ дополнительно включает в себя: разделение карты широты и долготы, соответствующей для просмотра левым глазом, от карты широты и долготы, соответствующей для просмотра правым глазом; и выполнение горизонтального деления и вертикального деления на карте широты и долготы или карте сферы обрабатываемого изображения включает в себя: выполнение горизонтального деления и вертикального деления на карте широты и долготы, соответствующей для просмотра левым глазом, и выполнение горизонтального деления и вертикального деления на карте широты и долготы, соответствующей для просмотра правым глазом. Таким образом, согласно настоящему изобретению, 3D видеоизображение также может быть разделено способом деления на подобласти, что сократит полосу пропускания и повысит эффективность кодирования и передачи.

В возможной реализации, способ дополнительно включает в себя: отправку в оконечное устройство битовых потоков, соответствующих кодированным изображениям подобластей; или прием информации угла обзора, отправленную оконечным устройством, получение, на основании информации угла обзора, подобласти, соответствующей информации угла обзора, и отправку битового потока подобласти, соответствующей информации угла обзора, в оконечное устройство; или прием номера подобласти, который отправлен оконечным устройством, и отправку битового потока, соответствующий номеру подобласти, в оконечное устройство. Другими словами, оконечное устройство может локально получить требуемый битовый поток, соответствующий изображению подобласти, или может отправить битовый поток, соответствующий подобласти, в оконечное устройство после того, как сервер определяет подобласть на основании информации угла обзора. В качестве альтернативы, сервер получает уведомление после того, как оконечное устройство определяет номер требуемой подобласти, и сервер отправляет битовый поток, соответствующий подобласти, в оконечное устройство, тем самым снижая вычислительную нагрузку сервера.

В возможной реализации карта широты и долготы является картой широты и долготы 360-градусов панорамного видеоизображения или частью карты широты и долготы кругового панорамного видеоизображения; или карта сферы представляет собой карту сферы 360-градусов панорамного видеоизображения или часть карты сферы кругового панорамного видеоизображения. Другими словами, способ деления подобласти в настоящем изобретении может также быть применим к делению 180-градусов полупанорамного видеоизображения, тем самым, снижая полосу пропускания при передаче 180-градусов полупанорамного видеоизображения и повышают эффективность кодирования и передачи.

Согласно второму аспекту предоставлен способ обработки изображения, когда способ применяют к оконечному устройству и включает в себя: определение информации местоположения каждой подобласти панорамного изображения; определение на основании определенной информации местоположения каждой подобласти, информация местоположения подобласти, охватываемой текущим углом обзора в панорамном изображении; определение первого интервала выборки подобласти; получение, на основании определенной информации местоположения подобласти, охватываемой текущим углом обзора, битового потока, соответствующего подобласти, охватываемой текущим углом обзора; декодирования битового потока для получения изображения подобласти, охватываемой текущим углом обзора; и перевыборку декодированного изображения на основании определенной информации местоположения подобласти, охватываемой текущим углом обзора, и первого интервала выборки, и воспроизведение перевыбранного изображения. Таким образом, интервал выборки может изменяться в зависимости от местоположения подобласти, что отличается от способа в предшествующем уровне техники, в котором подобласть получают посредством равномерного деления. Во время декодирования, изображение декодируется и отображается на основании указанного интервала выборки. В настоящем изобретении, оконечное устройство может выполнить перевыборку изображения на основании различных интервалов выборки для отображения, тем самым повышая скорость отображения изображения на стороне декодирования.

В возможной реализации, определение информации местоположения каждой подобласти панорамного изображения включает в себя: прием первой информации, отправленной сервером, где первая информация включает в себя трек каждой подобласти панорамного изображения и битовый поток каждой подобласти, и трек включает в себя информацию местоположения всех подобластях панорамного изображения; и получение информации местонахождении каждой подобласти в панорамном изображении, основываясь на треке.

В возможной реализации, определения информации местоположения каждой подобласти панорамного изображения включает в себя: прием описания медиапрезентации (MPD), отправленной сервером, где MPD включает в себя информацию местоположения каждой подобласти, или MPD включает в себя адрес личного файла, и личный файл содержит информацию местоположения каждой подобласти; и синтаксический анализ MPD для получения информации местонахождения каждой подобласти.

В возможной реализации, информация местоположения подобласти содержится в информации для дополнительной оптимизации (SEI) битового потока, соответствующей подобласти.

В возможной реализации получения битового потока, соответствующего подобласти, охватываемой текущим углом обзора, включает в себя: получение из памяти оконечного устройства битового потока, соответствующего подобласти, охватываемой текущим углом обзора; или запрос из сервера для получения битового потока, соответствующего подобласти, охватываемой текущим углом обзора.

В возможной реализации, запрос из сервера для получения битового потока, соответствующего подобласти, охватываемой текущим углом обзора, включает в себя: отправку информации, указывающей текущий угол обзора, на сервер, и прием битового потока, который соответствует подобласти, охватываемой текущим углом обзора, и который отправлен сервером; или получение из сервера в соответствии с заданным протоколом оконечным устройством и сервером битового потока, соответствующего подобласти, охватываемой текущим углом обзора, где протокол включает в себя соответствие между углом обзора и подобластью, охватываемой углом обзора, так что скорость получения оконечным устройством из сервера битового потока, соответствующего подобласти, может быть повышена на основании соответствия.

В возможной реализации, определение первого интервала выборки подобласти включает в себя: определение заданного интервала выборки в качестве первого интервала выборки; или прием первого интервала выборки с сервера; или получение первого интервала выборки на основании информации местонахождения каждой подобласти, которую принимают из сервера. Другими словами, когда информация местоположения каждой подобласти отличается друг от друга, соответствующий первый интервал выборки также отличается друг от друга.

В соответствии с третьим аспектом, предусмотрен способ обработки изображения, способ применяют к серверу и включает в себя: хранение битовых потоков, соответствующих изображениям подобластей карте широты и долготы или карты сферы панорамного изображения, где подобласть получают путем выполнения горизонтального деления и вертикального деления на карте широты и долготы или карте сферы панорамного изображения, где местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального деления определяют широтой, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной смежными местоположениями деления горизонтального деления, и интервал вертикального деления является расстоянием между соседними местоположениями деления вертикального деления; и отправку в оконечное устройство битового потока подобласти, охватываемой текущим углом обзора в сохраненных битовых потоках, которые соответствуют изображениям подобластей и которые запорошены оконечным устройством. Таким образом, когда битовый поток, который соответствует изображению каждой подобласти, и который хранится на сервере, передают в оконечное устройство, согласно настоящему изобретению, так как можно не выполнять равномерное и тщательное деление, как это принято в предшествующем уровне техники, при вертикальном делении на основании, по меньшей мере, двух интервалов вертикального деления в различных широтах согласно настоящему изобретению вертикальное деление может быть выполнено в виде множества интегралов вертикального деления, так что есть множество размеров подобластей изображения. Больший интервал деления указывает на большую подобласть. Эффективность кодирования во время кодирования улучшается и после кодирования, когда полоса пропускания, занятая при передаче сервером битового потока в оконечное устройство, уменьшается.

В возможной реализации, перед кодированием выполняют выборку изображения, которое соответствует подобласти, и которое хранится на сервере, в горизонтальном направлении с первым интервалом выборки, где более высокая широта, соответствующая подобласти, указывает больший первый интервал выборки, или выполняют выборку изображения в вертикальном направлении со вторым интервалом выборки.

В соответствии с четвертым аспектом, обеспечивается сервер, включающий в себя блок деления, выполненный с возможностью выполнять горизонтальное и вертикальное деление на карте широты и долготы или карте сферы обрабатываемого изображения, чтобы получить подобласти карты широты и долготы или карты сферы, где местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального деления определяется широтой, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной смежными местоположениями деления горизонтального деления и интервал вертикального деления является расстоянием между соседними местоположениями деления вертикального деления; и блок кодирования, выполненный с возможностью кодировать изображения полученных подобластей.

В возможной реализации, местоположение деления вертикального деления определяется широтой, что включает в себя: более высокая широта местоположения деления вертикального деления указывает на больший интервал вертикального деления.

В возможной реализации, сервер дополнительно включает в себя блок выборки, выполненный с возможностью выборки изображения подобласти в горизонтальном направлении с первым интервалом выборки, где более высокая широта, соответствующая подобласти, указывает на больший первый интервал выборки; и блок кодирования выполнен с возможностью: кодировать изображение отобранных подобластей.

В возможной реализации, блок выборки дополнительно выполнен с возможностью осуществлять выборку изображения подобласти в вертикальном направлении со вторым интервалом выборки.

В возможной реализации, блок выборки дополнительно выполнен с возможностью: отображать изображение подобласти на двумерное плоское изображение на основании заданного размера; и осуществлять выборку с первым интервалом выборки в горизонтальном направлении двумерного плоского изображения, на которое отображают изображение подобласти.

В возможной реализации, сервер дополнительно включает в себя блок соединения, выполненный с возможностью корректировать местоположения отобранных подобластей, так что горизонтальный край и вертикальный край изображения, соединенные изображениями скорректированных подобластей, соответственно выровнены.

В возможной реализации, блок кодирования выполнен с возможностью кодировать тайл (tile) соединенных изображений.

В возможной реализации, сервер дополнительно включает в себя блок инкапсуляции, выполненный с возможностью независимо друг от друга инкапсулировать битовые потоки, соответствующие кодированным изображениям подобластей, и кодировать информацию местоположения подобластей, где кодированная информация местоположения всех подобластей и битовых потоков всех подобластей находится в одном и том же треке; или кодированная информация местоположения и битовый поток каждой подобласти, соответственно, находятся в треке информации местоположения и треке битового потока; или кодированная информация местоположения всех подобластей находится в описании медиапрезентации (MPD); или закодированная информация местоположения всех подобластей находится в личном файле, и адрес личного файла содержится в MPD; или кодированная информация местоположения каждой подобласти содержится в информации дополнительной оптимизации (SEI) битового потока каждой подобласти.

В возможной реализации, когда подобласть получают путем выполнения горизонтального деления и вертикального деления на карте широты и долготы обрабатываемого изображения, выборочные подобласти образуют выбранную карту широты и долготы, и информация местоположения включает в себя местоположение и размер подобласти в карте широты и долготы, и местоположение и размер подобласти в выбранной карте широты и долготы; или информация местоположения включает в себя местоположение и размер подобласти в карте широты и долготы и местоположение и размер подобласти в соединенном изображении; или когда подобласть получают путь выполнения горизонтального деления и вертикального деления на карте сферы обрабатываемого изображения, выборочные подобласти образуют выборку карты сферы, информация местоположения включает в себя местоположение и диапазон широты и долготы подобласти в изображении карты сферы, и местоположение и размера подобласти в изображении выбранной карты сферы; или информация местоположения включает в себя местоположение и диапазон широты и долготы подобласти в изображении карты сферы, а также местоположение и размер подобласти в соединенном изображении.

В возможной реализации, личный файл может дополнительно включать в себя информацию, используемую для представления соответствия между точки обзора пользователя и номером подобласти, охватываемой углом обзора точки обзора пользователя.

В возможной реализации, личный файл дополнительно включает в себя информацию, используемую для представления количества подобластей, которые должны быть предпочтительно отображены в подобласти, охватываемой углом обзора пользователя, информацию о номере подобласти, которая должна предпочтительно отображать информацию о номере подобласти, которая отображается вторично, и информацию о номере подобласти, которая не отображается.

В возможной реализации, карта широты и долготы включает в себя карту широты и долготы, соответствующую для просмотра левым глазом, и карту широты и долготы, соответствующую для просмотра правым глазом; и блок деления выполнен с возможностью разделять карту широты и долготы, соответствующую для просмотра левым глазом, от карты широты и долготы, соответствующей для просмотра правым глазом; и блок деления выполнен с возможностью выполнять горизонтальное деление и вертикальное деление на карте широты и долготы, соответствующей для просмотра левым глазом, и выполнять горизонтальное деление и вертикальное деление на карте широты и долготы, соответствующей для просмотра правым глазом.

В возможной реализации, сервер дополнительно включает в себя блок передачи, выполненный с возможностью: отправлять в оконечное устройство битовые потоки, соответствующие кодированным изображениям подобластей; или принимать информацию угла обзора, отправленную оконечным устройством, получать на основании информации угла обзора, подобласть, соответствующую информацию угла обзора, и отправлять битовый поток подобласти, соответствующей информации угла обзора, в оконечное устройство; или принимать номер подобласти, который отправляют оконечным устройством, и отправлять битовый поток, соответствующий номеру подобласти, в оконечному устройству.

В возможной реализации, карта широты и долготы является картой широты и долготы 360-градусов панорамного видеоизображения, или часть карты широты и долготы 360-градусов панорамного видеоизображения; или карта сферы представляет собой карту сферы 360-градусов панорамного видеоизображения или часть карты сферы 360-градусов панорамного видеоизображения.

В соответствии с пятым аспектом, обеспечивают оконечное устройство, включающее в себя: блок получения, выполненный с возможностью определять информацию местоположения каждой подобласти панорамного изображения, в котором блок получения дополнительно выполнен с возможностью: определять, на основании определенной информации местоположения каждой подобласти, информацию подобласти, охватываемой текущим углом обзора в панорамном изображении; и определение первого интервала выборки подобласти; и блок получения дополнительно выполнен с возможностью получать, на основании определенной информации местоположения подобласти, охватываемой текущим углом обзора, битовый поток, соответствующий подобласти, охватываемой текущим углом обзора; блок декодирования, выполненный с возможностью декодировать битовый поток, чтобы получить изображение подобласти, охватываемой текущим углом обзора; блок перевыборки, выполненный с возможностью осуществлять перевыборку декодированного изображения на основании определенной информации местоположения подобласти, охватываемой текущим углом обзора, и первым интервалом выборки; и блок воспроизведения, выполненный с возможностью воспроизведения перевыбранного изображения.

В возможной реализации, блок получения, выполненный с возможностью: принимать первую информацию, отправленную сервером, где первая информация включает в себя трек каждой подобласти панорамного изображения и битовый поток каждой подобласти, и трек включает в себя информацию местоположения всех подобластей панорамного изображения; и блок получения дополнительно выполнен с возможностью получать информацию местоположения каждой подобласти в панорамном изображении, основываясь на треке.

В возможной реализации, блок получения выполнен с возможностью: принимать описание медиапрезентации (MPD), отправленную сервером, где MPD включает в себя информацию местоположения каждой подобласти, или MPD включает в себя адрес личного файла, и личный файл содержит информацию местоположения каждой подобласти; и синтаксический анализ MPD для получения информации местонахождения каждой подобласти.

В возможной реализации информация местоположения подобласти находится в информации дополнительной оптимизации (SEI) битового потока, соответствующей подобласти.

В возможной реализации, блок получения, выполненный с возможностью: получать из памяти оконечного устройства битового потока, соответствующий подобласти, охватываемой текущим углом обзора; или запрашивать с сервера получить битовый поток, соответствующий подобласти, охватываемой текущим углом обзора.

В возможной реализации, блок получения выполнен с возможностью: отправлять информацию, указывающую текущий угол обзора, в сервер, и принимать битовый поток, который соответствует подобласти, охватываемой текущим углом обзора, и отправлять с сервера; или получать с сервера в соответствии с заданным протоколом оконечным устройством и сервером, битовый поток, соответствующий подобласти, охватываемой текущим углом обзора, где протокол включает в себя соответствие между углом обзора и подобласти, охватываемой углом обзора.

В возможной реализации, блок получения выполнен с возможностью: определять заданный интервал выборки в качестве первого интервала выборки; или принимать первый интервал выборки из сервера.

В соответствии с шестым аспектом предоставляют сервер и включает в себя: блок хранения, выполненный с возможностью хранить битовые потоки, соответствующие изображениям подобластей карты широты и долготы или карты сферы панорамного изображения, где подобласть получают путем выполнения горизонтального деления и вертикального деления на карте широты и долготы или карте сферы панорамного изображения, где местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального деления определяется широтой, есть, по меньшей мере, два типа интервала вертикального деления в области, образованной соседними местоположениями деления горизонтального деления, и интервал вертикального деления является расстоянием между соседними местоположениями деления вертикального деления; и блок передачи, выполненный с возможностью отправлять в оконечное устройство битовый поток подобласти, охватываемой текущим углом обзора, в сохраненных битовых потоках, которые соответствуют изображениям подобластей и которые запрошены оконечным устройством.

В возможной реализации, перед кодированием изображения, которое соответствует подобласти и которое хранится на сервере, подвергается выборке в горизонтальном направлении с первым интервалом выборки, где более высокая широта, соответствующая подобласти, указывает больший первый интервал выборки, или осуществляют выборку изображения в вертикальном направлении со вторым интервалом выборки. Другими словами, выполняют понижающую выборку на подобласти высоких широт в горизонтальном направлении, а именно, выполняют выборку со сжатием, так что пиксельная избыточность изображения, передаваемого в подобласти высоких широт до кодирования, может быть уменьшена, тем самым сокращая полосу пропускания. Кроме того, понижающая выборка уменьшает значение пикселя, которое должно быть кодировано и передано, так что требование стороны декодирования возможности декодирования снижаются. Сложность декодирования уменьшается, тем самым повышая скорость декодирования.

В другом аспекте, вариант осуществления настоящего изобретения предоставляет машиночитаемый носитель данных, выполненный с возможностью хранить инструкции программного обеспечения компьютера, используемых в упомянутом сервере. Машиночитаемый носитель данных содержит программу, предназначенную для выполнения вышеуказанных аспектов.

В другом аспекте, вариант осуществления настоящего изобретения предоставляет машиночитаемый носитель данных, выполненный с возможностью хранить инструкции программного обеспечения компьютера, используемые в упомянутом оконечном устройстве. Машиночитаемый носитель данных содержит программу, предназначенную для выполнения вышеуказанных аспектов.

Согласно еще одному аспекту, вариант осуществления настоящего изобретения предоставляет компьютерный программный продукт, включающий в себя инструкции. При выполнении инструкции на компьютере, компьютер выполняет способы в вышеупомянутых аспектах.

Варианты осуществления настоящего изобретения обеспечивают способ обработки изображений, оконечное устройство и сервер, где способ включает в себя: выполнение горизонтального деления и вертикального деления на карте широты и долготы или карте сферы обрабатываемого изображения для получения подобласти карты широты и долготы или карты сферы, где местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального деления определяется широтой, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной соседними местоположениями деления горизонтального деления и интервал вертикального деления является расстоянием между соседними местоположениями деления вертикального деления; и кодирование изображения полученных подобластей. Таким образом, по сравнению с предшествующим уровнем техники, в котором карта широты и долготы равномерно разделена на тот же интервал деления, характеристика тщательного деления в течение равномерного деления приводит к низкой эффективности кодирования, и вызывает заполнение значительной части полосы пропускания при передаче после кодирования. В настоящем изобретении, характеристику равномерного и тщательного деления в предшествующем уровне техники можно избежать путем выполнения вертикального деления на основании, по меньшей мере, двух интервалов вертикального деления в различных широтах. В настоящем изобретении вертикальное деление может быть выполнено в виде множества интервалов вертикального деления, формируя множество размеров подобластей изображения. Больший интервал деления указывает на большую подобласть. Эффективность кодирования во время кодирования повышается и после кодирования, при этом сокращается часть полосы пропускания, занятая передачей битового потока сервером в оконечное устройство.

Краткое описание чертежей

Фиг.1 представляет собой схему сигнала 360-градусов панорамного изображения в соответствии с вариантом осуществления настоящего изобретения.

Фиг.2 представляет собой схему преобразования сигнала 360-градусов панорамного изображения в карту широты и долготы в соответствии с вариантом осуществления настоящего изобретения.

Фиг.3 представляет собой схему сетевой архитектуры в соответствии с вариантом осуществления настоящего изобретения.

Фиг.4 представляет собой блок-схему последовательности операций способа обработки изображения в соответствии с вариантом осуществления настоящего изобретения.

Фиг.5 представляет собой схему деления карты широты и долготы на 42 подобласти в соответствии с одним из вариантов осуществления настоящего изобретения.

Фиг.6 представляет собой схему деления карты широты и долготы на 50 подобластей в соответствии с одним из вариантов осуществления настоящего изобретения.

Фиг.7 представляет собой блок-схему последовательности операций способа обработки изображения в соответствии с вариантом осуществления настоящего изобретения.

Фиг.8 представляет собой схему точки обзора области карты широты и долготы в соответствии с вариантом осуществления настоящего изобретения.

Фиг.9 представляет собой схему подобласти, покрытой углом обзора в соответствии с вариантом осуществления настоящего изобретения.

Фиг.10 представляет собой блок-схему алгоритма способа обработки изображения в соответствии с вариантом осуществления настоящего изобретения.

Фиг.11 представляет собой схему процесса декодирования изображения на дисплее оконечного устройства согласно варианту осуществления настоящего изобретения.

Фиг.12 представляет собой схему деления подобласти 3D-карты широты и долготы в соответствии с вариантом осуществления настоящего изобретения.

Фиг.13 представляет собой схему горизонтального деления 180-градусов полупанорамного видеоизображения карты широты и долготы в соответствии с вариантом осуществления настоящего изобретения.

Фиг.14 представляет собой схему деления подобласти 3D 180-градусов полупанорамного видеоизображения карты широты и долготы в соответствии с вариантом осуществления настоящего изобретения.

Фиг.15 представляет собой блок-схему алгоритма способа обработки изображения в соответствии с вариантом осуществления настоящего изобретения.

Фиг.16 представляет собой схему способа для деления сигнала панорамы сферы для получения изображения подобластей в соответствии с одним из вариантов осуществления настоящего изобретения;

Фиг.17А представляет собой блок-схему последовательности операций способа обработки изображения в соответствии с вариантом осуществления настоящего изобретения.

Фиг.17 представляет собой схему сервера согласно варианту осуществления настоящего изобретения.

Фиг.18 представляет собой схему сервера согласно варианту осуществления настоящего изобретения.

Фиг.19 представляет собой схему сервера согласно варианту осуществления настоящего изобретения.

Фиг.20 представляет собой схему оконечного устройства в соответствии с вариантом осуществления настоящего изобретения.

Фиг.21 представляет собой схему оконечного устройства в соответствии с вариантом осуществления настоящего изобретения.

Фиг.22 представляет собой схему оконечного устройства в соответствии с вариантом осуществления настоящего изобретения.

Фиг.23 представляет собой схему сервера согласно варианту осуществления настоящего изобретения.

Фиг.24 представляет собой схему сервера согласно варианту осуществления настоящего изобретения; и

Фиг.25 представляет собой схему сервера в соответствии с вариантом осуществления настоящего изобретения.

Описание вариантов осуществления

Для простоты понимания далее приведено описание примера некоторых концепций, относящихся к настоящему изобретению, на которые сделана ссылка, как представлены следующим образом:

Панорамное видео. VR панорамное видео, также упоминается как 360-градусное панорамное видеоизображение или 360 видео, представляет собой видеоизображение, которое сфотографировано с использованием множества камер, расположенных по кругу. При просмотре видео, пользователь может самостоятельно изменять направление просмотра видео.

3D панорамное видео. VR панорамное видео в формате 3D. Видео включает в себя два 360-градусных панорамных видеоизображения. Одно используется для просмотра левым глазом и другое используется для просмотра правым глазом. Два видеоизображения имеют некоторые различия в контексте, отображаемые для левого глаза и правого глаза в одном кадре, так что пользователь может наблюдать 3D эффект во время просмотра.

Карта широты и долготы. Равнопромежуточная проекция (Equirectangular Projection, ERP), формат панорамного изображения, двумерное панорамное изображение, которое получают путем равномерной выборки и отображения сигнала сферического изображения с одним и тем же интервалом долготы и одним и тем же интервалом широты и которые могут быть использованы для хранения и передачи. Горизонтальная координата и вертикальная координата изображения могут быть соответственно представлены с использованием широты и долготы. Направление по ширине может быть представлено в виде долготы с диапазоном измерения 360°, и направление по высоте может быть представлено в виде широты с диапазоном измерения 180°.

Декодирование видео (video decoding). Процесс обработки восстановления битового потока видео для получения восстановленного изображения в соответствии с определенным правилом синтаксиса и способом обработки.

Кодирование видео (video encoding). Процесс обработки сжатия последовательности изображений в битовый поток.

Кодирование видео (video coding). Обобщенное название процесса кодирования видео и декодирования видео. Переведенный китайский термин «кодирование видео» аналогичен термину «кодирование видео».

Тайл. Стандарт кодирования видео, а именно, область блочного кодирования, полученная, подлежащего кодированию изображения, с высокой эффективностью кодирования (High Efficiency Video Coding, HEVC). Один кадр изображения может быть разделен на множество тайлов, и множество тайлов образует кадр изображения. Каждый тайл может быть закодирован независимо друг от друга. Тайл в настоящем изобретении может быть тайлом, который использует технологию набора тайлов с ограниченным перемещением (motion-constrained tile set, MCTS).

MCTS представляет собой набор тайлов с ограниченным перемещением, и является технологией кодирования для тайла. Технологии ограничивает вектор движения внутри тайла во время кодирования, так что тайл на одном и том же местоположении в последовательности изображений не относятся к пикселю изображения вне области местоположения тайла во временной области и, следовательно, каждый тайл во временной области может быть независимо декодирован.

Субизображение (sub-picture) является частью исходного изображения, которое получают путем деления всего изображения. Субизображение в настоящем изобретении может быть субизображением, форма которого представляет собой квадрат.

Подобласть изображения. Подобласть изображения в настоящем изобретении может быть использована в качестве общего названия тайла или субизображения, и может быть названа для краткости, как подобласть.

VDC представляет собой процесс кодирования видео, основанный на угле обзора, и является технологией кодирования и передачи для кодирования панорамного видеоизображения, а именно, способ кодирования и передачи на основе угла обзора пользователя на оконечном устройстве.

Тайловое кодирование представляет собой способ кодирования видео и представляет собой процесс, в котором последовательность изображений делят на множество подобластей изображений, и все подобласти отдельно кодируют для генерирования одного или нескольких битовых потоков. Тайловое кодирование в настоящем изобретении может представлять собой тайловое кодирование в VDC.

Трек может быть переведен как «track» и представляет собой последовательность выборок, которые имеют атрибут времени и которые подвержены инкапсуляции на основе стандартов международной организации по стандартизации (International Standardization Organization, ISO) базового формата медиафайла (ISO base media file format, ISOBMFF). Например, видеотрек, а именно, выборка видео, является битовым потоком, сгенерированным после того, как каждый кадр кодируется видеокодером, и все видеовыборки инкапсулируются для генерирования выборок в соответствии с спецификацией ISOBMFF.

Ящик может быть переведен как «box», и является объектно-ориентированным строительным блоком в стандарте, и определяется уникальным идентификатором типа и длиной. Ящик может называться как «atom» в некоторых спецификациях и включает в себя первое определение в MP4. Ящик является базовым блоком ISOBMFF файла, и ящик может содержать другие ящики.

Информация для дополнительной оптимизации (supplementary enhancement information, SEI), представляет собой тип блока доступа к сети (Network Abstract Layer Unit, NALU), определенного в стандартах кодирования и декодирования видео (h.264, h.265).

MPD представляет собой документ, указанный в стандарте ISO/IEC 23009-1, где документ включает в себя метаданные протокола передачи гипертекста (HTTP, HyperText Transfer Protocol, HTTP)-единообразный определитель местоположения ресурса (Uniform Resource Locator, URL), построенный клиентом. MPD включает в себя один или более элементов периода (period). Каждый элемент периода включает один или более наборов адаптации (adaptationset). Каждый набор адаптации включает в себя одну или несколько представлений (representation) и каждое представление включает в себя один или несколько сегментов. Клиент выбирает представление на основании информации в MPD и строит HTTP-URL сегмента.

ISO базовый формат медиафайла включает в себя последовательность ящиков. Другие блоки могут быть включены в ящик. Эти ящики включают в себя ящик метаданных и ящик медиаданных, ящик метаданных (moov box) включает в себя метаданные, и ящик медиаданных (mdat box) включает в себя мультимедийные данные. Ящик метаданных и ящик медиаданных могут находиться в одном и том же файле или могут быть в разных файлах.

Варианты осуществления настоящего изобретения могут быть применимы к процессу обработки до кодирования панорамного видео или части панорамного видео, и к процессу, в котором кодированный битовый поток инкапсулирован, и включают в себя соответствующую операцию и обработку как в сервере, так и в оконечном устройстве.

Как показано на фиг.3, сетевая архитектура в настоящем изобретении может включать в себя сервер 31 и оконечное устройство 32. Фотографическое устройство 33 может также обмениваться данными с сервером 31, и фотографическое устройство может быть выполнено с возможностью фотографировать 360-градусов панорамное видео и также передавать видео на сервер 31. Сервер может выполнять предварительную обработку кодирования панорамного видео, а затем выполнять кодирование или перекодирование, затем инкапсулирует кодированный битовый поток в транспортируемой файл, и передает файл в оконечное устройство или содержание распределительной сети. Сервер может дополнительно выбрать, основываясь на информации, отправленной обратно оконечным устройством (например, угол обзора пользователя), содержание, которое должно быть передано для передачи сигнала. Оконечное устройство 32 может представлять собой электронное устройство, которое может быть подключено к сети, например, VR очки, мобильный телефон, планшетный компьютер, телевизор или компьютер. Оконечное устройство 32 может принимать данные, отправленные сервером 31, выполнять декапсуляцию битового потока и отображать после декодирования, и тому подобное.

Для решения технической задачи по эффективному использованию полосы пропускания кодирования и передачи и ограничения скорости и функциональных возможностей декодирования на стороне декодирования, что является следствием равномерного деления изображения на основании карты широты и долготы, настоящее изобретение обеспечивает способ обработки изображения. Способ может предоставлять собой способ обработки и тайлового деления карты широты и долготы на основе множества подобластей изображений, и соответствующее режиму кодирования, передачи и декодирования изображения. В этом варианте осуществления настоящего изобретения диапазон долготы по горизонтали карты широты и долготы определяется как 0 до 360°, и диапазон широты по вертикали -90° до 90°. Отрицательное число представляет южную широту и положительное число представляет северную широту. Как показано на фиг.4, способ может включать в себя следующие этапы.

Обработка перед кодированием

401. Сервер выполняет горизонтальное деление на карте широты и долготы обрабатываемого изображения, где местоположение деления горизонтального деления является заданной широтой.

Изображение может представлять собой множество последовательностей изображений видео.

Например, на основании видео, полученного фотографическим устройством, сервер получает карту широты и долготы видео. Как показано на (а) фиг. 5, сервер отдельно указывает провести линии широты на широте -60°, широте -30°, широте 0°, широте 30° и широте 60° в вертикальном направлении широтно-долготной сетки карты для деления по горизонтали широтно-долготную сетку карты. На (а) на фиг. 5, Х используется для представления значения широты и значение широты равно 0° на экваторе широтно-долготной сетки карты. Между северной широтой 90° и южной широтой 90°, карта широты и долготы по горизонтали делится на северной широте 30° и северной широте 60°, и горизонтально разделена на южной широте -60° и южной широте - 30° с интервалом горизонтального деления в 30°. Интервал деления также может рассматриваться как шаг деления.

402. Сервер выполняет вертикальное разделение на карте широты и долготы обрабатываемого изображения, где местоположение деления вертикального деления определяется широтой, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной смежными местоположениями деления горизонтального деления, а также интервал вертикального деления является расстоянием между соседними местоположениями деления вертикального деления для получения каждой подобласти карты широты и долготы.

В возможной реализации, когда выполняют вертикальное деление, интервалы вертикального деления между различными широтами могут быть различными в южной широте карты широты и долготы, и интервалы вертикального деления между южной широтой и соответствующей северной широтой могут быть одинаковыми. Более высокая широта местоположения деления вертикального деления указывает на больший интервал вертикального деления, или интервалы вертикального деления являются одинаковыми между различными широтами.

Например, для местоположения деления горизонтального деления, для субизображения в диапазоне широты от -90° до -60° в южной широте и в диапазоне широты от 60° до 90° в северных широтах, может быть использована долгота 120° в качестве интервала вертикального деления для вертикального деления субизображения, чтобы получить три подобласти; для субизображения в широтном диапазоне от -60° до -30° и в широтном диапазоне от 30° до 60°, долгота 60° используется в качестве интервала вертикального деления для вертикального деления субизображения, чтобы получить шесть подобластей; для субизображения в широтном диапазоне от -30° до 0°, и в широтном диапазоне от 0° до 30°, долгота 30° используется в качестве интервала вертикального деления для вертикального деления субизображения для получения 12 подобластей. Таким образом, в общей сложности получают 42 подобластей после завершения деления на подобласти всей карты широты и долготы, как показано на (а) фиг. 5. Интервал деления по вертикали включает в себя деление долготы 120°, долготы 60° и долготы 30°.

В другой возможной реализации, приведенный выше способ, в котором делят субизображение, отличается тем, что карта широты и долготы может быть разделена на 50 подобластей. Например, для субизображения в широтном диапазоне от -90° до -60° и от 60° до 90°, вертикальное деление не выполняется, и одна подобласть сохраняется; для субизображения в широтном диапазоне от -60° до -30° и от 30° до 60°, долгота 30° используется в качестве интервала вертикального деления для вертикального деления субизображения, чтобы получить 12 подобластей; для субизображения в широтном диапазоне от -30° до 0° и от 0° до 30°, долгота 30° используется в качестве интервала вертикального разделения для вертикального деления субизображения, чтобы получить 12 подобластей. Таким образом, в общей сложности получают 50 подобластей после деления карты широты и долготы, как показано на (а) фиг. 6. Шаг деления включает в себя долготу 30° и долготу 0°. Когда шаг деления равен 0°, то это указывает на то, что вертикальное деление не выполняется на субизображении.

403. Сервер кодирует изображения полученных подобластей.

Таким образом, характеристика равномерного и тщательного разделения, что приводит к низкой эффективности кодирования, и недостаток неэффективного использования полосы пропускания при передаче после кодирования можно избежать путем выполнения вертикального деления на основании, по меньшей мере, двух типов интервалов вертикального деления между различными широтами в настоящем изобретении. Карта широты и долготы может быть разделена на основе множества интервалов вертикального деления, так что есть множество размеров подобластей, и больший интервал вертикального деления указывает на большую подобласть. Например, более высокая широта местоположения деления вертикального деления указывает на больший интервал вертикального деления и большую подобласть. Эффективность кодирования во время кодирования повышается, и полоса пропускания, занимаемая сервером для передачи битового потока в оконечное устройство после кодирования, уменьшается.

Кроме того, в существующем способе равномерного деления карты широты и долготы для стороны декодирования, а именно, для оконечного устройства, количество избыточных пикселей, полученных оконечным устройством, является относительно большим, требование оконечного устройства для максимальных функциональных возможностей декодирования также увеличивается, и требуется высокая скорость декодирования. Для решения данной технической задачи в настоящем изобретении может быть выполнена операция снижения избыточности пикселей в подобласти, полученной после выполнения неравномерного деления, а именно, понижающая выборка. В этом случае, количество пикселей, которые должны быть закодированы и переданы, уменьшается, и максимальная способность декодирования, требуемая стороной декодирования, уменьшается, уменьшается сложность декодирования и скорость декодирования декодера улучшается. Поэтому, как показано на фиг.7, перед этапом 403, способ реализации настоящего изобретения может дополнительно включать в себя следующие этапы.

404. Сервер выполняет исходные выборки на изображении подобласти в вертикальном направлении, или выборки изображения подобласти в вертикальном направлении со вторым интервалом выборки.

Например, для каждой подобласти, полученной путем деления карты широты и долготы, показанной на (а) фиг. 5 или на (а) фиг. 6, исходные выборки могут быть рассмотрены как сохранение изображения каждой подобласти без изменений в вертикальном направлении, без выполнения обработки масштабирования, или без выполнения обработки. Выполняют выборку со вторым интервалом выборки. Например, выполняют понижающую выборку на каждой всей подобласти в вертикальном направлении. Это также может быть понято, как выполнение выборки в вертикальном направлении на основании заданной высоты подобласти.

405. Сервер выполняет выборку изображения подобласти в горизонтальном направлении с первым интервалом выборки, где более высокая широта, соответствующая подобласти, указывает на больший первый интервал выборки.

Первый интервал выборки и второй интервал выборки может быть установлен на стороне сервера, и первый интервал выборки и второй интервал выборки могут быть одинаковыми или различными. Первый интервал выборки может быть обратным коэффициентом масштабирования, а именно, выполняют выборку одного пикселя из множества пикселей, чтобы получить масштабированное изображение.

Например, для карты широты и долготы, показанной на (а) на фиг. 5, выполняют понижающую выборку в горизонтальном направлении на субизображении в широтном диапазоне от -90° до -60°, и в широтном диапазоне от 60° до 90°, первый интервал выборки составляет 4, а именно, выбирают один пиксель из каждых четырех пикселей, и коэффициент масштабирования равен 1/4; также выполняют понимающую выборку горизонтально на субизображении в широтном диапазоне от -60° до -30°, и в широтном диапазоне от 30° до 60°, и коэффициент масштабирования равен 1/2; для субизображения в широтном диапазоне от -30° до 0°, и в широтном диапазона от 0° до 30° не выполняют горизонтальное масштабирование. Окончательные полученные выборки изображения показаны в (b) по фиг. 5. Следует отметить, что (b) на фиг. 5 представляет собой изображение, полученное после понижающей выборки, выполняемой на (а) на фиг. 5 только в горизонтальном направлении, а не в вертикальном направлении. В данном примере, первый интервал выборки пропорционален широте во время горизонтальной выборки. Другими словами, более высокая широта, соответствующая подобласть для северной широты изображения указывает на больший первый интервал выборки. Кроме того, более высокая широта для южной широты изображения указывает на больший первый интервал выборки. Для южной широты изображения и северной широты изображения интервалы выборки, соответствующие одной и той же широте, одинаковы.

В другом примере для карты широты и долготы, показанной в (а) фиг. 6, по сравнению со схемой в (b) на фиг.5, в котором выполняют понижающую выборку в вертикальном направлении, размеры подобластей, полученных после деления и масштабирования на карте широты и долготы, могут быть неравномерными между различными широтами. Таким образом, ограничение в размерах масштабированных подобластей в (b) на фиг. 5 представляют собой то же самое деление и, следовательно, кодирование и эффективность передачи на сервер во время кодирования и передачи улучшается. В частности, для карты широты и долготы, показанной в (а) фиг. 6, субизображение в широтном диапазоне от -90° до -60° и в широтном диапазоне от 60° до 90° не изменяется в вертикальном направлении, на котором выполняют понижающую выборку с интервалом выборки в горизонтальном направлении, и коэффициент масштабирования равен 1/4; субизображение в широтном диапазоне от -60° до -30° и в широтном диапазоне от 30° до 60° не изменяется в вертикальном направлении, на котором выполняют понижающую выборку в горизонтальном направлении, и коэффициент масштабирования равен 1/2; субизображение в широтном диапазоне от -30° до 0° и в широтном диапазоне от 0° до 30°, масштабирование не выполняется, а именно, масштабирование не выполняют ни в вертикальном направлении, ни в горизонтальном направлении и, наконец, полученное масштабированное изображение показано на (b) на фиг. 6.

Возможно, масштабированная карта широты и долготы разделена нерегулярно, как показано на (b) фиг. 5 и (b) фиг. 6. Таким образом, в настоящем изобретении, масштабированная подобласть может быть перемещена и объединена для образования заданного изображения. Таким образом, способ может дополнительно включать в себя следующие этапы.

406. Сервер корректирует местоположение выборочных подобластей, так что горизонтальный край и вертикальный край изображения, соединенные изображениями скорректированных подобластей, соответственно выровнены.

Например, для карты широты и долготы, показанной на (b) фиг. 5, скорректированное местоположение изображения может быть показано на (с) фиг. 5.

Этап 403 может быть заменен на:

407. Сервер кодирует изображения выборочных подобластей.

Например, в 42 подобластей в (b) фиг. 5, которые получают после деления и масштабирования на подобластях, или в рекомбинированных 42 подобластях в (с) фиг. 5, каждая подобласть может быть закодирована. Могут использовать два способа кодирования: (1) способ кодирования субизображения, а именно, по отдельности кодируют каждую последовательность субизображения для генерирования 42 суббитовых потоков, а именно, каждое субизображение, соответствует одному битовому потоку. Субизображение может быть вышеизложенной подобластью, а именно, по отдельности кодируют 42 подобласти для получения битового потока, соответствующий каждой подобласти. (2) Выполняют тайловый режим кодирования (tile) на всем изображении. Может быть использована MCTS технология при кодировании для генерирования одного битового потока всего изображения для хранения, или делят один битовый поток для получения 42 суббитовых потоков для хранения. Все изображение здесь могут быть изображением, полученным после выборки и масштабирования источника карта широты и долготы, как показано в (b) фиг. 5, или могут быть обычным изображением, полученным после рекомбинирования изображения, которое подвержено выборке и масштабированию, как показано на (с) фиг. 5.

После кодирования изображения, сервер дополнительно необходимо инкапсулировать битовый поток каждой кодированной подобласти. Таким образом, способ может дополнительно включать в себя следующие этапы.

408. Сервер независимо инкапсулирует битовый поток, соответствующий изображению каждой кодированной подобласти, и кодирует информацию местоположения каждой подобласти.

Сервер может инкапсулировать битовые потоки всех подобластей в один трек, а именно, трек. Например, битовые потоки инкапсулируются в трек тайла или может быть, соответственно, инкапсулированы в треки, соответствующие битовым потокам. Информация местоположения подобласти может рассматриваться как информация описания способа деления подобласти, и кодированная информация местоположения всех подобластей и битовых потоках всех подобластей может находиться в одном и том же треке; или кодированная информация местоположения и битовый поток каждой подобласти, соответственно, находится в треке информации местоположения и треке битового потока; или закодированная информация местоположения всех подобластей находится в описании медиапрезентации (MPD); или закодированную информацию местоположения всех подобластей может находиться в личном файле, а также адрес личного файла содержится в MPD; или кодированная информация местоположения каждой подобласти находится в информации для дополнительной оптимизации (SEI) битового потока каждой подобласти. В настоящем изобретении способ хранения информации местоположения подобласти не ограничиваются.

Когда подобласть получают путем выполнения горизонтальное деления и вертикального деления на карте широты и долготы обрабатываемого изображения, выборочные подобласти образуют выборочную карту широты и долготы и информация местоположения включает в себя местоположение и размер подобласти в карте широты и долготы, и местоположение и размер подобласти в выборочной карте широты и долготы; или информация местоположения включает в себя местоположения и размер подобласти в карте широты и долготы, и местоположение и размер подобласти в соединенном изображении. Размер может включать в себя ширину и высоту.

Ниже описаны отдельно различные способы хранения информации местоположения упомянутой подобласти.

Способ 1. Информация местоположения всех подобластях хранят в одном треке. Информация описания всех способов деления подобласти может быть добавлена к треку соединенного изображения. Например, следующий синтаксис добавляется к moov box трека соединенного изображения:

aligned(8) class RectRegionPacking(i) {

unsigned int(16) proj_reg_width[i];

unsigned int(16) proj_reg_height[i];

unsigned int(16) proj_reg_top[i];

unsigned int(16) proj_reg_left[i];

unsigned int(3) transform_type[i];

bit(5) reserved = 0;

unsigned int(16) packed_reg_width[i];

unsigned int(16) packed_reg_height[i];

unsigned int(16) packed_reg_top[i];

unsigned int(16) packed_reg_left[i];

}

RectRegionPacking (i) описывает информацию деления i-й подобласти.

proj_reg_width [I] и proj_reg_height [I] описывают соответствующую ширину и соответствующую высоту i-й подобласти в выборочном изображении в исходном изображении, а именно, карта широты и долготы перед выборкой (например, (а) фиг. 5), например, соответствующая ширина и соответствующая высота подобласти, которая находится в (b) фиг. 5 в (а) фиг. 5. Так, например, для карты широты и долготы с шириной 3840 и высотой 1920, ширина и высота первой подобласти в верхнем левом углу (b) на фиг. 5 в исходном изображении равны (1280, 320).

proj_reg_top [I] и proj_reg_left [I] описывает соответствующее местоположение пикселя, который находится в левом верхнем углу i-й подобласти в выборочном изображении в исходном изображении, например, соответствующее местоположение левой верхней точки подобласти, которая находится в (b) фиг.5 в (а) фиг.5. Так, например, местоположение первой подобласти, которая находится в левом верхнем углу (b) фиг.5 в исходном изображении составляет (0, 0). Местоположение получают с использования верхнего левого угла исходного изображения в качестве координат (0,0).

transform_type [i] описывает, что i-я подобласть в выборочном изображении преобразуется из соответствующего местоположения в исходном изображении. Например, i-я подобласть получают путем выполнения следующих операций на соответствующей области в исходном изображении: сохранение/поворот на 90 градусов/поворот на 180 градусов/поворот на 270 градусов/горизонтального зеркального отображения/поворот на 90 градусов после горизонтального зеркального отображения/поворот на 180 градусов после горизонтального зеркального отображения/поворот на 270 градусов после горизонтального зеркального отображения.

packed_reg_width [i] и packed_reg_height [i] описывает ширину и высоту i-й подобласти, которая находится в выборочном изображении в объединенном обычном изображении, а именно, ширина и высота подобласти в (с) фиг.5. Так, например, ширина и высота первой подобласти в верхнем левом углу на (b) фиг. 5 представляют собой (320, 320) в объединенном обычном изображении. Следует отметить, что, когда этап 406 не выполняется, то изображение, полученное после объединения подобластей, представляет собой изображение на (b) фиг. 5, и ширина и высота являются шириной и высотой в (b) фиг. 5.

packed_reg_top [i] и packed_reg_left [i] описывает относительное местоположение пикселя, который находится в верхнем левом углу i-й подобласти в выборочном изображении в обычном изображении, полученном после объединения подобластей, а именно, верхняя левая точка каждой подобласти в (с) на фиг. 5. Следует отметить, что, когда этап 406 не выполняется, то изображение, полученное после объединения подобластей является изображением в (b) на фиг. 5 и местоположение является местоположением в (b) по фиг. 5.

Способ 2. Когда информация местоположения каждой подобласти хранится в треке, соответствующий подобласти, то способ деления соответствующей подобласти может быть описан в треке тайла. В частности, следующий синтаксис может быть добавлен в moov box в треке тайла:

aligned(8) class SubPictureCompositionBox extends TrackGroupTypeBox ('spco') {

unsigned int(16) track_x;

unsigned int(16) track_y;

unsigned int(16) track_width;

unsigned int(16) track_height;

unsigned int(16) composition_width;

unsigned int(16) composition_height;

unsigned int(16) proj_tile_x;

unsigned int(16) proj_tile_y;

unsigned int(16) proj_tile_width;

unsigned int(16) proj_tile_height;

unsigned int(16) proj_width;

unsigned int(16) proj_height;

}

track_x и track_y описывают местоположение пикселя, который находится в верхнем левом углу подобласти текущего трека в обычном изображении, полученном после объединения подобластей, а именно, верхней левой точки текущей подобласти на (с) фиг. 5.

track_width и track_height описывают ширину и высоту подобласти текущего трека в обычном изображении, полученном после объединения подобластей, а именно, ширину и высоту текущей подобласти в (с) на фиг. 5.

composition_width и composition_height описывают ширину и высоту обычного изображения, полученного после объединения подобластей, а именно, ширину и высоту изображения в (с) на фиг. 5.

proj_tile_x и proj_tile_y описывают местоположение пикселя, который находится в верхнем левом углу подобласти текущего трека в исходном изображении, а именно, верхняя левая точка текущей подобласти в (а) фиг. 5.

proj_tile_width и proj_tile_height описывают ширину и высоту подобласти текущего трека в исходном изображении, а именно, ширину и высоту текущей подобласти в (а) фиг. 5.

proj_width и proj_height описывают ширину и высоту исходного изображения, а именно, ширину и высоту изображения в (а) фиг. 5.

Способ 3. Информация местонахождения всех подобластей хранятся в MPD, а именно, способ деления подобласти описан в MPD.

Синтаксис в MPD может быть:

<?xml version="1.0" encoding="UTF-8"?>

<MPD

xmlns="urn:mpeg:dash:schema:mpd:2011"

type="static"

mediaPresentationDuration="PT10S"

minBufferTime="PT1S"

profiles="urn:mpeg:dash:profile:isoff-on-demand:2011">

<Period>

<!-- source image description -->

<AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1">

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,0,0,3840,1920,3840,1920"/>

<Representation mimeType="video/mp4" codecs="avc1.42c00d" width="3840" height="1920" bandwidth="79707" startWithSAP="1">

<EssentialProperty schemeIdUri="urn:mpeg:mpegB:OmvProjection" value="0 "/>

<BaseURL> src.mp4</BaseURL>

<SegmentBase indexRangeExact="true" indexRange="837-988"/>

</Representation>

</AdaptationSet>

<!-- Tile 1 -->

<AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1">

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,0,0,1280,320,3840,1920"/>

<Representation mimeType="video/mp4" codecs="avc1.42c00d" width="1280" height="320" bandwidth="79707" startWithSAP="1">

<EssentialProperty schemeIdUri="urn:mpeg:mpegB:OmvProjection" value="0 "/>

<BaseURL> tile1.mp4</BaseURL>

<SegmentBase indexRangeExact="true" indexRange="837-988"/>

</Representation>

</AdaptationSet>

<!-- Tile 2 -->

<AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1">

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,1280,0,1280,320,3840,1920"/>

<Representation mimeType="video/mp4" codecs="avc1.42c00d" width="1280" height="320" bandwidth="79707" startWithSAP="1">

<EssentialProperty schemeIdUri="urn:mpeg:mpegB:OmvProjection" value="0 "/>

<BaseURL> tile2.mp4</BaseURL>

<SegmentBase indexRangeExact="true" indexRange="837-988"/>

</Representation>

</AdaptationSet>

…

</Period>

</MPD>

В синтаксисе способа 3 семантика <value="0,1280,0,1280,320,3840,1920"/> выглядит следующим образом: первый 0 представляет собой идентификатор источника, и того же идентификатор источника представляет собой тот же источник, а именно, одно и тот же исходное изображение; «1280,0» представляет собой координату верхнего левого местоположения подобласти в текущем представлении в исходном изображении; «1280.320» обозначает ширину и высоту подобласти в текущем представлении; и «3840,1920» обозначает ширину и высоту исходного изображения.

В приведенном выше MPD используют 2D-изображение для описания местоположения изображения, которое находится в битовом потоке, соответствующей подобласти в источнике видеоизображения. Возможно, местоположение подобласти в исходном изображении может быть представлено с использованием сферической системы координат. Например, информация в приведенном выше значении преобразуется в сферическую информацию, например, значение = «0,0,30,0,120,30». Конкретный семантика выглядит следующим образом: первый 0 представляет собой идентификатор источника, и то же значение идентификатора источника представляет собой тот же источник; «0,30,0» представляет собой координату центральной точки области, соответствующей подобласти на сфере (угол рыскания, угол наклона и угол поворота); и «120,30» представляет угол ширины и угол высоты подобласти.

Способ 4. Информация местонахождения всех подобластей хранится в личном файле, а также адрес личного файла хранится в MPD. Другими словами, адрес личного файла, который хранит информацию описания деления подобласти, записывают в MPD, указав ссылку на файл в MPD.

Синтаксис может выглядеть следующим образом:

<?xml version="1.0" encoding="UTF-8"?>

<MPD

xmlns="urn:mpeg:dash:schema:mpd:2011"

type="static"

mediaPresentationDuration="PT10S"

minBufferTime="PT1S"

profiles="urn:mpeg:dash:profile:isoff-on-demand:2011">

<Period>

<AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1">

<EssentialProperty schemeIdUri="urn:mpeg:dash:tile:2014" value="tile_info.dat"/>

<Representation mimeType="video/mp4" codecs="avc1.42c00d" width="3840" height="1920" bandwidth="79707" startWithSAP="1">

<EssentialProperty schemeIdUri="urn:mpeg:mpegB:OmvProjection" value="0 "/>

<BaseURL> src.mp4</BaseURL>

<SegmentBase indexRangeExact="true" indexRange="837-988"/>

</Representation>

</AdaptationSet>

…

</Period>

</MPD>

В способе 4 информация деления подобласти хранится в личном файле tile_info.dat. Данные информации деления подобласти, хранящейся в файле, могут быть заданы пользователем, что не ограничено в данном описании. Например, хранящийся контент может быть сохранен одним из следующих способов:

(file<tile_info.dat>content)

unsigned int(16) tile_num;

unsigned int(32) pic_width;

unsigned int(32) pic_height;

unsigned int(32) comp_width;

unsigned int(32) comp_height;

unsigned int(32) tile_pic_width[];

unsigned int(32) tile_pic_height[];

unsigned int(32) tile_comp_width[];

unsigned int(32) tile_comp_height[];

Указанные выше данные показывает следующие значения:

tile_num представляет собой количество разделенных подобластей.

pic_width обозначает ширину исходного изображения, а именно, ширину изображения в (а) на фиг. 5.

pic_height представляет собой высоту исходного изображения, а именно, высоту изображения в (а) на фиг. 5.

comp_width представляет собой ширину обычного изображения, полученного после объединения подобластей, а именно, ширину изображения в (с) на фиг. 5.

comp_height представляет собой высоту обычного изображения, полученного после объединения подобластей, а именно, высота изображения в (с) на фиг. 5.

tile_pic_width [] представляет собой массив, представляющий ширину каждой подобласти в исходном изображении, и количество элементов должно быть значением tile_num.

tile_pic_height [] представляет собой массив, представляющий высоту каждой подобласти в исходном изображении, и количество элементов должно быть значением tile_num.

tile_comp_width [] представляет собой массив, представляющий ширину каждой подобласти в обычном изображении, полученном после объединения подобластей и количество элементов должно быть значением tile_num.

tile_comp_height [] представляет собой массив, представляющий высоту каждой подобласти в обычном изображении, полученном после объединения подобластей и количество элементов должно быть значением tile_num.

В способе 4 унифицированный определитель местоположения ресурса (Uniform Resource Locator, URL) личного файла записывается в MPD путем указания нового EssentialProperty атрибута Tile@value. Tile@value описание атрибута может быть показано в таблице 1. Когда оконечное устройство запрашивает видеоконтент, личный файл получен путем анализа элемента, так, чтобы получить информацию, такую как способ деления подобласти и местоположение.

Таблица 1. Tile@value описание атрибута в "urn:mpeg:dash:tile:2014"

Tile@value Описание информация Указывает информацию тайла

Способ 5. Информация местоположения каждой подобласти хранят в информации для дополнительной оптимизации SEI битового потока каждой подобласти, а именно, способ деления передачи подобласти путем записи информации местонахождения подобласти в SEI битового потока. На основе информации деления подобласти в изображении, установка элемента синтаксиса SEI может быть показана в таблице 2.

Таблица 2. SEI элемент синтаксиса на основании информации деления подобласти

Синтаксис общей SEI

sei_payload( payloadType, payloadSize ) { Дескриптор if( nal_unit_type = = PREFIX_SEI_NUT ) if( payloadType = = 0 ) buffering_period( payloadSize ) … else if( payloadType = = 154 ) mcts_extraction_info_nesting( payloadSize ) else if( payloadType = = 155) tile_wise_mapping_info ( payloadSize ) … else if( payloadType = = 160 ) layers_not_present( payloadSize ) /* specified in Annex F */ } }

Синтаксис SEI информации деления подобласти

tile_wise_mapping_info ( payloadSize ) { Дескриптор src_pic_width ue(v) src_pic_height ue(v) src_tile_x ue(v) src_tile_y ue(v) src_tile_width ue(v) src_tile_height ue(v) packed_pic_width ue(v) packed_pic_height ue(v) packed_tile_x ue(v) packed_tile_y ue(v) packed_tile_width ue(v) packed_tile_height ue(v) }

В таблице 2, к типу SEI добавлен новый тип 155, указывающий, что текущий битовый поток представляет собой подобласть битового потока и добавляют информацию tile_wise_mapping_info (payloadSize), содержащийся элемент синтаксиса означает следующее:

src_pic_width обозначает ширину исходного изображения, а именно, ширину изображения в (а) на фиг. 5.

src_pic_height представляет собой высоту исходного изображения, а именно, высота изображения в (а) фиг. 5.

src_tile_x представляет собой горизонтальную координату верхнего левого угла текущей подобласти на исходном изображении, а именно, горизонтальная координата текущей подобласти в (а) фиг. 5.

src_tile_y представляет собой вертикальную координату верхнего левого угла тока текущей подобласти на исходном изображении, а именно, вертикальная координата текущей подобласти в (а) фиг. 5.

src_tile_width представляет собой ширину текущей подобласти на исходном изображении.

src_tile_height представляет собой высоту текущей подобласти на исходном изображении.

packed_pic_width представляет собой ширину обычного изображения, полученного после объединения подобластей, а именно, ширину изображения в (с) на фиг. 5.

packed_pic_height представляет собой высоту обычного изображения, полученного после объединения подобластей, а именно, высота изображения в (с) на фиг. 5.

packed_tile_x представляет собой горизонтальную координату верхнего левого угла текущей подобласти на объединенном обычном изображении, а именно, горизонтальная координата текущей подобласти в (с) на фиг. 5.

packed_tile_y представляет собой вертикальную координату верхнего левого угла текущей подобласти на объединенном обычном изображении, а именно, вертикальная координата текущей подобласти в (с) на фиг. 5.

packed_tile_width представляет собой ширину текущей подобласти на объединенном обычном изображении.

packed_tile_height представляет собой высоту текущей подобласти на объединенном обычном изображении.

Дополнительно, приведенный выше способ 4 может быть в настоящем изобретении расширен, и в MPD URL-адрес личного файла, где храниться информация местоположения подобласти, может быть определен с помощью нового элемента.

Расширение способа 4: адрес личного файла, который хранит информацию деления подобласти, записывается в MPD, указав ссылку на файл в MPD.

Синтаксис может быть:

<?xml version="1.0" encoding="UTF-8"?>

<MPD

xmlns="urn:mpeg:dash:schema:mpd:2011"

type="static"

mediaPresentationDuration="PT10S"

minBufferTime="PT1S"

profiles="urn:mpeg:dash:profile:isoff-on-demand:2011">

<Period>

<AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1">

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,1,1,0"/>

<Representation mimeType="video/mp4" codecs="avc1.42c00d" width="3840" height="1920" bandwidth="79707" startWithSAP="1">

<UserdataList>

<UserdataURL dat="tile_info.dat" />

</UserdataList>

</Representation>

</AdaptationSet>

…

</Period>

</MPD>

Расширение способа 4, информация местоположения подобласти хранится в личном файл tile_info.dat, добавлен синтаксис элемента <UserdataList> (со ссылкой на таблицу 3), содержащий UserdataURL элемент, и личный файл записывается в MPD. Когда оконечное устройство запрашивает видеоконтент, получают личный файл путем анализа <UserdataList> для получения информации о способе деления подобласти и местоположения.

Таблица 3. Описание синтаксиса элемента ExtentdataList

Элемент или название атрибута Использование Описание UserdataList Указано пользовательской информацией данных UserdataURL 0 ... N Указано пользовательскими данными URL

Информация описания способа деления подобласти вышеизложенным способом 4 может быть расширена. Расширение предназначено для контента в передаваемом личном файле tile_info.dat и добавлена таблица соотношения между углом обзора пользователя и необходимой подобластью, так что оконечное устройство может запросить соответствующую подобласть битового потока более быстро. Другими словами, личный файл может дополнительно включать в себя информацию, используемую для представления соответствия между точкой обзора пользователя и номером подобласти, охватываемой углом обзора точки обзора пользователя.

В этом примере, для личного файла tile_info.dat, информационное содержание деления подобласти остается неизменным, и добавляют таблицу соответствия между углом обзора пользователя и требуемой подобластью и соответствия между точки обзора пользователя и номером подобласти, охватываемой углом обзора точки обзора пользователя. Например, сохраненное содержимое может представлять собой следующее:

(file<tile_info.dat>content)

unsigned int(16) tile_num;

unsigned int(32) pic_width;

unsigned int(32) pic_height;

unsigned int(32) comp_width;

unsigned int(32) comp_height;

unsigned int(32) tile_pic_width[];

unsigned int(32) tile_pic_height[];

unsigned int(32) tile_comp_width[];

unsigned int(32) tile_comp_height[];

unsigned int(16) deg_step_latitude;

unsigned int(16) deg_step_longitude;

unsigned int(32) view_tile_num;

unsigned int(16) viewport_table[][];

По сравнению с 4 способом, добавленные данные является, соответственно, deg_step_latitude, deg_step_longitude, view_tile_num и viewport_table [] [] и значения данных являются:

deg_step_latitude представляет собой шаг в области точки обзора, разделенной в широтном направлении, где шаг делит широты диапазона от -90° до 90° на множество точек обзора областей. Область точки обзора является диапазоном точки обзора на карте широты и долготы. В этой же области точки обзора, подобласть битовых потоков изображения, которое получают посредством оконечного устройства, и охватывает область точки обзора, являются одинаковыми. Как показано на фиг.8, вся карта широты и долготы разделена на девять областей точки обзора. И точка обзора 1 и точка обзора 2 принадлежат к пятой области точек обзора, и точка обзора в центре области 5 точек обзора показана на фиг. 8. Для всех точек обзора в пределах диапазона области 5 точек обзора, вычисляют диапазон покрытия, соответствующий углу обзора, как диапазон, охватываемый углом обзора, соответствующий центральной точки обзора.

deg_step_longitude представляет собой шаг деления области точки обзора, в широтном направлении, где шаг делит диапазон долготы от 0° до 360° на множество областей точек обзора. Оба deg_step_latitude и deg_step_longitude определяют количество областей точек обзора.

view_tile_num представляет собой максимальное количество подобластей, которые могут быть охвачены при изменении одного угла обзора.

viewport_table [] [] представляет собой массив, используемый для хранения таблицы отношений между областью точки обзора и номером подобласти изображения, охватываемой областью точки обзора. Общее количество данных в таблице должно быть количеством областей точек обзора, умноженных на view_tile_num.

В качестве примера способ хранения данных таблицы viewport_table [] [] выглядит следующим образом:

viewport_table[100][18] = {

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 13, 16, 19, 0, 0, 0, 0, 0,

1, 2, 3, 4, 5, 6, 7, 8, 9, 12, 15, 18, 21, 0, 0, 0, 0, 0,

…

5, 6, 7, 13, 14, 15, 16, 25, 26, 27, 28, 35, 36, 37, 0, 0, 0, 0,

…

}

Количество областей точек обзора в таблице равно 100, и view_tile_num = 18. 18 чисел в каждой строке таблицы данных представляет собой число подобластей, охватываемых углом обзора точки обзора. Число 0 указывает, что менее 18 подобластей могут охватывать угол обзора, и пустое значение заполняется 0. Например, точка обзора, показанная на фиг.9, расположена на угле обзора широте 0° и долготе 150°, и охватываемые подобласти пронумерованы 5, 6, 7, 13, 14, 15, 16, 25, 26, 27, 28, 35 , 36, 37 и значения в таблице данных представлены как 5, 6, 7, 13, 14, 15, 16, 25, 26, 27, 28, 35, 36, 37, 0, 0, 0, 0. Таким образом, после получения этих значений, оконечное устройство должно только, чтобы найти номера подобластей в соответствующей таблице на основании текущей точки обзора, и может напрямую запросить без расчета, согласно соответствию, подобласть битовых потоков, соответствующую этим номерам для декодирования презентации, тем самым ускоряя скорость обработки оконечным устройством.

Исходя из того, что личный файл включает в себя соответствие между точкой обзора пользователя и номером подобласти, охватываемой углом обзора точки обзора пользователя, в этом варианте осуществления настоящего изобретения, могут быть добавлены данные флага, представленные для оптимизации угла обзора, к вышеупомянутому личному файлу tile_info.dat. Соответственно, компоновка данных в таблице данных viewport_table [] [] может быть представлена в оптимизированном виде. Другими словами, подобласть ближе к текущей точке обзора указывает, что номер подобласти появляется во фронтальном местоположении строки, соответствующей текущей точки обзора.

В этом примере, личный файл дополнительно включает в себя информацию, используемую для представления количества подобластей, которые должны быть предпочтительно отображены в подобласти, охватываемой углом обзора пользователя, информацию о номере подобласти, которая должна предпочтительно отображаться, информацию о номере подобласти, которая отображается во вторую очередь и информацию о номере подобласти, которая не отображается. Для личного файла tile_info.dat, сохраненный контент может быть представлен одним из следующих способов:

(file<tile_info.dat>content)

unsigned int(16) tile_num;

unsigned int(32) pic_width;

unsigned int(32) pic_height;

unsigned int(32) comp_width;

unsigned int(32) comp_height;

unsigned int(32) tile_pic_width[];

unsigned int(32) tile_pic_height[];

unsigned int(32) tile_comp_width[];

unsigned int(32) tile_comp_height[];

unsigned int(16) deg_step_latitude;

unsigned int(16) deg_step_longitude;

unsigned int(32) view_tile_num;

unsigned int(16) priority_view_tile_num;

unsigned int(16) viewport_table[][];

Новые добавленные данные являются priority_view_tile_num, и значение данных является количеством подобластей, которые должны быть предпочтительно отображаться в текущей точке обзора. Соответственно, расположение данных в таблице viewport_table [] [] будет изменена, и подобласть ближе к текущей точке обзора помещаются перед строкой, соответствующей текущей точке обзора, как показано следующим образом:

viewport_table[100][18] = {

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 13, 16, 19, 0, 0, 0, 0, 0,

1, 2, 3, 4, 5, 6, 7, 8, 9, 12, 15, 18, 21, 0, 0, 0, 0, 0,

…

14, 15, 26, 27, 13, 6, 16, 28, 36, 25, 5, 7, 35, 37, 0, 0, 0, 0,

…

}

Как показано в таблице, соответствующей точки обзора, расположенной на угле обзора широты 0° и долготы 150°, показанной на фиг. 9, данные в таблице изменяется на 14, 15, 26, 27, 13, 6, 16, 28, 36, 25, 5, 7, 35, 37, 0, 0, 0, 0, номера подобластей относительно близко к точке обзора: 14, 15, 26, 27 расположены в передней части, номера подобластей относительно далеко от точки зрения: 13, 6, 16, 28, 36, 25 расположены в середине, и номера дальних подобластей: 5, 7, 35, 37 расположены позади. Подобласть ближе к точке обзора предпочтительно отображается, и подобласть относительно далеко от точки обзора предпочтительно не отображается, и может быть отображаться во вторую очередь. Преимуществом вышеописанной операции является то, что, когда не все битовые потоки всех подобластей могут быть получены или должны быть получены по каким-либо причинам (например, нестабильная сеть), подобласть ближе к точке обзора предпочтительно может быть получена для предпочтительного отображения, и данные изображения подобласти, которые не отображаются, предпочтительно, отбрасывают.

После того как упомянутый сервер выполняет предварительную обработку кодирования, кодирование и инкапсуляцию оконечное устройство может получить инкапсулированный битовый поток для декодирования изображения. Поэтому, как показано на фиг.10, способ в этом варианте осуществления настоящего изобретения может дополнительно включать в себя следующие этапы.

101. Оконечное устройство определяет информацию местоположения каждой подобласти панорамного изображения.

В возможном варианте реализации оконечное устройство может принимать первую информацию, отправленную сервером, где первая информация включает в себя трек каждой подобласти панорамного изображения и битовый поток каждой подобласти, и трек включает в себя информацию местоположения всех подобластей панорамного изображения. Оконечное устройство получает информацию местоположения каждой подобласти в панорамном изображении с помощью синтаксического анализа на основе трека. Трек может быть треком комбинированного изображения в вышеизложенном способе 1, и оконечное устройство может анализировать информацию обо всех подобластях местоположения путем анализа синтаксиса, определенного в RectRegionPacking (i) в треке комбинированного изображения.

В качестве альтернативы, для получения информации местоположения подобласти, оконечное устройство может хранить, в соответствии с указанным выше способом 2, в котором хранят информацию местоположения подобласти информации местоположения каждой подобласти в треке, соответствующим для каждой подобласти, а именно, треке тайла. Оконечное устройство может получать информацию местоположения текущей подобласти местоположения путем анализа области, определенной в SubPictureCompositionBox в каждом треке тайла.

В качестве альтернативы, оконечное устройство может принимать MPD, отправленную сервером, где MPD включает в себя информацию местоположения каждой подобласти или MPD включает в себя адрес личного файла, и личный файл включает в себя информацию местоположения каждой подобласти. Оконечное устройство анализирует MPD, чтобы получить информацию местоположения каждой подобласти.

В качестве альтернативы, оконечное устройство может сначала получить битовый поток, соответствующий каждой подобласти, и информация местоположения подобласти содержится в SEI, соответствующей подобласти. Другими словами, при запросе требуемого битового потока подобласти, оконечное устройство может получить информацию местоположения подобласти на основании SEI в битовом потоке.

102. Оконечное устройство определяет, основываясь на определенной информации местоположения каждой подобласти, информацию местоположения подобласти, охватываемую текущим углом обзора панорамного изображения.

Например, оконечное устройство может получить информацию местоположения подобласти, охватываемой текущим углом обзора панорамного изображения в соответствии с соответствием между углом обзора и информацией местоположения подобласти, охватываемой углом обзора.

103. Оконечное устройство определяет первый интервал выборки подобласти.

Оконечное устройство может определить заданный интервал выборки в качестве первого интервала выборки, или оконечное устройство принимает первый интервал выборки из сервера, или оконечное устройство может получить первый интервал выборки на основе информации местоположения каждой подобласти, которую принимают с сервера. Другими словами, заданное правило вычисления может быть использовано между информацией местоположения каждой подобласти и первым интервалом выборки для получения первого интервала выборки, соответствующего каждой подобласти. Правило вычисления может быть отношением размера в информации местоположения подобласти в исходном изображении к размеру в информации местоположения в подобласти в комбинированном изображении, а именно, первый интервал выборки.

104. Оконечное устройство получает, на основании определенной информации местоположения подобласти, охватываемой текущим углом обзора, битовый поток, соответствующий подобласти, охватываемой текущим углом обзора.

Если битовые потоки всех подобластей хранятся локально в оконечном устройстве, то оконечное устройство может непосредственно получить из памяти оконечного устройства битовый поток подобласти, охватываемой текущим углом обзора.

В качестве альтернативы, оконечное устройство запрашивает из сервера получить битовый поток, соответствующий подобласти, охватываемой текущим углом обзора. Например, оконечное устройство может передавать информацию, указывающую текущий угол обзор на сервер. Сервер может получить, основываясь на текущем угле обзора и информации местоположения подобласти, которая может быть охвачена текущим углом обзора, подобласть, охватываемую текущим углом обзора, и затем отправить битовый поток, который соответствует подобласти, охватываемую текущим углом обзора, и которая запрошена оконечным устройством, в оконечное устройство. Например, сервер может отправить в оконечное устройство битовый поток, полученный после объединения битовых потоков, подлежащих передаче. С другой стороны, после получения, на основании текущего угла обзора и информации местоположения подобласти, охватываемой текущим углом обзора, подобласти, охватываемой текущим углом обзора, оконечное устройство может отправить номер подобласти, охватываемой текущим углом обзора на сервер, и сервер может отправить, на основании номера, битовый поток подобласти, требуемой оконечным устройством, в оконечное устройство. Альтернативно, оконечное устройство может получить из сервера в соответствии с заданным протоколом оконечным устройством и сервером битовый поток, соответствующий подобласти, охватываемой текущим углом обзора, где протокол включает в себя соответствие между углом обзора и подобластью, охватываемой углом обзора. Способ, посредством которого оконечное устройство получает требуемый битовый поток, не ограничивается в настоящем изобретении.

105. Оконечное устройство декодирует битовый поток, чтобы получить изображение подобласти, охватываемой текущим углом обзора.

Поскольку сервер выполняет горизонтальное деление, вертикальное деление и процесс понижающей выборки по вертикали на карте широты и долготы, а именно, выполняет процесс деизбыточности пикселей в подобласти, таким образом, чтобы пиксельная избыточность подобласти, подлежащей передаче, снижается и значение пикселя уменьшаются. Для оконечного устройства стороны декодирования, при получении битового потока подобласти, охватываемой текущим углом обзора, требование к функциональной возможности декодирования может быть уменьшено и сложность декодирования уменьшается, тем самым, повышают скорость декодирования.

106. Оконечное устройство выполняет перевыборку декодированного изображения на основе определенной информации местоположения подобласти, охватываемой текущим углом обзора, и первого интервала выборки.

107. Оконечное устройство воспроизводит перевыбранное изображение.

Как показано на фиг. 11, предполагают, на (d) фиг.11 показана подобласть, соответствующая углу обзора, которую пользователь запрашивает отобразить. На основании требуемой подобласти, полученной расчетным путем, как показано в (b) фиг. 11, оконечное устройство может получить, на основании соответствия между номером подобласти и битового потока, битовый поток, соответствующий требуемой подобласти, включающий в себя суббитовые потоки с номерами 1, 3, 4, 5, 6, 15, 19, 20, 21, 22, 23, 24, 34, 35, 36 и 37, как показано на (с) фиг.11. Кроме того, после декодирования суббитовых потоков, оконечное устройство может выполнить перевыборку декодированного изображения на основании информации местоположения и первого интервала выборки, и воспроизвести перевыбранное изображение, как показано на (d) фиг. 11.

Выше было приведено описание процесса предварительно кодирования, кодирования и части оконечного устройства с помощью примера, в котором используется 2D карта широты и долготы. Этот вариант осуществления настоящего изобретения может быть дополнительно использован для процесса кодирования и передачи 3D- карты широты и долготы, и могут быть отдельно обработаны два канала сигналов в последовательности 3D карты широты и долготы. Очевидно, что, когда требуется получить 3D визуальный эффект, фотографическое устройство, которое взаимодействует с сервером, может включать в себя две группы, одна группа фотографических устройств выполнена с возможностью получать панорамное видео для левого глаза, и другая группа фотографических устройств выполнена с возможностью получать панорамное видео для правого глаза. Таким образом, на фиг.12 показано деление подобласти 3D карты широты и долготы. В верхней части фиг.12 показана карта широты и долготы для левого глаза и в нижней части фиг.12 показана карта широты и долготы для правого глаза. Карта широты и долготы, соответствующая левому глазу, может быть соединена с картой широты и долготы, соответствующей правому глазу, которая может быть одной картой широты и долготы или могут быть отделены друг от друга, чтобы быть двумя картами широты и долготы. Сервер может отделить карту широты и долготы, соответствующую левому глазу, от карты широты и долготы, соответствующей правому глазу, для выполнения горизонтального деление и вертикального деления на карте широты и долготы, соответствующей левому глазу, а также выполнять горизонтальное деление и вертикальное деление на карте широты и долготы, соответствующей правому глазу.

В 3D карте широты и долготы для горизонтального деления карты широты и долготы для левого глаза, сделана ссылка на реализацию этапа 401; для горизонтального деления карты широты и долготы для правого глаза, также сделана ссылка на реализацию этапа 401. Детали, не описанных здесь снова.

В 3D карте широты и долготы, для вертикального деления карты широты и долготы для левого глаза относятся к реализации этапа 402; для вертикального деления карты широты и долготы для правого глаза, также относятся к реализации этапа 402. Детали, не описанных здесь снова.

В 3D карте широты и долготы для выборки каждой подобласти карты широты и долготы для левого глаза, может быть сделана ссылка на реализацию этапа 404 и этапа 405; для выборки каждой подобласти карты широты и долготы для правого глаза, также относится к реализациям этапа 404 и этапа 405. Детали не описаны здесь еще раз.

Таким образом, окончательно получают 42 подобласти в карте широты и долготы для левого глаза, и получают 42 подобласти в карте широты и долготы для правого глаза и, в общей сложности, получают 84 подобласти.

В 3D карте широты и долготы могут использовать множество способов для кодирования каждой подобласти в изображении, полученном после деления и выборки, и могут быть использованы три возможных способа, которые перечислены в настоящем документе. В первом способе каждую подобласть используют в качестве одного субизображения, отделенного от исходного изображения, и каждая последовательность субизображений независимо кодируется для генерирования 84 суббитовых потоков. Во втором способе выполняют режим кодирования разделенной подобласти (поддерживается стандартом HEVC) на всем изображении для генерирования одного битового потока для хранения, или единый битовый поток делят для получения 84 суббитовых потоков для хранения. В соответствии с третьим способом, подобласти в одном и том же местоположении карты широты и долготы для левого глаза и карты широты и долготы для правого глаза используют в качестве одной группы подобластей, и после выполнения соединения изображений, карту широты и долготы для левого глаза и карту широты и долготы для правого глаза отдельно кодируют для генерирования 42 суббитовых потоков.

Для процесса инкапсулирования сделана ссылка на вышеуказанные способы 1-5. Детали, не описанным здесь снова.

Для 3D карты широты и долготы видео, разница между процессом, в котором оконечное устройство декодирует видеоконтент и в 2D карте широты и долготы выглядит следующим образом: информация местоположения подобласти, охватываемой текущим углом обзора в настоящем описании включает в себя информацию местоположения подобласти изображения для просмотра левым глазом и информацию местоположения подобласти изображения для просмотра правым глазом.

Битовые потоки подобласти, охватываемой текущим углом обзора, включают в себя битовые потоки подобластей карты широты и долготы для просмотра левым глазом и битовые потоки подобластей карты широты и долготы для просмотра правым глазом. Значение текущего угла обзора может быть значением точки обзора левого глаза или значением точки обзора правого глаза. Это не ограничивается в настоящем документе. Во время перевыборки изображение подобласти, охватываемой левым глазом в текущем угле обзора, подвержено перевыборке, и изображение подобласти, охватываемой правым глазом в текущем угле обзора, подвержено перевыборке, и визуализируют и воспроизводят требуемую подобласть для левого глаза и требуемую подобласть для правого глаза.

Описанный выше способ обработки может дополнительно быть применен к карте широты и долготы 360-градусов панорамного видео или части карты широты и долготы 360-градусов панорамного видеоизображения. Например, способ деления карты широты и долготы дополнительно может быть применен к делению карты широты и долготы 180° половинного панорамного видеоизображения. 180° половинное панорамное видео представляет собой панорамное видео, диапазон долготы которого составляет 180° и содержит половину контента панорамного видео.

Как показано на (а) фиг. 13, для горизонтального деления карты широты и долготы 180° половинного панорамного видео может быть сделана ссылка на предшествующий этап 401. Для вертикального деления, отличного от возможной реализации предшествующего этапа 402, субизображение в диапазоне широт от -90° до -60° и субизображение в диапазоне широт от 60° до 90° не могут быть разделены по вертикали, чтобы сохранить одну подобласть; для субизображения в диапазоне широт от -60° до -30° и субизображения в диапазоне широт от 30° до 60°, субизображение вертикально разделено с использованием долготы 60°, как интервал вертикального деления для получения трех подобластей; и для субизображения в диапазоне широт от -30° до 0° и субизображения в диапазоне широт от 0° до 30°, субизображение вертикально разделено с помощью долготы 30°, как интервал вертикального деления для получения шести подобластей. Таким образом, деление подобласти карты широты и долготы всего 180° половинного панорамного видео будет завершено, и в общей сложности получают 20 подобластей.

Подобласть карты широты и долготы 180° половинного панорамного видео также может быть закодирована и подвержена понижающей выборке, которая может быть такой же, как и в предшествующей операции на этапе 404. Различие от предшествующего этапа 405 может быть следующим: (а) на фиг. 13 используется в качестве примера, и для субизображения в диапазоне широт от -90° до -60°, в диапазоне широт от 60° до 90° выполняют понижающую выборку в горизонтальном направлении, а не в вертикальном направлении, и коэффициент масштабирования равен 1/6; для субизображения в диапазоне широт от -60° до -30°, и в диапазоне широт от 30° до 60°, аналогично, выполняют понижающую выборку в горизонтальном направлении, а не в вертикальном направлении, и коэффициент масштабирования равен 1/2; для субизображения в диапазоне шрот от -30° до 0°, и в диапазоне широт от 0° до 30° масштабирование не выполняется. Наконец, полученное изображение масштабируется, как показано в (b) по фиг. 13.

Вышеприведенный способ деления подобласти карты широты и долготы 180° половинного панорамного видео также может быть применен к делению подобласти 3D карты широты и долготы 180° половинного панорамного видео. Аналогично 360° панорамному видео 3D карта широты и долготы 180° половинного панорамного видео также включает в себя карту широты и долготы 180° половинного панорамного видео для просмотра левым глазом и карту широты и долготы 180° половинного панорамного видео для просмотра правым глазом. Карта широты и долготы для просмотра левым глазом и карта широты и долготы для просмотра правым глазом могут быть соединены друг с другом. Как показано на фиг.14, карта широты и долготы для просмотра левым глазом является левой половиной части фиг. 14, и карта широты и долготы для просмотра правым глазом является правой половиной части фиг.14. Сервер может сначала отделить карту широты и долготы для просмотра левым глазом от карты широты и долготы для просмотра правым глазом, как показано пунктирной линией на фиг.14. Тогда карта широты и долготы для просмотра левым глазом разделена в соответствии со способом деления карты широты и долготы 180° половинного панорамного видео и карта широты и долготы для просмотра правым глазом также разделена в соответствии со способом деления карты широты и долготы 180° половинного панорамного видео для получения окончательных 20 подобластей, соответствующих карте широты и долготы для просмотра левым глазом, и 20 подобластей, соответствующих карте широты и долготы для просмотра правым глазом, в общей сложности 40 подобластей.

В описанном выше процессе, сервер может получить, основываясь на видеосигнале, сфотографированным фотографирующим устройством, карту широты и долготы, соответствующую панорамному видео или половинному панорамному видео. В этом варианте осуществления настоящего изобретения, сервер может дополнительно предоставить способ для непосредственного деления сигнала сферической панорамы для получения подобластей изображения. Так как исходное изображение представляет собой сферическую карту сигнала, или упоминается как карта сферы, способ инкапсулирования битового потока и способ деления подобласти также изменены. В этом варианте осуществления сигнал местоположения в сферической области задается с использованием широты и долготы, где указанный диапазон долготы составляет от 0 до 360° и диапазон широты составляет -90° до 90° (отрицательное число представляет собой южную широту и положительное число представляет северную широту).

Таким образом, варианты осуществления настоящего изобретения обеспечивают способ обработки изображения. Как показано на фиг.15, способ включает в себя следующие этапы.

1501. Сервер, выполняет деление по горизонтали карту сферы обрабатываемого изображения, где местоположение деления горизонтального деления является заданной широтой.

Например, сервер может отдельно наносить линии широты на широте -60°, широте -30°, широте 0°, широте 30° и широте 60° на сферическую поверхность для деления по горизонтали карту сферы, как показано на (а) фиг. 16.

1502. Сервер выполняет вертикальное деление на карте сферы обрабатываемого изображения, где местоположение деления вертикального деления определяется широтами, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной смежными местоположениями деления горизонтального деления, а также интервал вертикального деления представляет собой расстояние между соседними местоположениями деления вертикального деления для получения каждой подобласти карты широты и долготы.

Например, в карте сферы для сферической области в широтном диапазоне от -90° до -60° и в широтном диапазоне от 60° до 90°, долгота 120° может быть использована в качестве интервала вертикального деления для вертикального деления карты сферы, чтобы получить три сферические подобласти; для сферической области в широтном диапазоне от -60° до -30 ° и в диапазоне широты от 30° до 60°, долгота 60° используется в качестве интервала вертикального деления, чтобы разделить вертикально карту сферы, чтобы получить шесть сферических подобластей; для сферической области в широтном диапазоне от -30° до 0°, и в широте диапазона от 0° до 30°, долгота 30° используется в качестве интервала вертикального деления, чтобы разделить вертикально карту сферы, чтобы получить 12 сферические подобласти. Таким образом, в общей сложности получают 42 подобластей после деления подобластей всей карты сферы, как показано на (а) фиг. 16.

1503. Сервер осуществляет выборку изображения каждой подобласти.

Сервер может сначала отобразить изображение подобласти на двумерное плоское изображение на основании заданного размера, таким образом, чтобы выполнить выборку каждой подобласти карты широты и долготы с первым интервалом выборки и вторым интервалом выборки.

Реализация, в которой отображают трехмерную карту сферы на двумерную карту широты и долготы, может представлять собой: равномерную выборку на заданной высоте в вертикальном направлении изображения подобласти, полученного после деления карты сферы, и равномерную выборку изображения подобласти при заданной ширине в горизонтальном направлении. Тогда изображение каждой подобласти, полученной после выполнения равномерной выборки, может быть подвержено выборке в горизонтальном направлении с первым интервалом выборки, и выполняют выборку изображения подобласти в вертикальном направлении с вторым интервалом выборки.

Например, выполняют отображение сигнала изображения на всех подобластей в (а) фиг.16, которые, соответствуют подобластям на карте сферы, так что каждая подобласть на карте сферы, соответствующая отображаемому изображению, а именно, подобласти в двумерный карте широты и долготы, и выполняют понижающую выборку на карте широты и долготы. Есть много способов отображения сферического сигнала на изображение подобласти, и это не ограничивается в настоящем документе. Одним из способов может быть следующим: для каждой сферической подобласти в широтном направлении, сферический сигнал равномерно отображается на основе заданной высоты изображения в подобласти в (b) фиг. 16, и равномерно отображение можно рассматривать, как равномерная выборка. В направлении долготы для субсферической области в широтном диапазоне от -90° до -60° и в широтном диапазоне от 60° до 90°, сферический сигнал отображается после понижающей выборки в 1/4 частоты выборки в широтном направлении, а именно, коэффициент масштабирования равен 1/4; для субсферической области в широтном диапазоне от -60° до -30° и в широтном диапазоне от 30° до 60°, сферический сигнал отображается после понижающей выборки в 1/2 от частоты выборки в широтном направлении, а именно, коэффициент масштабирования равен 1/2; для субсферической области в широтном диапазоне от -30° до 0° и в широте диапазоне от 0° до 30° сферический сигнал отображается с той же частотой выборки в широтном направлении, а именно, коэффициент масштабирования равен 1. Окончательно получают выборочное изображение карты широты и долготы, как показано на (b) фиг. 16.

1504. Сервер корректирует местоположение выборочных подобластей, так что горизонтальный край и вертикальный край изображения, соединенные изображениями скорректированных подобластей, соответственно выровнены, как показано на (с) на фиг. 16. Этап 1504 может быть не выполнен.

1505. Сервер кодирует тайл соединенного изображения.

Для реализации этапа 1505, обратитесь к этапу 407. Детали, не описанные здесь снова.

В способе обработки изображений для карты сферы способ инкапсуляции для битового потока каждой подобласти может быть таким же, как и в предшествующем этапе 408, и различные способы хранения для размещения информации подобласти могут также быть такими же, как на этапе 408. Иными словами, когда подобласть получают путем выполнения горизонтального и вертикального деления карты сферы обрабатываемого изображения, выборочные подобласти образуют выборочную карту сферы. Информация местоположения включает в себя местоположение и диапазон карты широты и долготы подобласти в изображении карты сферы, а также местоположение и размер подобласти в изображении выборочной карты сферы; или информация местоположения включает в себя местоположение и диапазон карты широты и долготы подобласти в изображении карты сферы, а также местоположение и размер подобласти в соединенном изображении. Описание изменения переменной семантики, выполненное предшествующим способом деления подобласти, выглядит следующим образом:

Следующая семантика модифицирована способом 1:

proj_reg_width [i] и proj_reg_height [i] описывают соответствующий диапазон карты широты и долготы i-й подобласти в исходном изображении, а именно, карты сферы, а именно, соответствующий диапазон карты широты и долготы подобласти показан на (b) фиг. 16 и (а) фиг.16. Например, диапазон карты широты и долготы в первой подобласти в верхнем левом углу (b) на фиг. 16 представляет собой (120°, 30°) в исходном изображении.

proj_reg_top [i] и proj_reg_left [i] описывает соответствующее местоположение пикселя, который находится в левом верхнем углу i-й подобласти в карте сферы. Представленное долготой и широтой, местоположение соответствует местоположению левой верхней точки подобласти, которая находится в (b) фиг. 16 и (а) фиг.16. Например, местоположение первой подобласти является (0°, 90°) на карте сферы.

Следующая семантика изменена способом 2

proj_tile_width и proj_tile_height описывают диапазон карты широты и долготы текущего трека на карте сферы, а именно, диапазон карты широты и долготы текущей подобласти на (а) фиг. 16.

proj_width и proj_height описывают диапазон карты широты и долготы карты сферы. Например, диапазон карты широты и долготы 360° панорамной сферы представляет собой (360°, 180°).

Для контента личного файла tile_info.dat в способе 4 семантика изменяется следующим образом:

pic_width представляет диапазон долготы карты сферы.

pic_height представляет широту диапазона карты сферы.

tile_pic_width [] представляет собой массив, представляющий диапазон долготы каждой подобласти в карте сферы, и количество элементов должно быть значением tile_num.

tile_pic_height [] представляет собой массив, представляющие диапазон широты каждой подобласти в карте сферы, и количество элементов должно быть значением tile_num.

Следующая семантика изменена способом 5:

src_pic_width представляет диапазон долготы карты сферы, а именно, диапазон долготы карты сферы показан на (а) фиг. 16.

src_pic_height представляет диапазон широты на карте сферы, а именно, диапазон широты карты сферы на (а) фиг. 16.

src_tile_width представляет диапазон долготы текущей подобласти на карте сферы.

src_tile_height представляет диапазон широты текущей подобласти на карте сферы.

Таким образом, по сравнению со способом равномерного деления карты широты и долготы, в настоящем изобретении согласно неравномерному способу деления и способа масштабирования изображения избыточность изображения уменьшается, так что эффективность тайлового кодирования и передачи может быть значительно повышена. Дополнительно, максимальная функциональная возможность декодирования, требуемая декодером оконечного устройства, также уменьшается, так что исходное изображение с более высоким разрешением может быть закодировано и передано для отображения в рамках существующей возможности декодирования. Равномерное деление 6×3 используется в качестве примера, пропорция пикселей, которые должны быть переданы, составляет 55,6%. Если разрешение исходного изображения равно 4K (4096×2048), то возможность декодирования декодера должно составлять около 4K×1K. Тем не менее в способе в настоящем изобретении пропорция передаваемых пикселей составляет до 25%. Если разрешение исходного изображения равно 4K (409 ×2048), то способность декодирования декодера должно достичь 2K×1K. Кроме того, производительность повышает скорость декодирования и скорость воспроизведения. В решении настоящего изобретения эффективности обработки декодирования и воспроизведения выше, чем в решении равномерного деления.

Вариант осуществления настоящего изобретения дополнительно предусматривает способ обработки изображений, в котором способ применяется к серверу, как показано на фиг. 17, и включает в себя следующие этапы.

17A1. Сервер хранит битовые потоки, соответствующих изображения подобластей карты широты и долготы или карты сферы панорамного изображения, где подобласть получают путем выполнения горизонтального деления и вертикального деления на карте широты и долготы или карте сферы панорамного изображения, где местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального разделения определяется широтами, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованный смежными местоположениями деления горизонтального деления, и интервал вертикального деления является расстоянием между соседними местоположениями деления вертикального деления.

17A2. Сервер отправляет в оконечное устройство битовый поток подобласти, охватываемой текущим углом обзора, сохраненных битовых потоков, которые, соответствуют изображениям подобластей и которые запрошены оконечным устройством.

Перед кодированием изображение, которое соответствует подобласти, и которое хранится на сервере, подвергают выборке в горизонтальном направлении с первым интервалом выборки, где более высокая широта, соответствующая подобласти, указывает на больший первый интервал выборки, или выполняют выборку изображения в вертикальном направлении со вторым интервалом выборки. Для конкретной реализации выборки, обратитесь к описанию в предшествующем варианте осуществления.

Другими словами, сервер в этом варианте осуществления может хранить битовый поток, соответствующий изображению каждой подобласти и обрабатывается сервером в предшествующем варианте осуществления. Поскольку способ деления подобласти и процесс выборки, которые используются сервером в предшествующем варианте осуществления для обработки изображения может уменьшить занимаемую полосу пропускания при передаче битового потока, требование стороны декодирования для возможности декодирования снижаются, сложность декодирования уменьшается и скорость декодирования повышается. В этом варианте осуществления, полоса пропускания, занимаемая сервером во время передачи битового потока, снижается по сравнению с таковым в предшествующем уровне техники, а также скорость декодирования оконечного устройства повышается.

Вышеприведенное основном описывает решения, предусмотренные в вариантах осуществления настоящего изобретения с точки зрения взаимодействия между сетевыми элементами. Очевидно, что для реализации приведенных выше функций каждого из сетевых элементов, таких как сервер и оконечное устройство, включает в себя соответствующее аппаратную структуру и/или программный модуль для выполнения каждой функции. Специалисту в данной области техники должно быть известно, что в сочетании с примерами, описанными в вариантах осуществления, раскрытых в данном описании, блоки и алгоритмы этапов могут быть реализованы с помощью аппаратных средств или комбинации аппаратных средств и программного обеспечения в настоящем изобретении. Способ выполнения функции аппаратными средствами или компьютерными программами, зависит от конкретного применения и конструктивных ограничений, технических решений. Специалист в данной области техники может использовать различные способы для реализации описанных функций для каждого конкретного применения, но это не следует считать, что реализация выходит за рамки настоящего изобретения.

В вариантах осуществления настоящего изобретения сервер и оконечное устройство могут быть разделены на функциональные модули, основанные на примерах вышеуказанных способов. Например, каждый функциональный модуль может быть получен путем деления для соответствующей функции, или две или более функций могут быть объединены в один модуль обработки. Встроенный модуль может быть реализован в виде аппаратных средств или может быть реализован в виде функционального модуля программного обеспечения. Следует отметить, что в этом варианте осуществления настоящего изобретения, деление модулей является примером, и является лишь логической функцией деления. В фактической реализации, может быть использован другой способ разделения.

Когда функциональные модули разделены на основе соответствующих функций, фиг.17 показывает возможную структурную схему сервера в предшествующем варианте осуществления. Сервер 17 включает в себя блок 1701 деления, блок 1702 кодирования, блок 1703 выборки, блок 1704 соединения, блок 1705 инкапсуляции и блок 1706 передачи. Блок 1701 деления может быть выполнен с возможностью поддерживать сервер для выполнения этапа 401 и этапа 402 на фиг.4, и блок 1702 кодирования может быть выполнен с возможностью поддерживать сервер для выполнения этапа 403 на фиг.4 и этапа 407 на фиг.7. Блок 1703 выборки может быть выполнен с возможностью поддерживать сервер для выполнения этапа 404 и этапа 405 на фиг.7, блок 1704 соединения выполнен с возможностью поддерживать сервер для выполнения этапа 406 на фиг.7, и блок 1705 инкапсуляции может быть выполнен с возможностью поддерживать сервер для выполнения этапа 408 на фиг.7. Весь контент, относящийся к этапам в указанных выше вариантах осуществления способа, могут быть приведены в описании функций соответствующих функциональных модулей. Подробности не описаны здесь.

При использовании интегрированного модуля, фиг. 18 является возможной структурной схемой сервера в предшествующем варианте осуществления. Сервер 18 включает в себя модуль 1802 обработки и модуль 1803 связи. Модуль 1802 обработки выполнен с возможностью контролировать и управлять действием сервера. Например, модуль 1802 обработки выполнен с возможностью выполнять этап 401, этап 402, этап 403, этап 404, этап 405, этап 406, этап 407 и этап 408 на фиг.4 и/или другой процесс технологии, описанной в настоящем изобретении. Модуль 1803 связи выполнен с возможностью поддерживать связь между сервером и другим сетевым объектом, например, связь между сервером и оконечным устройством. Сервер может дополнительно включать в себя модуль 1801 хранения, выполненный с возможностью хранить программный код и данные сервера.

Модуль 1802 обработки может быть процессором или контроллером, таким как центральный процессор (Central Processing Unit, CPU), процессором общего назначения, цифровым сигнальным процессором (Digital Signal Processing, DSP), специализированной интегральной схемой (Application-Specific Integrated Circuit, ASIC), программируемой пользователем вентильной матрицей (Field Programmable Gate Array, FPGA) или другим программируемым логическим устройством, транзистором логического устройства, аппаратным компонентом или их комбинацией. Процессор может реализовать или выполнить различные примеры логических блоков, модулей и схем, описанные со ссылкой на содержание, раскрытое в настоящем изобретении. Процессор может представлять собой комбинацию процессоров, реализующих вычислительные функции, например, комбинацию одного или нескольких микропроцессоров или комбинацию DSP и микропроцессора. Модуль 13803 связи может быть приемопередатчиком, схемой приемопередатчика, интерфейсом связи или тому подобные. Модуль 1801 хранения данных может быть памятью.

Когда модуль 1802 обработки является процессором, модуль 1803 связи является приемопередатчиком и, когда модуль 1801 хранения представляет собой память, сервер в этом варианте осуществления настоящего изобретения может быть сервером, как показано на фиг.19.

Как показано на фиг.19, сервер 19 включает в себя процессор 1912, приемопередатчик 1913, память 1911 и шину 1914. Приемопередатчик 1913, процессор 1912 и память 1911 соединены друг с другом через шину 1914. Шина 1914 может быть локальной шиной соединения периферийных компонентов (Peripheral Component Interconnect, PCI), шиной расширения с усовершенствованной стандартной промышленной архитектурой (Extended Industry Standard Architecture, EISA) или тому подобная. Шины могут быть классифицированы на адресную шину, шину данных, шину управления и тому подобные. Для удобства представления, только одна толстая линия используется для представления шины на фиг. 19, но это не значит, что есть только одна шина или только один тип шины.

Когда функциональные модули разделены на основе соответствующих функций, то на фиг.20 показана возможная структурная схема оконечного устройства в предшествующем варианте осуществления. Оконечное устройство 20 включает в себя блок 2001 получения, блок 2002 декодирования, блок 2003 перевыборки и блок 2004 воспроизведения. Блок 2001 получения выполнен с возможностью поддерживать оконечное устройство выполнять операции этапа 101, этапа 102, этапа 103 и этапа 104 в фиг.10. Блок 2002 декодирования выполнен с возможностью поддерживать оконечное устройство выполнять операции этапа 105 на фиг. 10. Блок 2003 перевыборки выполнен с возможностью поддерживать оконечное устройство выполнять операции этапа 106 на фиг. 10. Блок 2004 воспроизведения выполнен с возможностью поддерживать оконечное устройство выполнять операции этапа 107 на фиг.10. Все содержание, связанное с этапами, в приведенных выше вариантах осуществления способа, может быть приведено в описании функций соответствующих функциональных модулей. Подробности не описаны здесь.

При использовании интегрированного блока, фиг.21 является возможной структурной схемой оконечного устройства в предшествующем варианте осуществления. Оконечное устройство 21 включает в себя модуль 2102 обработки и модуль 2103 связи. Модуль 2102 обработки выполнен с возможностью контролировать и управлять работой оконечного устройства. Например, модуль 2102 обработки выполнен с возможностью поддерживать оконечное устройство для выполнения операций этапов 101-106 на фиг. 10, и/или выполнено с возможностью выполнять другой процесс технологии, описанной в данном описании. Модуль 2103 связи выполнен с возможностью поддерживать связь между оконечным устройством и другим сетевым объектом, например, связь между оконечным устройством и сервером. Оконечное устройство может дополнительно включать в себя модуль 2101 хранения, выполненный с возможностью хранить программный код и данные оконечного устройства, а также дополнительно включать в себя модуль 2104 отображения, выполненный с возможностью поддерживать оконечное устройство для выполнения этапа 107 на фиг. 10.

Модуль 2102 обработки может быть процессором или контроллером, например, может представлять собой CPU, процессор общего назначения, DSP, ASIC, FPGA или другое программируемое логическое устройство, транзистор логического устройства, аппаратный компонент или любую их комбинацию. Процессор может реализовать или выполнить различные примеры логических блоков, модулей и схем, описанные со ссылкой на содержание, раскрытое в настоящем изобретении. Процессор может представлять собой комбинацию процессоров, реализующих вычислительные функции, например, комбинацию одного или нескольких микропроцессоров, или комбинацию DSP и микропроцессора. Модуль 2103 связи может быть приемопередатчиком, схемой приемопередатчика, интерфейсом связи или тому подобным. Модуль 2101 хранения данных может быть памятью. Модуль 2104 отображения может быть дисплеем или тому подобным.

Когда модуль 2102 обработки представляет собой процессор, модуль 2103 связи является приемопередатчиком, модуль 2101 хранения представляет собой память и модуль 2104 отображения представляет собой дисплей, оконечное устройство в этом варианте осуществления настоящего изобретения может быть оконечным устройством, как показано на фиг. 22.

Как показано на фиг.22, оконечное устройство 22 включает в себя процессор 2212, приемопередатчик 2213, память 2211, дисплей 2215 и шину 2214. Приемопередатчик 2213, процессор 2212, дисплей 2215 и память 2211 соединены друг с другом через шину 2214. Шина 2214 может представлять собой PCI, EISA шину или тому подобное. Шины могут быть классифицированы на адресную шину, шину данных, шину управления и тому подобные. Для удобства представления, только одна толстая линия используется для представления шины на фиг. 22, но это не значит, что есть только одна шина или только один тип шины.

Когда функциональные модули разделены на основе соответствующих функций, на фиг.23 показана возможная структурная схема сервера в предшествующем варианте осуществления. Сервер 23 включает в себя блок 2301 хранения, блок 2302 передачи, где блок 2301 хранения выполнен с возможностью поддерживать сервер выполнения этапа 17A1 на фиг. 17А, и блок 2302 передачи выполнен с возможностью поддерживать сервер для выполнения этапа 17A2 на фиг. 17А. Все содержание, связанное с этапами, в приведенных выше вариантах осуществления способа могут быть приведены в описании функций соответствующих функциональных модулей. Подробности не описаны здесь.

При использовании интегрированного блока, фиг.24 является возможной структурной схемой сервера в предшествующем варианте осуществления. Сервер 24 включает в себя модуль 2402 хранения и модуль 2403 связи. Модуль 2402 хранения выполнен с возможностью хранить программный код и данные сервера. Например, программа выполнена с возможностью выполнять этап 17A1 на фиг. 17А, и модуль 2403 связи выполнен с возможностью выполнять этап 17A2 на фиг. 17А.

Когда модуль 2403 связи является приемопередатчиком и модуль 2401 хранения представляет собой память, сервер в этом варианте осуществления настоящего изобретения может быть оконечным устройством, как показано на фиг. 25.

Как показано на фиг. 25, сервер 25 включает в себя приемопередатчик 2511, память 2512 и шину 2513. Приемопередатчик 2511 и память 2512 соединены друг с другом через шину 2513. Шина 2513 может представлять собой PCI, EISA шину или тому подобное. Шины могут быть классифицированы на адресную шину, шину данных, шину управления и тому подобные. Для удобства представления, только одна толстая линия используется для представления шины на фиг. 25, но это не значит, что есть только одна шина или только один тип шины.

Этапы способа или алгоритма, описанные в комбинации с содержанием, раскрытым в данной заявке, могут быть реализованы с помощью аппаратных средств, или могут быть реализованы с помощью процессора, выполнив инструкции программного обеспечения. Инструкция программного обеспечения может включать в себя соответствующий программный модуль. Модуль программного обеспечения может храниться в памяти произвольного доступа (Random Access Memory, RAM), флэш-памяти, постоянном запоминающем устройстве (Read Only Memory, ROM), стираемом программируемом постоянном запоминающем устройстве (Erasable Programmable ROM, EPROM), электрически стираемом программируемом постоянном запоминающем устройстве (Electrically EPROM, EEPROM), в регистре, на жестком диске, мобильном жестком диске, компакт-диске только для чтения памяти (CD-ROM) или любом другом носителе данных, известный в данной области техники. Например, носитель данных соединен с процессором, так что процессор может считывать информацию с носителя данных или информацию для записи на носитель данных. Конечно, носитель информации может быть составной частью процессора. Процессор и носитель данных могут находиться в ASIC. Кроме того, интегральная схема может быть расположена в основном сетевом интерфейсе. Конечно, процессор и носитель данных могут быть использованы в базовой сети интерфейсного устройства в качестве дискретных компонентов.

Специалисту в данной области техники должно быть известно, что в приведенных выше одном или нескольких примерах, функции, описанные в настоящем документе, могут быть реализованы с помощью аппаратных средств, программного обеспечения, встроенного программного обеспечения или любой их комбинации. Когда настоящее изобретение реализуется с помощью программного обеспечения, указанные выше функции могут быть сохранены на машиночитаемом носителе или передаваться в виде одной или нескольких инструкций или кода на машиночитаемом носителе. Машиночитаемый носитель включает в себя носитель данных компьютера и среду передачи, где среда связи включает в себя любую среду, которая позволяет передавать компьютерную программу от одного места в другое. Носитель информации может быть любым доступным носителем общего специализированного компьютера или общего назначения.

Задачи, технические решения и преимущества настоящего изобретения дополнительно описаны подробно в указанных выше конкретных вариантах осуществления. Следует понимать, что приведенные выше описания являются лишь конкретными вариантами осуществления настоящего изобретения, но не предназначены для ограничения объема защиты настоящего изобретения. Любая модификация, эквивалентная замена или улучшение, сделанная на основе технических решений настоящего изобретения, находится в рамках защиты настоящего изобретения.

Изобретение относится к средствам для обработки изображений. Технический результат заключается в повышении эффективности кодирования. Выполняют горизонтальное деление и вертикальное деление на карте широты и долготы или карте сферы обрабатываемого изображения для получения подобластей карты широты и долготы или карты сферы. Местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального деления определяют широтой. Существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной смежными местоположениями деления горизонтального деления, и интервал вертикального деления является расстоянием между смежными местоположениями деления вертикального деления. Осуществляют выборку изображения подобласти в горизонтальном направлении с первым интервалом выборки, в котором более высокая широта, соответствующая подобласти, указывает больший первый интервал выборки. Кодирование изображений, полученных подобластей содержит: кодирование изображений выборочных подобластей и кодирование изображений полученных подобластей. 6 н. и 36 з.п. ф-лы, 26 ил., 3 табл.

1. Способ обработки изображения, в котором способ применяют к серверу и содержит:

выполнение горизонтального деления и вертикального деления на карте широты и долготы или карте сферы обрабатываемого изображения для получения подобластей карты широты и долготы или карты сферы, в котором местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального деления определяют широтой, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной смежными местоположениями деления горизонтального деления, и интервал вертикального деления является расстоянием между смежными местоположениями деления вертикального деления; и

кодирование изображений полученных подобластей;

в котором перед кодированием изображений полученных подобластей способ дополнительно содержит:

выборку изображения подобласти в горизонтальном направлении с первым интервалом выборки, в котором более высокая широта, соответствующая подобласти, указывает больший первый интервал выборки; и

кодирование изображений, полученных подобластей содержит:

кодирование изображений выборочных подобластей.

2. Способ по п.1, в котором местоположение деления вертикального деления определяется широтой, что содержит: более высокая широта местоположения деления вертикального деления указывает больший интервал вертикального деления.

3. Способ по п.1, в котором перед кодированием изображений полученных подобластей способ дополнительно содержит:

выборку изображения подобласти в вертикальном направлении со вторым интервалом выборки.

4. Способ по п.1, в котором, когда подобласть получают путем выполнения горизонтального и вертикального деления на карте сферы обрабатываемого изображения, до выборки изображения подобласти в горизонтальном направлении с первым интервалом выборки, способ дополнительно содержит:

отображение изображения подобласти на двумерное плоское изображение на основании заданного размера; и

выборку изображения подобласти в горизонтальном направлении с первым интервалом выборки содержит:

выборку с первым интервалом выборки в горизонтальном направлении двумерного плоского изображения, на которое отображают изображение подобласти.

5. Способ по п.1, в котором перед кодированием изображений выбранных подобластей способ дополнительно содержит:

корректировку местоположений выборочных подобластей, так что горизонтальный край и вертикальный край изображения, соединенного изображениями скорректированных подобластей, соответственно выровнены.

6. Способ по п.5, в котором кодирование изображений выборочных подобластей содержит:

кодирование тайла (tile) соединенного изображения.

7. Способ по п.1, в котором после кодирования изображений полученных подобластей способ дополнительно содержит:

независимое инкапсулирование битовых потоков, соответствующих кодированным изображениям подобластей, и кодирование информации местоположения подобластей, в котором кодированная информация местоположения всех подобластей и битовых потоков всех подобластей находится на том же треке; или кодированная информация местоположения и битовый поток каждой подобласти, соответственно, находится на треке информации местоположения и треке битового потока; или кодированная информация местоположения всех подобластей находится в описании медиапрезентации (MPD); или закодированная информация местоположения всех подобластей находится в личном файле, и адрес личного файла содержится в MPD; или кодированная информация местоположения каждой подобласти содержится в информации для дополнительной оптимизации (SEI) битового потока каждой подобласти.

8. Способ по п.7, в котором, когда подобласть получается путем выполнения горизонтального и вертикального деления на карте широты и долготы обрабатываемого изображения, выборочные подобласти образуют выборочную карту широты и долготы и информация местоположения содержит местоположение и размер подобласти в карте широты и долготы, и местоположение и размер подобласти в выборочной карте широты и долготы; или информация местоположения содержит местоположение и размер подобласти в карте широты и долготы, и местоположение и размер подобласти в соединенном изображении; или когда подобласть получают путем выполнения горизонтального деления и вертикального деления на карте сферы обрабатываемого изображения, выборочные подобласти образуют выборочную карту сферы, информация местоположения содержит местоположение и диапазон широты и долготы подобласти в изображении карты сферы, и местоположение и размер подобласти в изображении выборочной карты сферы; или информация местоположения содержит местоположение и диапазон широты и долготы подобласти в изображении карты сферы, и местоположение и размер подобласти в соединенном изображении.

9. Способ по п.7, в котором личный файл дополнительно содержит информацию, используемую для представления соответствия между точкой обзора пользователя и номером подобласти, охватываемой углом обзора точки обзора пользователя.

10. Способ по п.7, в котором личный файл дополнительно содержит информацию, используемую для представления количества подобластей, которые должны быть предпочтительно воспроизведены в подобласти, охватываемой углом обзора пользователя, информацию о номере подобласти, которая должна быть предпочтительно воспроизведена, информацию о номере подобласти, которую воспроизводят вторично, и информацию о номере подобласти, которую не воспроизводят.

11. Способ по п.1, в котором карта широты и долготы содержит

карту широты и долготы, соответствующую для левого глаза, и карту широты и долготы, соответствующую для правого глаза;

перед выполнением горизонтального деления и вертикального деления на карте широты и долготы или карте сферы обрабатываемого изображения, способ дополнительно содержит:

отделение карты широты и долготы, соответствующей для левого глаза, от карты широты и долготы, соответствующей для правого глаза; и

выполнение горизонтального деления и вертикального деления на карте широты и долготы или карте сферы обрабатываемого изображения содержит:

выполнение горизонтального деления и вертикального деления на карте широты и долготы, соответствующей для левого глаза, и выполнение горизонтального деления и вертикального деления на карте широты и долготы, соответствующей для правого глаза.

12. Способ по п.8, в котором способ дополнительно содержит:

отправку в оконечное устройство битовых потоков, соответствующих кодированным изображениям подобластей; или

прием информации угла обзора, отправленную оконечным устройством, получение, на основании информации угла обзора, подобласти, соответствующей информации угла обзора, и отправку битового потока подобласти, соответствующей информации угла обзора, в оконечное устройство; или

прием номера подобласти, который отправлен оконечным устройством, и отправку битового потока, соответствующего номеру подобласти, в оконечное устройство.

13. Способ по п.1, в котором

карта широты и долготы является картой широты и долготы 360-градусного панорамного видеоизображения или частью карты широты и долготы 360-градусного панорамного видеоизображения; или

карта сфера представляет собой карту сферы 360-градусного панорамного видеоизображения или частью карты сферы 360-градусного панорамного видеоизображения.

14. Способ обработки изображений, в котором способ применяют к оконечному устройству и содержит:

определение информации местоположения каждой подобласти панорамного изображения;

определение, на основании определенной информации местоположения каждой подобласти, информации местоположения подобласти, охватываемой текущим углом обзора в панорамном изображении;

определение первого интервала выборки подобласти, в котором более высокая широта, соответствующая подобласти, указывает больший первый интервал выборки;

получение, на основании определенной информации местоположения подобласти, охватываемой текущим углом обзора, битового потока, соответствующего подобласти, охватываемой текущим углом обзора;

декодирование битового потока для получения изображения подобласти, охватываемой текущим углом обзора; и

перевыборку декодированного изображения на основании определенной информации местоположения подобласти, охватываемой текущим углом обзора, и первого интервала выборки, и воспроизведение перевыбранного изображения.

15. Способ по п.14, в котором определение информации местоположения каждой подобласти панорамного изображения содержит:

прием первой информации, отправленной сервером, в котором первая информация содержат трек каждой подобласти панорамного изображения и битовый поток каждой подобласти, и трек содержит информацию местоположения всех подобластей панорамного изображения; и

получение информации местонахождения каждой подобласти в панорамном изображении, основываясь на треке.

16. Способ по п.14, в котором определение информации местоположения каждой подобласти панорамного изображения содержит:

прием описания медиапрезентации (MPD), отправленную сервером, в котором MPD содержит информацию местоположения каждой подобласти, или MPD содержит адрес личного файла, и личный файл содержит информацию местоположения каждой подобласти; и

синтаксический анализ MPD для получения информации местонахождения каждой подобласти.

17. Способ по п.14, в котором информация местоположения подобласти находится в информации для дополнительной оптимизации (SEI) битового потока, соответствующего подобласти.

18. Способ по п.14, в котором получение битового потока, соответствующего подобласти, охватываемой текущим углом обзора, содержит:

получение из памяти оконечного устройства битового потока, соответствующего подобласти, охватываемой текущим углом обзора; или

запрос из сервера получить битовый поток, соответствующий подобласти, охватываемой текущим углом обзора.

19. Способ по п.18, в котором запрос из сервера получения битового потока, соответствующего подобласти, охватываемой текущим углом обзора, содержит:

отправку информации, указывающую текущий угол обзора, на сервер, и прием битового потока, который соответствует подобласти, охватываемой текущим углом обзора, и который отправляют сервером; или

получение из сервера в соответствии с заданным протоколом оконечным устройством и сервером, битового потока, соответствующего подобласти, охватываемой текущим углом обзора, в котором протокол содержит соответствие между углом обзора и подобластью, охватываемой углом обзора.

20. Способ по п.15, в котором определение первого интервала выборки подобласти содержит:

определение заданного интервала выборки в качестве первого интервала выборки; или

прием первого интервала выборки с сервера; или

получение первого интервала выборки на основании информации местонахождения каждой подобласти, которая принимается с сервера.

21. Способ обработки изображений, в котором способ применяют к серверу и содержит:

хранение битовых потоков, соответствующих изображениям подобластей карты широты и долготы или карты сферы панорамного изображения, в котором подобласть получают посредством выполнения горизонтального деления и вертикального деления на карте широты и долготы или карте сферы панорамного изображения, в котором местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального деления определяют широтой, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной смежными местоположениями деления горизонтального деления, и интервал вертикального деления является расстоянием между соседними местоположениями деления вертикального деления; и

отправку в оконечное устройство битового потока подобласти, охватываемой текущим углом обзора, в сохраненных битовых потоках, которые соответствуют изображениям подобластей и которые запрошены оконечным устройством;

в котором перед кодированием изображение, которое соответствует подобласти и которое хранится на сервере, подвержено выборке в горизонтальном направлении с первым интервалом выборки, в котором более высокая широта, соответствующая подобласти, указывает на больший первый интервал выборки.

22. Сервер, содержащий:

блок деления, выполненный с возможностью выполнять горизонтальное деления и вертикальное деления на карте широты и долготы или карте сферы обрабатываемого изображения, для получения подобластей карты широты и долготы или карты сферы, в котором местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального деления определяется широтой, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной смежными местоположениями деления горизонтального деления, и интервал вертикального деления представляет собой расстояние между смежными местоположениями деления вертикального разделения;

блок кодирования, выполненный с возможностью кодировать изображения полученных подобластей; и

блок выборки, выполненный с возможностью:

выполнять выборку изображения подобласти в горизонтальном направлении с первым интервалом выборки, в котором более высокая широта, соответствующая подобласти, указывает больший первый интервал выборки; и

блок кодирования выполнен с возможностью:

кодировать изображения выборочных подобластей.

23. Сервер по п.22, в котором местоположение деления вертикального деления определяется широтой, что содержит: более высокая широта местоположения деления вертикального деления указывает на больший интервал вертикального деления.

24. Сервер по п.22, в котором блок выборки дополнительно выполнен с возможностью:

выполнять выборку изображения подобласти в вертикальном направлении со вторым интервалом выборки.

25. Сервер по п.22, в котором блок выборки дополнительно выполнен с возможностью:

отображать изображение подобласти на двумерное плоское изображение на основании заданного размера; и

выполнять выборку с первым интервалом выборки в горизонтальном направлении двумерного плоского изображения, на которое отображено изображение подобласти.

26. Сервер по п.22, дополнительно содержащий блок соединения, выполненный с возможностью:

корректировать местоположения выборочных подобластей, так что горизонтальный край и вертикальный край изображения, соединенного изображениями скорректированных подобластей, соответственно, выровнены.

27. Сервер по п.26, в котором блок кодирования выполнен с возможностью:

кодировать тайл (tile) соединенного изображения.

28. Сервер по п.22, дополнительно содержащий блок инкапсуляции, выполненный с возможностью:

независимо инкапсулировать битовые потоки, соответствующие кодированным изображениям подобластей, и кодировать информацию местоположения подобластей, в котором закодированная информация местоположения всех подобластей и битовых потоков всех подобластей находится в том же треке; или кодированная информация местоположения и битовый поток каждой подобласти, соответственно, находится в треке информации местоположения и треке битового потока; или кодированная информация местоположении всех подобластей содержится в описании медиапрезентации (MPD); или закодированная информация местоположения всех подобластей содержится в личном файле, и адрес личного файла находится в MPD; или кодированная информация местоположения каждой подобласти содержится в информации для дополнительной оптимизации (SEI) битового потока каждой подобласти.

29. Сервер по п.28, в котором, когда подобласть получают путем выполнения горизонтального деления и вертикального деления на карте широты и долготы обрабатываемого изображения, выборочные подобласти образуют выборочную карту широты и долготы и информация местоположения содержит местоположение и размер подобласти в карте широты и долготы, и местоположение и размер подобласти в выборочной карте широты и долготы; или информация местоположения содержит местоположение и размер подобласти в карте широты и долготы, и местоположение и размер подобласти в соединенном изображении; или, когда подобласть получают путь выполнения горизонтального деления и вертикального деления на карте сферы обрабатываемого изображения, выборочные подобласти образуют выборочную карту сферы, информация местоположения содержит местоположение и диапазон широты и долготы подобласти в изображении карты сферы, и местоположение и размер подобласти в изображении выборочной карты сферы; или информация местоположения содержит местоположение и диапазон широты и долготы подобласти в изображении карты сферы, и местоположение и размер подобласти в соединенном изображении.

30. Сервер по п.28, в котором личный файл дополнительно содержит информацию, используемую для представления соответствия между точкой обзора пользователя и номером подобласти, охватываемой углом обзора точки обзора пользователя.

31. Сервер по п.29, в котором личный файл дополнительно содержит информацию, используемую для представления количества подобластей, которые должны быть предпочтительно воспроизведены в подобласти, охватываемой углом обзора пользователя, информацию номера подобласти, которая должна быть предпочтительно воспроизведена, информацию номера подобласти, которая должна быть воспроизведена во вторую очередь, и информацию номера подобласти, которую не воспроизводят.

32. Сервер по п.22, в котором карта широты и долготы содержит карту широты и долготы, соответствующую левому глазу, и карту широты и долготы, соответствующую правому глазу; и

блок деления выполнен с возможностью:

отделять карту широты и долготы, соответствующую левому глазу, от карты широты и долготы, соответствующей правому глазу; и

выполнять горизонтальное деление и вертикальное деление на карте широты и долготы, соответствующей левому глазу, и выполнять горизонтальное деление и вертикальное деление на карте широты и долготы, соответствующей правому глазу.

33. Сервер по п.29, дополнительно содержащий блок передачи, выполненный с возможностью:

отправлять в оконечное устройство битовые потоки, соответствующие кодированным изображениям подобластей; или

принимать информацию угла обзора, отправленную оконечным устройством, получать, на основании информации угла обзора, подобласть, соответствующую информации угла обзора, и отправлять битовый поток подобласти, соответствующей информации угла обзора, в оконечное устройство; или

принимать номер подобласти, который отправлен оконечным устройством, и отправлять битовый поток, соответствующий номеру подобласти, в оконечное устройство.

34. Сервер по п.22, в котором

карта широты и долготы является картой широты и долготы 360-градусного панорамного видеоизображения, или частью карты широты и долготы 360-градусного панорамного видеоизображения; или

карта сферы представляет собой карту сферы 360-градусного панорамного видеоизображения или часть карты сферы 360-градусного панорамного видеоизображения.

35. Оконечное устройство, содержащее:

блок получения, выполненный с возможностью определять информацию местоположения каждой подобласти панорамного изображения, в котором

блок получения дополнительно выполнен с возможностью: определять, основываясь на определенной информации местоположения каждой подобласти, информацию местоположения подобласти, охватываемой текущим углом обзора в панорамном изображении; и определять первый интервал выборки подобласти, в котором более высокая широта, соответствующая подобласти, указывает больший первый интервал выборки; и

блок получения дополнительно выполнен с возможностью получать, основываясь на определенной информации местоположения подобласти, охватываемой текущим углом обзора, битовый поток, соответствующий подобласти, охватываемой текущим углом обзора;

блок декодирования, выполненный с возможностью декодировать битовый поток для получения изображения подобласти, охватываемой текущим углом обзора;

блок перевыборки, выполненный с возможностью выполнять перевыборку декодированного изображения на основании определенной информации местоположения подобласти, охватываемой текущим углом обзора, и первого интервала выборки; и

блок воспроизведения, выполненный с возможностью воспроизводить перевыбранное изображение.

36. Оконечное устройство по п.35, в котором блок получения выполнен с возможностью:

принимать первую информацию, отправленную сервером, в котором первая информация содержат трек каждой подобласти панорамного изображения и битовый поток каждой подобласти, и информация местоположения трека содержит все подобласти панорамного изображения; и

получать информацию местонахождения каждой подобласти в панорамном изображении на основе трека.

37. Оконечное устройство по п.35, в котором блок получения выполнен с возможностью:

принимать описание медиапрезентации (MPD), отправленное сервером, в котором MPD содержит информацию местоположения каждой подобласти или MPD содержит адрес личного файла, и личный файл содержит информацию местоположения каждой подобласти; и

блок получения дополнительно выполнен с возможностью: выполнять синтаксический анализ MPD для получения информации местоположения каждой подобласти.

38. Оконечное устройство по п.35, в котором информация местоположения подобласти находится в информации для дополнительной оптимизации (SEI) битового потока, соответствующей подобласти.

39. Оконечное устройство по п.35, в котором блок получения выполнен с возможностью:

получать из памяти оконечного устройства битовый поток, соответствующий подобласти, охватываемой текущим углом обзора; или

запрашивать из сервера получить битовый поток, соответствующий подобласти, охватываемой текущим углом обзора.

40. Оконечное устройство по п.39, в котором блок получения выполнен с возможностью:

отправлять информацию, указывающую текущий угол обзора на сервер, и принимать битовый поток, который соответствует подобласти, охватываемой текущим углом обзора и, который отправлен сервером; или

получать из сервера, в соответствии с протоколом, заданным оконечным устройством и сервером, битовый поток, соответствующий подобласти, охватываемой текущим углом обзора, в котором протокол содержит соответствие между углом обзора и подобластью, охватываемой углом обзора.

41. Оконечное устройство по п.36, в котором блок получения выполнен с возможностью:

определять заданный интервал выборки в качестве первого интервала выборки; или

принимать первый интервал выборки из сервера; или

получать первый интервал выборки на основании информации местонахождения каждой подобласти, которая принимается из сервера.

42. Сервер, содержащий:

блок хранения, выполненный с возможностью хранить битовые потоки, соответствующих изображений подобластей карты широты и долготы или карты сферы панорамного изображения, в котором подобласть получают путем выполнения горизонтального деления и вертикального деления на карте широты и долготы или карте сферы панорамного изображения, в котором местоположение деления горизонтального деления является заданной широтой, местоположение деления вертикального деления определяется широтой, существует, по меньшей мере, два типа интервалов вертикального деления в области, образованной смежными местоположениями деления горизонтального деления, и интервал вертикального деления является расстоянием между смежными местоположениями деления вертикального деления; и

блок передачи, выполненный с возможностью отправлять в оконечное устройство битовый поток подобласти, охватываемой текущим углом обзора, в сохраненных битовых потоках, которые соответствуют изображениям подобластей и которые запрошены оконечным устройством;

в котором перед кодированием изображение, которое соответствует подобласти и хранится в сервере, подвержено выборке в горизонтальном направлении с первым интервалом выборки, в котором более высокая широта, соответствующая подобласти, указывает на больший первый интервал выборки.