Способ и устройство для интеграции объекта в панорамное видео Российский патент 2020 года по МПК G06T3/00 

Перекрестные ссылки на связанные заявки

[0001] Настоящая заявка ссылается на приоритет заявки на патент КНР №201710537524.8, зарегистрированной 4 июля 2017 года и озаглавленной "Способ и устройство для интеграции объектов в панорамное видео", которая была подана компаниями Beijing Jingdong Century Trading Co., Ltd. и Beijing Jingdong Shangke Information Technology Co., Ltd. Содержимое упомянутой заявки полностью включено в настоящий документ путем ссылки.

Область техники

[0002] Настоящее изобретение относится к области технологий видеовоспроизведения, в частности, к области технологий воспроизведения панорамного видео, а именно, к способу и устройству для интеграции объектов в панорамное видео.

Предпосылки создания изобретения

[0003] Под панорамным видео понимается доступный для воспроизведения видеоресурс, имеющий множество углов зрения для воспроизведения и дающий пользователю ощущение погружения, аналогичное «истинному стерео». При этом панорамное видео может быть создано или сформировано множеством различных способов, например, путем формирования изображений при помощи сшивки непрерывной последовательности изображений, полученных с разных углов. При просмотре панорамного видео на панорамном видеопроигрывателе пользователь может менять угол зрения, перемещая верхнюю и нижнюю, левую и правую части видео. С развитием соответствующих технологий воспроизведения панорамное видео применяют во все новых областях, включая области технологий прямого телевещания, специальных эффектов в кино и на телевидении, виртуальных игр и т.п.

[0004] Сегодняшние технологии воспроизведения панорамного видео позволяют реалистично воссоздать эффект 720-градусного охвата панорамного видео, однако при этом существующие технологии позволяют только воспроизводить контент панорамного видео, но не позволяют интегрировать в него дополнительный контент во время воспроизведения.

Сущность изобретения

[0005] Цель настоящего изобретения - предложить устройство и способ для интеграции объекта в панорамное видео, который позволил решить технические затруднения, описанные в предыдущем разделе.

[0006] В соответствии с первым аспектом настоящего изобретения, в некоторых из вариантов его осуществления предложен способ интеграции объекта в панорамное видео, включающий: воспроизведение панорамного видео в проигрывателе панорамного видео; получение целевого объекта; анализ целевого объекта с целью получения координатного параметра и параметра материала целевого объекта; назначение, на основе координатного параметра и параметра материала, цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, чтобы получить окрашенный целевой объект; и интеграцию окрашенного целевого объекта в панорамное видео.

[0007] В некоторых из вариантов осуществления настоящего изобретения воспроизведение панорамного видео в проигрывателе панорамного видео включает: получение последовательности кадров панорамного видео; отображение последовательности кадров на внутреннюю поверхность заранее заданной модели воспроизведения панорамного видео; и проецирование части модели воспроизведения панорамного видео, соответствующей интерфейсу просмотра, на проекционную поверхность, для воспроизведения панорамного видео.

[0008] В некоторых из вариантов осуществления настоящего изобретения назначение, на основе координатного параметра и параметра материала, цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, с целью получения окрашенного целевого объекта, включает: определение, на основе координатного параметра, двумерных координат, соответствующих проекции целевого объекта на проекционную поверхность; определение, на основе параметра материала, коэффициента отражения света от целевого объекта; и определение цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе упомянутых двумерных координат, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения.

[0009] В некоторых из вариантов осуществления настоящего изобретения определение, на основе параметра материала, коэффициента отражения света от целевого объекта включает: определение коэффициента отражения света от целевого объекта в соответствии с заранее заданным списком соответствия между параметрами материалов и коэффициентами отражения, и параметром материала.

[0010] В некоторых из вариантов осуществления настоящего изобретения определение цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе упомянутых двумерных координат, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения включает: определение, на основе упомянутых двумерных координат, координаты каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео; определение интенсивности освещенности каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе координаты каждого пикселя, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения; и определение цвета каждого пикселя на основе интенсивности освещенности каждого пикселя.

[0011] В некоторых из вариантов осуществления настоящего изобретения интеграция окрашенного целевого объекта в панорамное видео включает: получение координат расположения целевого объекта в панорамном видео; обработку окрашенного целевого объекта, при этом обработка включает по меньшей мере одно из следующего: масштабирование, сдвиг или поворот; и позиционирование обработанного целевого объекта на основе упомянутых координат расположения.

[0012] В некоторых из вариантов осуществления настоящего изобретения способ дополнительно включает: получение данных датчика проигрывателя панорамного видео; определение, на основе данных датчика, пересекается ли ориентация проигрывателя панорамного видео с упомянутыми координатами расположения; и подсчет, в ответ на то, что ориентация проигрывателя панорамного видео пересекается с координатами расположения, длительности пересечения; и отображение заранее заданного интерактивного интерфейса, когда длительность больше, чем заранее заданный порог.

[0013] В соответствии со вторым аспектом настоящего изобретения, в некоторых из вариантов его осуществления предложено устройство для интеграции объекта в панорамное видео, включающее: блок воспроизведения панорамного видео, сконфигурированный для воспроизведения панорамного видео в проигрывателе панорамного видео; блок получения целевого объекта, сконфигурированный для получения целевого объекта; блок анализа целевого объекта, сконфигурированный для анализа целевого объекта с целью получения координатного параметра и параметра материала целевого объекта; блок окрашивания целевого объекта, сконфигурированный для назначения, на основе координатного параметра и параметра материала, цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, чтобы получить окрашенный целевой объект; и блок интеграции целевого объекта, сконфигурированный для интеграции окрашенного целевого объекта в панорамное видео.

[0014] В некоторых из вариантов осуществления настоящего изобретения блок воспроизведения панорамного видео включает: модуль получения, сконфигурированный для получения последовательности кадров панорамного видео; модуль отображения, сконфигурированный для отображения последовательности кадров на внутреннюю поверхность заранее заданной модели воспроизведения панорамного видео; и модуль проецирования, сконфигурированный для проецирования части модели воспроизведения панорамного видео, соответствующей интерфейсу просмотра, на проекционную поверхность, для воспроизведения панорамного видео.

[0015] В некоторых из вариантов осуществления настоящего изобретения блок окрашивания целевого объекта включает: модуль определения двумерных координат, сконфигурированный для определения, на основе координатного параметра, двумерных координат, соответствующих проекции целевого объекта на проекционную поверхность; модуль определения коэффициента отражения, сконфигурированный для определения, на основе параметра материала, коэффициента отражения света от целевого объекта; и блок определения цвета пикселей, сконфигурированный для определения цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе упомянутых двумерных координат, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения.

[0016] В некоторых из вариантов осуществления настоящего изобретения модуль определения коэффициента отражения дополнительно сконфигурирован: для определения коэффициента отражения света от целевого объекта в соответствии с заранее заданным списком соответствия между параметрами материалов и коэффициентами отражения, и параметром материала.

[0017] В некоторых из вариантов осуществления настоящего изобретения модуль определения цвета пикселей дополнительно сконфигурирован: для определения, на основе упомянутых двумерных координат, координаты каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео; для определения интенсивности освещенности каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе координаты каждого пикселя, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения; и для определения цвета каждого пикселя на основе интенсивности освещенности каждого пикселя.

[0018] В некоторых из вариантов осуществления настоящего изобретения блок интеграции целевого объекта включает: модуль получения координат расположения, сконфигурированный для получения координат расположения целевого объекта в панорамном видео; модуль обработки целевого объекта, сконфигурированный для обработки окрашенного целевого объекта, при этом обработка включает по меньшей мере одно из следующего: масштабирование, сдвиг или поворот; и модуль позиционирования целевого объекта, сконфигурированный для позиционирования обработанного целевого объекта на основе упомянутых координат расположения.

[0019] В некоторых из вариантов осуществления настоящего изобретения устройство дополнительно включает: блок взаимодействия, при этом блок взаимодействия включает: модуль получения данных датчика, сконфигурированный для получения данных датчика проигрывателя панорамного видео; модуль определения состояния пересечения, сконфигурированный для определения, на основе данных датчика, пересекается ли ориентация проигрывателя панорамного видео с упомянутыми координатами расположения; модуль определения времени пересечения, сконфигурированный для подсчета, в ответ на то, что ориентация проигрывателя панорамного видео пересекается с координатами расположения, длительности пересечения; и модуль отображения интерактивного интерфейса, сконфигурированный для отображения заранее заданного интерактивного интерфейса, когда длительность больше, чем заранее заданный порог.

[0020] В соответствии с третьим аспектом настоящего изобретения, в некоторых из вариантов его осуществления предложено терминальное устройство, включающее: один или более процессоров; и устройство хранения, сконфигурированное для хранения одной или более программ, при этом одна или более программ, когда их исполняют при помощи одного или более процессоров, обеспечивают выполнение, одним или более процессорами, способа по любому из описанных выше вариантов осуществления настоящего изобретения.

[0021] В соответствии с четвертым аспектом настоящего изобретения, в некоторых из вариантов его осуществления предложен машиночитаемый носитель данных, на котором хранят компьютерную программу, при этом программа, при ее исполнении процессором, обеспечивает выполнение, процессором, способа по любому из описанных выше вариантов осуществления настоящего изобретения.

[0022] В соответствии со способом и устройством для интеграции объекта в панорамное видео, предложенными в рассмотренных выше вариантах осуществления настоящего изобретения, когда панорамное видео воспроизводят на проигрывателе панорамного видео, получают целевой объект, затем целевой объект анализируют, получая координатный параметр и параметр материала целевого объекта, назначают цвет для каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, в соответствии с координатным параметром и параметром материала, чтобы получить окрашенный целевой объект, и наконец, окрашенный целевой объект интегрируют в панорамное видео. Способ и устройство, предложенные в вариантах осуществления настоящего изобретения, не только позволяют воспроизводить панорамное видео, но также позволяют качественно интегрировать в воспроизводимое панорамное видео целевые объекты, что позволяет повысить качество специальных эффектов в панорамном видео.

Краткое описание чертежей

[0023] Множество дополнительных элементов, целей и преимуществ настоящего изобретения могут стать очевидными при прочтении подробного описания неограничивающих вариантов осуществления настоящего изобретения, со ссылками приложенные чертежи, описанные ниже.

[0024] Фиг. 1 представляет собой блок-схему способа интеграции объекта в панорамное видео в соответствии с одним из вариантов осуществления настоящего изобретения.

[0025] Фиг. 2 представляет собой эскизную схему одного из сценариев применения способа интеграции объекта в панорамное видео в соответствии с одним из вариантов осуществления настоящего изобретения.

[0026] Фиг. 3 представляет собой блок-схему одного из вариантов осуществления окрашивания целевого объекта в способе интеграции объекта в панорамное видео.

[0027] Фиг. 4 представляет собой эскизную блок-схему устройства для интеграции объекта в панорамное видео в соответствии с одним из вариантов осуществления настоящего изобретения.

[0028] Фиг. 5 представляет собой эскизную структурную схему компьютерной системы, подходящей для реализации терминального устройства в вариантах осуществления настоящего изобретения.

Подробное описание вариантов осуществления изобретения

[0029] Варианты осуществления настоящего изобретения будут рассмотрены более подробно ниже на примерах приложенных чертежей. Нужно понимать, что конкретные варианты осуществления настоящего изобретения в данном документе используются исключительно для описания настоящего изобретения, но не для его ограничения. При этом следует отметить, что для простоты описания на приложенных чертежах показаны только те элементы, которые имеют непосредственное отношение к настоящему изобретению.

[0030] Нужно также понимать, что варианты осуществления настоящего изобретения и различные их элементы могут комбинироваться друг с другом, если не возникает противоречий. Ниже отличительные признаки настоящего изобретения будут рассмотрены более подробно, на примере приложенных чертежей, и в сочетании с различными вариантами его осуществления.

[0031] На фиг. 1 показана блок-схема 200 способа интеграции объекта в панорамное видео в соответствии с одним из вариантов осуществления настоящего изобретения. Способ интеграции объекта в панорамное видео в соответствии данным вариантом осуществления настоящего изобретения включает описанные ниже шаги.

[0032] Шаг 101: воспроизведение панорамного видео в проигрывателе панорамного видео.

[0033] В данном варианте осуществления настоящего изобретения электронное устройство (например, терминальное устройство), на котором исполняют способ интеграции объекта в панорамное видео, может воспроизводить панорамное видео. В одном из конкретных примеров на терминальном устройстве может быть установлено приложение для воспроизведения панорамного видео, например, различные проигрыватели панорамного видео.

[0034] В альтернативных реализациях данного варианта осуществления настоящего изобретения шаг 101 может быть реализован с помощью следующих шагов, не показанных на фиг. 1:

[0035] получение последовательности кадров панорамного видео; отображение последовательности кадров на внутреннюю поверхность заранее заданной модели воспроизведения панорамного видео; и проецирование части модели воспроизведения панорамного видео, соответствующей интерфейсу просмотра, на проекционную поверхность, для воспроизведения панорамного видео.

[0036] Каждый кадр панорамного видео представляет собой 360-градусное панорамное изображение, и панорамное видео включает множество 360-градусных панорамных изображений. Последовательность кадров отображают на внутреннюю поверхность заранее заданной модели воспроизведения панорамного видео, при этом упомянутая модель воспроизведения панорамного видео может быть создана в соответствии с характеристиками панорамного видео и является виртуальной моделью, например, сферической, кубической или пирамидальной моделью. В качестве примера, сферическая модель включает в себя общий объем пространства с охватом 360 градусов, центр которого находится в центре сферы, при этом проецирование панорамного изображения на внутреннюю поверхность сферической модели эквивалентно наблюдению панорамного изображения глазом зрителя из центра сферы. Затем часть модели воспроизведения панорамного видео, соответствующую интерфейсу просмотра, проецируют на проекционную поверхность для воспроизведения панорамного видео. Если глаз зрителя находится в центре модели воспроизведения панорамного видео, то, следуя правилу перспективной проекции, панорамное изображение, отображенное на поверхность модели воспроизведения панорамного видео в области проецирования, может быть спроецировано на проекционную поверхность изображения, и в результате видео или изображение на проекционной поверхности отображается на экране проигрывателя панорамного видео.

[0037] Шаг 102: получение целевого объекта.

[0038] В данном варианте осуществления настоящего изобретения целевым объектом могут быть различные объекты, которые интегрируют в панорамное видео, например, анимированные представления, текстовые символы или различные рекламируемые товары. Целевой объект может иметь различные форматы, подходящие для интеграции в панорамное видео, например формат obj. Терминальное устройство может получать целевые объекты по различным проводным или беспроводным соединениям. К примеру, терминальное устройство может получать целевой объект, хранимый локально, или вводимый пользователем, различными путями.

[0039] Следует отметить, что беспроводное соединение может включать, без ограничения перечисленным, соединение 3G/4G, соединение WiFi, соединение Bluetooth, соединение WiMAX, соединение Zigbee, соединение со сверхширокой полосой пропускания (ultra wideband, UWB) и другие беспроводные соединения, уже существующие или которые могут быть разработаны в будущем.

[0040] Шаг 103: анализ целевого объекта с целью получения координатного параметра и параметра материала целевого объекта.

[0041] После получения целевого объекта терминальное устройство может анализировать целевой объект и определять координатный параметр и параметр материала целевого объекта. Координатный параметр может включать координаты вершин целевого объекта, нормальные координаты каждой вершины и т.п., а параметр материала может включать параметр каждой грани целевого объекта и параметр материала каждой грани.

[0042] Шаг 104: назначение, на основе координатного параметра и параметра материала, цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, чтобы получить окрашенный целевой объект.

[0043] После определения координатного параметра и параметра материала целевого объекта, терминальное устройство может окрашивать целевой объект, то есть назначать для каждого пикселя целевого объекта цвет, который будет использован при интеграции объекта в панорамное видео, чтобы получить окрашенный целевой объект.

[0044] Шаг 105: интеграция окрашенного целевого объекта в панорамное видео.

[0045] После окрашивания целевого объекта он может быть интегрирован в панорамное видео, в результате чего обеспечивается внедрение стороннего объекта в ходе воспроизведения панорамного видео.

[0046] Далее обратимся к фиг. 2, которая представляет собой эскизную схему одного из сценариев применения способа интеграции объекта в панорамное видео в соответствии с одним из вариантов осуществления настоящего изобретения. В сценарии применения, показанном на фиг. 2, на проигрывателе панорамного видео воспроизводят панорамное видео 21. В ходе воспроизведения получают и анализируют целевой объект, задают цвет целевого объекта 22, получая окрашенный целевой объект, и затем окрашенный целевой объект 22 интегрируют в панорамное видео 21.

[0047] В соответствии со способом и устройством для интеграции объекта в панорамное видео, предложенными в данном варианте осуществления настоящего изобретения, когда панорамное видео воспроизводят на проигрывателе панорамного видео, получают целевой объект, затем целевой объект анализируют, получая координатный параметр и параметр материала целевого объекта, назначают цвет для каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, в соответствии с координатным параметром и параметром материала, чтобы получить окрашенный целевой объект, и наконец, окрашенный целевой объект интегрируют в панорамное видео. Способ, предложенный в данном варианте осуществления настоящего изобретения, не только позволяет воспроизводить панорамное видео, но также позволяют качественно интегрировать целевые объекты в воспроизводимое панорамное видео, что позволяет повысить качество специальных эффектов в панорамном видео.

[0048] При этом в альтернативных реализациях данного варианта осуществления настоящего изобретения, шаг 105 может быть реализован с помощью следующих шагов, не показанных на фиг. 1: получение координат расположения целевого объекта в панорамном видео; обработку окрашенного целевого объекта, при этом обработка включает по меньшей мере одно из следующего: масштабирование, сдвиг или поворот; и позиционирование обработанного целевого объекта на основе координат расположения.

[0049] В такой реализации терминальное устройство может сначала получать координаты расположения целевого объекта в панорамном видео, затем обрабатывать окрашенный целевой объект, например, масштабировать, смещать или поворачивать его, и позиционировать обработанный целевой объект в координатах расположения. Таким образом, зритель может смотреть на целевой объект под любым углом.

[0050] В альтернативных реализациях данного варианта осуществления настоящего изобретения способ может дополнительно включать следующие шаги, не показанные на фиг. 1:

[0051] получение данных датчика проигрывателя панорамного видео; определение, на основе данных датчика, пересекается ли ориентация проигрывателя панорамного видео с упомянутыми координатами расположения; и подсчет, в ответ на то, что ориентация проигрывателя панорамного видео пересекается с координатами расположения, длительности пересечения; и отображение заранее заданного интерактивного интерфейса, когда длительность больше, чем заранее заданный порог.

[0052] В такой реализации определяют ориентацию проигрывателя панорамного видео, исходя из данных датчика в проигрывателе панорамного видео. Затем определяют, пересекается ли ориентация с координатами расположения целевого объекта. Если ориентация пересекается с координатами расположения целевого объекта, подсчитывают длительность пересечения ориентации проигрывателя панорамного видео с упомянутыми координатами расположения целевого объекта. Когда длительность больше, чем заранее заданный порог, отображают заранее заданный интерактивный интерфейс .Когда целевой объект - это рекламируемый товар, интерактивный интерфейс может включать информацию о товаре, кнопку для удаления целевого объекта, кнопку для добавления целевого объекта в корзину покупок и т.п., что позволяет реализовать интерактивное взаимодействие между зрителем и целевым объектом. В такой реализации ориентация проигрывателя панорамного видео может интерпретироваться как направления взгляда зрителя, то есть в такой реализации зритель может взаимодействовать с целевым объектом, если задержит на нем свой взгляд.

[0053] Обратимся к фиг. 3, которая представляет собой блок-схему 300 алгоритма для одного из вариантов осуществления окрашивания целевого объекта в способе интеграции объекта в панорамное видео. В соответствии с иллюстрацией фиг. 3, в данном варианте осуществления настоящего изобретения целевой объект может быть окрашен при помощи описанных ниже шагов.

[0054] Шаг 301: определение, на основе координатного параметра, двумерных координат, соответствующих проекции целевого объекта на проекционную поверхность.

[0055] В данном варианте осуществления настоящего изобретения двумерные координаты, соответствующие части, перекрытой целевым объектом, когда целевой объект проецируют на проекционную поверхность, могут быть определены на основе координатного параметра (например, координат и нормальных координат вершин) целевого объекта. Нужно понимать, что двумерные координаты могут включать множество координат, которое используют для представления части проекционной поверхности, перекрытой целевым объектом.

[0056] Шаг 302: определение, на основе параметра материала, коэффициента отражения света от целевого объекта.

[0057] Отражение света от объекта может быть зеркальным и рассеянным. Коэффициент зеркального отражения больше, чем коэффициент рассеянного отражения. Рассеянное отражение возникает, как правило, когда свет падает на шероховатую поверхность объекта, при этом различные материалы имеют различные коэффициент рассеянного отражения. В данном варианте осуществления настоящего изобретения терминальное устройство может определять, исходя из параметра материала, коэффициент отражения света от целевого объекта.

[0058] В альтернативных реализациях данного варианта осуществления настоящего изобретения терминальное устройство может определять коэффициент отражения света от целевого объекта в соответствии с заранее заданным списком соответствия между параметрами материалов и коэффициентами отражения, и параметром материала.

[0059] В такой реализации терминальное устройство может сначала получать список, включающий отношения соответствия между параметрами материала и коэффициентами отражения, и затем определять коэффициент отражения света от целевого объекта в соответствии с упомянутым списком и параметром материала целевого объекта.

[0060] Шаг 303: определение цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе упомянутых двумерных координат, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения.

[0061] После определения двумерных координат целевого объекта на проекционной поверхности и коэффициента отражения света от целевого объекта, может быть определен цвет каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе заранее заданных интенсивностей рассеянного света и направленного света. Под рассеянным светом понимается свет в окружении, где находится целевой объект, а направленный свет -это свет с параллельными лучами, падающий с заданного направления. Поскольку интенсивность рассеянного освещения и интенсивность направленного освещения заданы заранее, можно определить цвет каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео.

[0062] В альтернативных реализациях данного варианта осуществления настоящего изобретения шаг 303 может быть реализован с помощью следующих шагов, не показанных на фиг. 3: определение, на основе упомянутых двумерных координат, координаты каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео; определение интенсивности освещенности каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе координаты каждого пикселя, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения; и определение цвета каждого пикселя на основе интенсивности освещенности каждого пикселя.

[0063] В такой реализации координаты каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео могут быть определены на основе найденных двумерных координат, затем определяют интенсивность освещенности рассеянным и направленным светом для каждого пикселя, исходя из координат каждого пикселя, и наконец, определяют цвет каждого пикселя в соответствии с интенсивностью освещенности каждого пикселя.

[0064] Способ интеграции объекта в панорамное видео в соответствии с вариантами осуществления настоящего изобретения позволяет окрашивать целевой объект таким образом, чтобы интеграция целевого объекта в панорамное видео не была назойливой, что улучшает восприятие от просмотра у зрителей.

[0065] Далее рассмотрим фиг. 4, где в качестве одного из вариантов реализации способа, проиллюстрированного на предыдущих чертежах, в одном из вариантов осуществления настоящего изобретения предложено устройство для интеграции объекта в панорамное видео. Данный вариант осуществления устройства соответствует варианту осуществления способа, показанного на фиг. 1, при этом предложенное устройство может применяться, в частности, в различных электронных устройствах.

[0066] В соответствии с иллюстрацией фиг. 4 устройство 400 для интеграции объекта в панорамное видео в соответствии с данным вариантом осуществления настоящего изобретения включает блок 401 воспроизведения панорамного видео, блок 402 получения целевого объекта, блок 403 анализа целевого объекта, блок 404 окрашивания целевого объекта и блок 405 интеграции целевого объекта.

[0067] Блок 401 воспроизведения панорамного видео сконфигурирован для воспроизведения панорамного видео в проигрывателе панорамного видео.

[0068] Блок 402 получения целевого объекта сконфигурирован для получения целевого объекта.

[0069] Блок 403 анализа целевого объекта сконфигурирован для анализа целевого объекта с целью получения координатного параметра и параметра материала целевого объекта.

[0070] Блок 404 окрашивания целевого объекта сконфигурирован для назначения, на основе координатного параметра и параметра материала, цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, чтобы получить окрашенный целевой объект.

[0071] Блок 405 интеграции целевого объекта сконфигурирован для интеграции окрашенного целевого объекта в панорамное видео.

[0072] В альтернативных реализациях данного варианта осуществления изобретения блок 401 воспроизведения панорамного видео может дополнительно включать модуль получения, модуль отображения и модуль проецирования, не показанные на фиг. 4.

[0073] Модуль получения сконфигурирован для получения последовательности кадров панорамного видео.

[0074] Модуль отображения сконфигурирован для отображения последовательности кадров на внутреннюю поверхность заранее заданной модели воспроизведения панорамного видео.

[0075] Модуль проецирования сконфигурирован для проецирования части модели воспроизведения панорамного видео, соответствующей интерфейсу просмотра, на проекционную поверхность, для воспроизведения панорамного видео.

[0076] В альтернативных вариантах осуществления настоящего изобретения блок 404 окрашивания целевого объекта может дополнительно включать модуль определения двумерных координат, модуль определения коэффициента отражения, а также модуль определения цвета пикселей, не показанные на фиг. 4.

[0077] Модуль определения двумерных координат сконфигурирован для определения, на основе координатного параметра, двумерных координат, соответствующих проекции целевого объекта на проекционную поверхность.

[0078] Модуль определения коэффициента отражения сконфигурирован для определения, на основе параметра материала, коэффициента отражения света от целевого объекта.

[0079] Модуль определения цвета пикселей сконфигурирован для определения цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе упомянутых двумерных координат, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения.

[0080] В альтернативных реализациях данного варианта осуществления настоящего изобретения модуль определения коэффициента отражения может быть дополнительно сконфигурирован для определения коэффициента отражения света от целевого объекта в соответствии с заранее заданным списком соответствия между параметрами материалов и коэффициентами отражения, и параметром материала.

[0081] В некоторых из альтернативных реализаций данного варианта осуществления изобретения модуль определения цвета пикселей может быть дополнительно сконфигурирован: для определения, на основе упомянутых двумерных координат, координаты каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео; для определения интенсивности освещенности каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе координаты каждого пикселя, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения; и для определения цвета каждого пикселя целевого объекта на основе интенсивности освещенности каждого пикселя.

[0082] В альтернативных вариантах реализации данного варианта осуществления изобретения блок 405 интеграции целевого объекта может дополнительно включать модуль получения координат расположения, модуль обработки целевого объекта и модуль позиционирования целевого объекта, не показанные на фиг. 4.

[0083] Модуль получения координат расположения сконфигурирован для получения координат расположения целевого объекта в панорамном видео.

[0084] Модуль обработки целевого объекта сконфигурирован для обработки окрашенного целевого объекта, при этом обработка включает по меньшей мере одно из следующего: масштабирование, сдвиг или поворот.

[0085] Модуль позиционирования целевого объекта сконфигурирован для позиционирования обработанного целевого объекта на основе упомянутых координат расположения.

[0086] В альтернативных реализациях данного варианта осуществления настоящего изобретения устройство может дополнительно включать блок взаимодействия, не показанный на фиг. 4. Блок взаимодействия может включать модуль получения данных датчика, модуль определения состояния пересечения, модуль определения времени пересечения и модуль отображения интерактивного интерфейса.

[0087] Модуль получения данных датчика сконфигурирован для получения данных датчика в проигрывателе панорамного видео.

[0088] Модуль определения состояния пересечения сконфигурирован для определения, на основе данных датчика, пересекается ли ориентация проигрывателя панорамного видео с упомянутыми координатами расположения.

[0089] Модуль определения времени пересечения сконфигурирован для подсчета, в ответ на то, что ориентация проигрывателя панорамного видео пересекается с координатами расположения, длительности пересечения.

[0090] Модуль отображения интерактивного интерфейса сконфигурирован для отображения заранее заданного интерактивного интерфейса, когда длительность больше, чем заранее заданный порог.

[0091] В устройстве для интеграции объекта в панорамное видео, предложенными в данном варианте осуществления настоящего изобретения, когда панорамное видео воспроизводят на проигрывателе панорамного видео, получают целевой объект, затем целевой объект анализируют, получая координатный параметр и параметр материала целевого объекта, назначают цвет для каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, в соответствии с координатным параметром и параметром материала, чтобы получить окрашенный целевой объект, и наконец, окрашенный целевой объект интегрируют в панорамное видео. Устройство, предложенное в данном варианте осуществления настоящего изобретения, не только позволяет воспроизводить панорамное видео, но также позволяют качественно интегрировать целевой объект в воспроизводимое панорамное видео, что позволяет повысить качество специальных эффектов в панорамном видео.

[0092] Нужно понимать, что блоки 401-405, описанные в составе устройства 400 для интеграции объекта в панорамное видео, отвечают соответствующим шагам способа, описанного на примере фиг. 1. Поэтому операции и характеристики, описанные выше в отношении способа интеграции объекта в панорамное видео, остаются применимыми и для устройства 400 и блоков в его составе. Их подробное описание здесь повторено не будет. Для реализации решений, предложенных в вариантах осуществления настоящего изобретения, соответствующие блоки в устройстве 400 могут взаимодействовать с блоками в терминальном устройстве.

[0093] Обратимся к фиг. 5, которая представляет собой эскизную структурную схему компьютерной системы 500, приспособленной для реализации терминального устройства в вариантах осуществления настоящего изобретения. Терминальное устройство, показанное на фиг. 5, является лишь примером и никоим образом не ограничивает функциональность и область применения вариантов осуществления настоящего изобретения.

[0094] В соответствии с иллюстрацией фиг. 5, компьютерная система 500 включает центральный процессорный блок (central processing unit, CPU) 501, который может исполнять различные подходящие действия и процедуры в соответствии с программой, хранимой в памяти типа «только для чтения» (read-only memory, ROM) 502, или программой, загружаемой в память с произвольным доступом (random access memory, RAM) 503 из подсистемы 508 хранения. В RAM-памяти 503 также хранят различные программы и данные, необходимые для работы системы 500. CPU 501, ROM 502 и RAM 503 соединены друг с другом при помощи шины 504. К шине 504 подключен также интерфейс 505 ввода-вывода (input/output, I/O).

[0095] К интерфейсу 505 ввода-вывода подключены следующие компоненты: подсистема 506 ввода, включающая клавиатуру, мышь и т.п.; подсистема 507 вывода, включающая катодно-лучевую трубку (cathode ray tube (CRT), жидкокристаллическое дисплейное устройство (liquid crystal display, LCD), громкоговоритель и т.п.; подсистема 508 хранения, включающая жесткий диск или аналогичное устройство; и подсистема 509 связи, включающая сетевую интерфейсную карду, например, LAN-карту, и модем. Подсистема 509 связи выполняет процедуры связи по сети, например, Интернет. К интерфейсу 505 ввода-вывода может быть также подключен привод 510. В привод 510 может устанавливаться съемный носитель 511, например, магнитный диск, оптический диск, магнитооптический диск или полупроводниковая память, в результате чего, при необходимости, обеспечивается извлечение компьютерной программы со съемного носителя 511 и установка ее в подсистему 508 хранения.

[0096] В частности, в соответствии с некоторыми из вариантов осуществления настоящего изобретения, процедура, описанная выше на примере блок-схемы алгоритма, может быть реализована в виде компьютерной программы. К примеру, один из вариантов осуществления настоящего изобретения может включать компьютерный программный продукт, который размещен на машиночитаемом носителе данных. Компьютерная программа включает программные коды для исполнения способа, проиллюстрированного на блок-схеме алгоритма. В таком варианте осуществления настоящего изобретения компьютерная программа может загружаться и устанавливаться из сети через подсистему 509 связи, и/или может быть установленной на съемном носителе 511. Компьютерная программа, при ее исполнении центральным процессорным блоком (CPU) 501 реализует описанную выше функциональность, определенную способами, предложенными в настоящем изобретении.

[0097] Следует отметить, что машиночитаемым носителем в некоторых из вариантов осуществления настоящего изобретения может быть машиночитаемая среда распространения сигнала или машиночитаемый носитель данных, а также любая их комбинация. В качестве примера, машиночитаемый носитель может включать, без ограничения перечисленным: электрические, магнитные, электромагнитные, инфракрасные или полупроводниковые системы, устройства, элементы, а также любые их комбинации. Более конкретные примеры машиночитаемых носителей могут включать, без ограничения перечисленным: электрическое соединение, имеющее в своем составе один или более проводов, портативные компьютерные дискеты, память с произвольным доступом (RAM), память в режиме "только для чтения" (ROM), перезаписываемую память в режиме "только для чтения" (erasable programmable read-only memory, EPROM) или Flash-память, оптическое волокно, портативную память в режиме "только для чтения" на компакт-диске (compact disc read-only memory, CD-ROM), оптическую память, магнитную память или любые комбинации перечисленного. В вариантах осуществления настоящего изобретения машиночитаемым носителем может быть любой материальный носитель, где содержатся, или хранятся, программы, которые могут использоваться в системе, устройстве или элементе исполнения команд или которые могут быть интегрированы в подобную аппаратуру. В некоторых вариантах осуществления настоящего изобретения среда распространения машиночитаемых сигналов может включать информационный сигнал в основной полосе частот, или распространяющийся в виде несущей, в котором передают машиночитаемые программные коды. Распространяющийся сигнал может принимать различные формы, включая, без ограничения перечисленным: электромагнитный сигнал, оптический сигнал или любую их подходящую комбинацию. Машиночитаемой средой распространения сигнала может быть любой машиночитаемый носитель, кроме машиночитаемой памяти. Машиночитаемый носитель обеспечивает передачу, распространение или перенос программ, которые используют в системе, устройстве или элементе исполнения команд, или в комбинации с ними. Программные коды, содержащиеся на машиночитаемом носителе, могут передаваться при помощи любых подходящих сред распространения, включая, без ограничения перечисленным: беспроводные, проводные, оптические кабели, радиочастотный эфир или любую их подходящую комбинацию.

[0098] Блок-схемы и блок-схемы алгоритмов на приложенных чертежах иллюстрируют архитектуры, функции и операции, которые могут быть реализованы в соответствии с системами, способами и компьютерными программными продуктами из различных вариантов осуществления настоящего изобретения. В этой связи каждый из блоков на блок-схемах или блок-схемах алгоритмов может быть представлением модуля, программного сегмента или фрагмента кода, при этом упомянутые модуль, программный сегмент или фрагмент кода включают одну или более исполняемых инструкции для реализации заданных логических функций. Следует отметить, что в некоторых альтернативных реализациях, функции, обозначенные блоками, могут выполняться в последовательности, отличающейся от проиллюстрированной на чертежах. К примеру, любые два блока, изображенные как последовательные, могут исполняться по существу параллельно, или в некоторых случаях могут иметь обратную последовательность, в зависимости от исполняемой функции. Следует также отметить, что все блоки на блок-схемах и/или блок-схемах алгоритмов, а также комбинации из этих блоков, могут быть реализованы с использованием специализированной аппаратной системы, исполняющей заданные функции или операции, или с использованием комбинации из специализированного аппаратного обеспечения и компьютерных инструкций.

[0099] Блоки или модули, задействованные в вариантах осуществления настоящего изобретения, могут быть реализованы при помощи программного обеспечения или аппаратного обеспечения. Описанные блоки или модули могут быть при этом реализованы процессором, например, в соответствии со следующим описанием: процессор, включающий блок воспроизведения панорамного видео, блок получения целевого объекта, блок анализа целевого объекта и блок окрашивания целевого объекта, при этом наименования блоков или модулей не обязательно накладывают ограничения на блоки или модули. К примеру, блок получения целевого объекта может также называться «блоком для получения целевого объекта».

[0100] В соответствии с еще одним из аспектов настоящего изобретения, в одном из вариантов его осуществления также предложен машиночитаемый носитель. Машиночитаемый носитель может входить в состав устройства в рассмотренных выше вариантах осуществления настоящего изобретения или может быть автономным машиночитаемым носителем, не встроенным в устройство. На машиночитаемом носителе хранят одну или более программ. Одна или более программ, при исполнении устройством, обеспечивают выполнение этим устройством следующего: воспроизведение панорамного видео в проигрывателе панорамного видео; получение целевого объекта; анализ целевого объекта с целью получения координатного параметра и параметра материала целевого объекта; назначение, на основе координатного параметра и параметра материала, цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, чтобы получить окрашенный целевой объект; и интеграцию окрашенного целевого объекта в панорамное видео.

[0101] Приведенное выше описание лишь представляет собой лишь пояснение предпочтительных вариантов осуществления настоящего изобретения и применяемых технических принципов. Специалисты в данной области техники должны понимать, что объем настоящего изобретения не ограничен техническими решениями в конкретных комбинациях рассмотренных выше технических элементов. В объем правовой защиты настоящего изобретения попадают также и другие технические решения, образованные в результате комбинирования описанных выше технических особенностей, или эквивалентных им, в пределах сущности и объема настоящего изобретения. Неограничивающим примером подобного может служить замена рассмотренных выше элементов на элементы со сходными функциями, рассмотренными в настоящем изобретении.

Настоящее изобретение относится к области технологий видеовоспроизведения, в частности к области технологий воспроизведения панорамного видео, а именно к способу и устройству для интеграции объектов в панорамное видео. Заявленная группа изобретений включает способ интеграции объекта в панорамное видео, устройство для интеграции объекта в панорамное видео, терминальное устройство и машиночитаемый носитель, хранящий компьютерную программу. При этом заявленный способ интеграции объекта в панорамное видео включает: воспроизведение панорамного видео в проигрывателе панорамного видео, получение целевого объекта, анализ целевого объекта для получения координатного параметра и параметра материала целевого объекта, назначение, на основе координатного параметра и параметра материала, цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, чтобы получить окрашенный целевой объект и интеграцию окрашенного целевого объекта в панорамное видео. Технический результат заключается в обеспечении возможности не только воспроизводить контент панорамного видео, но также качественно интегрировать целевые объекты в воспроизводимое панорамное видео, что повышает качество панорамного видео. 4 н. и 12 з.п. ф-лы, 5 ил.

1. Способ интеграции объекта в панорамное видео, включающий:

воспроизведение панорамного видео в проигрывателе панорамного видео;

получение целевого объекта;

анализ целевого объекта для получения координатного параметра и параметра материала целевого объекта;

назначение, на основе координатного параметра и параметра материала, цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, чтобы получить окрашенный целевой объект; и

интеграцию окрашенного целевого объекта в панорамное видео.

2. Способ по п. 1, в котором воспроизведение панорамного видео в проигрывателе панорамного видео включает:

получение последовательности кадров панорамного видео;

отображение последовательности кадров на внутреннюю поверхность заранее заданной модели воспроизведения панорамного видео и

проецирование части модели воспроизведения панорамного видео, соответствующей интерфейсу просмотра, на проекционную поверхность для воспроизведения панорамного видео.

3. Способ по п. 2, в котором назначение, на основе координатного параметра и параметра материала, цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео для получения окрашенного целевого объекта включает:

определение, на основе координатного параметра, двумерных координат, соответствующих проекции целевого объекта на проекционную поверхность;

определение, на основе параметра материала, коэффициента отражения света от целевого объекта и

определение цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе упомянутых двумерных координат, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения.

4. Способ по п. 3, в котором определение, на основе параметра материала, коэффициента отражения света от целевого объекта включает:

определение коэффициента отражения света от целевого объекта в соответствии с параметром материала и заранее заданным списком соответствия между параметрами материалов и коэффициентами отражения.

5. Способ по п. 3, в котором определение цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе упомянутых двумерных координат, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения включает:

определение, на основе упомянутых двумерных координат, координаты каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео;

определение интенсивности освещенности каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе координаты каждого пикселя, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения; и

определение цвета каждого пикселя на основе интенсивности освещенности каждого пикселя.

6. Способ по п. 1, в котором интеграция окрашенного целевого объекта в панорамное видео включает:

получение координат расположения целевого объекта в панорамном видео;

обработку окрашенного целевого объекта, при этом обработка включает по меньшей мере одно из следующего: масштабирование, сдвиг или поворот; и

позиционирование обработанного целевого объекта на основе упомянутых координат расположения.

7. Способ по п. 6, также включающий:

получение данных датчика проигрывателя панорамного видео;

определение, на основе данных датчика, пересекается ли ориентация проигрывателя панорамного видео с упомянутыми координатами расположения;

подсчет в ответ на то, что ориентация проигрывателя панорамного видео пересекается с координатами расположения, длительности пересечения и

отображение заранее заданного интерактивного интерфейса, когда длительность больше, чем заранее заданный порог.

8. Устройство для интеграции объекта в панорамное видео, включающее:

блок воспроизведения панорамного видео, сконфигурированный для воспроизведения панорамного видео в проигрывателе панорамного видео;

блок получения целевого объекта, сконфигурированный для получения целевого объекта;

блок анализа целевого объекта, сконфигурированный для анализа целевого объекта для получения координатного параметра и параметра материала целевого объекта;

блок окрашивания целевого объекта, сконфигурированный для назначения, на основе координатного параметра и параметра материала, цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео, чтобы получить окрашенный целевой объект; и

блок интеграции целевого объекта, сконфигурированный для интеграции окрашенного целевого объекта в панорамное видео.

9. Устройство по п. 8, в котором блок воспроизведения панорамного видео включает:

модуль получения, сконфигурированный для получения последовательности кадров панорамного видео;

модуль отображения, сконфигурированный для отображения последовательности кадров на внутреннюю поверхность заранее заданной модели воспроизведения панорамного видео; и

модуль проецирования, сконфигурированный для проецирования части модели воспроизведения панорамного видео, соответствующей интерфейсу просмотра, на проекционную поверхность для воспроизведения панорамного видео.

10. Устройство по п. 9, в котором блок окрашивания целевого объекта включает:

модуль определения двумерных координат, сконфигурированный для определения, на основе координатного параметра, двумерных координат, соответствующих проекции целевого объекта на проекционную поверхность;

модуль определения коэффициента отражения, сконфигурированный для определения, на основе параметра материала коэффициента отражения света от целевого объекта; и

модуль определения цвета пикселей, сконфигурированный для определения цвета каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе упомянутых двумерных координат, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения.

11. Устройство по п. 10, в котором второй модуль определения коэффициента отражения сконфигурирован также:

для определения коэффициента отражения света от целевого объекта в соответствии с параметром материала и заранее заданным списком соответствия между параметрами материалов и коэффициентами отражения.

12. Устройство по п. 10, в котором модуль определения цвета пикселей сконфигурирован также:

для определения, на основе упомянутых двумерных координат, координаты каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео;

для определения интенсивности освещенности каждого пикселя целевого объекта при интеграции целевого объекта в панорамное видео на основе координаты каждого пикселя, коэффициента отражения, заранее заданной интенсивности рассеянного освещения и заранее заданной интенсивности направленного освещения; и

для определения цвета каждого пикселя на основе интенсивности освещенности каждого пикселя.

13. Устройство по п. 8, в котором блок интеграции целевого объекта включает:

модуль получения координат расположения, сконфигурированный для получения координат расположения целевого объекта в панорамном видео;

модуль обработки целевого объекта, сконфигурированный для обработки окрашенного целевого объекта, при этом обработка включает по меньшей мере одно из следующего: масштабирование, сдвиг или поворот; и

модуль позиционирования целевого объекта, сконфигурированный для позиционирования обработанного целевого объекта на основе упомянутых координат расположения.

14. Устройство по п. 13, также включающее блок взаимодействия, при этом блок взаимодействия включает:

модуль получения данных датчика, сконфигурированный для получения данных датчика проигрывателя панорамного видео;

модуль определения состояния пересечения, сконфигурированный для определения, на основе данных датчика, пересекается ли ориентация проигрывателя панорамного видео с упомянутыми координатами расположения;

модуль определения времени пересечения, сконфигурированный для подсчета, в ответ на то, что ориентация проигрывателя панорамного видео пересекается с координатами расположения, длительности пересечения; и

модуль отображения интерактивного интерфейса, сконфигурированный для отображения заранее заданного интерактивного интерфейса, когда длительность больше, чем заранее заданный порог.

15. Терминальное устройство, включающее:

один или более процессоров и

запоминающее устройство, сконфигурированное для хранения одной или более программ,

при этом одна или более программ, при исполнении одним или более процессорами, обеспечивают выполнение, упомянутыми одним или более процессорами, способа по любому из пп. 1-7.

16. Машиночитаемый носитель, хранящий компьютерную программу, при этом программа, когда ее исполняют при помощи процессора, обеспечивает выполнение процессором способа по любому из пп. 1-7.