Настоящая система относится к устройствам визуального отображения, имеющим эффект окружающего освещения, в которых характеристики окружающего освещения настраиваются на основании множества кадров изображения.
Известны системы, которые регулируют представление содержимого, изменяя формат изображения с формата изображения предоставленного содержимого на формат изображения устройства воспроизведения. Формат содержимого обычно относится к очертанию изображения, а именно к отношению ширины к высоте изображения на экране.
Например, для высококлассных телевизионных приемников в качестве стандартной формы экрана широко применяется формат изображения, равный 16:9, однако большинство телепередач передаются в формате изображения 4:3. В то же самое время, предоставлен большой объем визуального материала с другими форматами изображения (например, 16:9, 14:9 и так далее), несмотря на то, что данный материал, в конце концов, воспроизводится на устройствах воспроизведения с форматом изображения 4:3. В связи с этим несоответствием обычно предоставляется некий вид преобразования формата изображения.
В одной системе для предоставления преобразования из 4:3 в 16:9 по бокам воспроизводимого содержимого добавляются черные полосы, обеспечивая то, что называется "letterbox" представлением. Данный способ не обеспечивает подлинного результата 16:9, тем не менее обычно предоставляется для устранения искажения изображения, привносимого другими способами. В альтернативной системе, изображения (например, кадры кинофильма) можно увеличить путем растягивания содержимого по горизонтали и вертикали, однако такая система приводит к потере информации сверху и снизу содержимого. По еще одному варианту осуществления, содержимое можно растянуть только в горизонтальном направлении, однако данная система приводит к искажению воспроизведенных объектов содержимого, приводящему к изменению формы объектов (например, круглые объекты становятся овальной формы). Подобным образом, воспроизводимое содержимое можно горизонтально растянуть с неравномерным коэффициентом масштабирования таким образом, что объекты по бокам показанного изображения будут более вытянутыми по сравнению с объектами в центре показанного изображения. Данная система обеспечивает для объектов, расположенных в центре, небольшое или нулевое искажение, однако, при перемещении этих объектов из одной части устройства воспроизведения (например, центра устройства воспроизведения) в другую часть устройства воспроизведения (например, к краю устройства воспроизведения), данный объект, по мере пересечения устройства воспроизведения, будет подвергаться различным коэффициентам масштабирования, что может быть довольно отвлекающим. Данная проблема обостряется содержимым, созданным как содержимое 16:9, например, содержимым кинофильма, отредактированным для телевизионного воспроизведения. Часто, данное содержимое предоставляется с использованием способа "pan-and-scan", в котором содержимое кинофильма сканируется от одной стороны содержимого кинофильма до другой стороны содержимого кинофильма для создания содержимого с форматом изображения 4:3, которое после этого транслируется. В данном "pan-and-scan" воспроизведении, объекты постоянно двигаются от одной стороны устройства воспроизведения к другой.
Публикация патентной заявки США №2003/0035482 Кломпенхауэра (Klompenhouwer) ("патент Кломпенхауэра"), включенная в настоящий документ посредством ссылки, как если бы она была полностью включена в настоящий документ, описывает систему для удлинения данного изображения путем использования элементов изображения из предыдущего и/или последующего изображения. Например, для предоставления изображения движущегося объекта, имеющего общее движение, движущееся направо, предыдущие изображения можно использовать для заполнения элементов изображения слева от данного изображения без искажения объектов, показанных на данном изображении. Похожим образом, для сохраненного содержимого, или содержимого, доступного в течение некоторого времени до воспроизведения и с общим движением направо, для заполнения элементов изображения справа от данного изображения, можно использовать последующие изображения. Хотя данная система обеспечивает более натуральное представление содержимого, чем предшествующие решения, она не усиливает представление содержимого вне устройства воспроизведения.
Концерн Koninklijke Philips Electronics N.V. (Филипс) и другие компании имеют раскрытые средства для изменения окружающего или периферийного освещения для усиления телевизионного содержимого для обычных домашних или деловых приложений. Окружающее освещение, добавленное к устройству воспроизведения или телевизионному приемнику, демонстрируется для снижения усталости зрителя и улучшения реализма и глубины восприятия. В настоящее время, Филипс имеет линию телевизионных приемников, включающую в себя телевизионные приемники с плоским экраном с окружающей подсветкой, в которых корпус по бокам телевизионного приемника включает в себя источники окружающего освещения, испускающие окружающий свет на заднюю стенку, поддерживающую данный телевизионный приемник или находящуюся рядом. Дополнительно, для создания окружающего света, простирающегося за пределы телевизионного экрана, можно использовать источники света, отдельные от телевизионного приемника.
Публикация заявки PCT WO 2004/006570, включенная в настоящий документ посредством ссылки, как если бы она была полностью включена в настоящий документ, раскрывает систему и устройство для управления эффектами окружающего освещения на основе цветовых характеристик воспроизводимого содержимого, таких как цветовой тон, насыщенность, яркость, цвета, скорость изменения сцены, распознанных образов, обнаруженных настроений и так далее. При работе, данная система анализирует принятое содержимое и может использовать данное распределение содержимого, например средний цвет по всему устройству воспроизведения, или использовать часть воспроизводимого содержимого, расположенного рядом с границей устройства воспроизведения, для управления элементами окружающего освещения. Свойство окружающего освещения обычно использует телевизионное содержимое самого устройства воспроизведения для создания эффектов окружающего освещения на покадровой основе совместно с временным усреднением для сглаживания скоротечных переходов элементов окружающего освещения. В других системах, для создания эффектов окружающего освещения по согласованию с изображениями, показываемыми в данный момент, можно использовать сценарий освещения. Хотя данная система эффективно расширяет воспринимаемый размер изображения, фактически предшествующие системы окружающего освещения обычно попросту расширяют объекты и сцены, предоставленные в данном кадре содержимого.
Задачей настоящей системы является преодоление недостатков предшествующего уровня техники и улучшение эффекта окружающего освещения для предоставления восприятия от просмотра, полнее обеспечивающего эффект полного присутствия.
Настоящая система предоставляет устройство и способ для воспроизведения содержимого. Данные устройство и способ включают в себя анализ предыдущей и/или последующей по времени частей сигнала содержимого для определения элементов, позиционно связанных с элементами текущей части сигнала содержимого. Текущая часть сигнала содержимого воспроизводится на первичном устройстве воспроизведения, таком как телевизионный приемник, в то время как элементы, позиционно связанные с элементами текущей части сигнала содержимого параллельно воспроизводятся на вторичном устройстве воспроизведения. По одному варианту осуществления, элементы, воспроизводимые на вторичном устройстве воспроизведения можно воспроизвести с более низким разрешением, чем воспроизводимая текущая часть сигнала содержимого. По одному варианту осуществления, по меньшей мере, одну из предыдущей и последующей по времени частей сигнала содержимого можно анализировать с более низким разрешением, чем сигнал содержимого. Элементы, воспроизводимые на вторичном устройстве воспроизведения, можно воспроизводить с изменяющимся разрешением, причем изменение определяется на основании положения воспроизводимого элемента относительно сигнала содержимого, воспроизводимого на первичном устройстве воспроизведения. По другому варианту осуществления, элементы, воспроизводимые на вторичном устройстве воспроизведения, можно воспроизводить с разрешением, определяемым на основании положения воспроизводимого элемента относительно сигнала содержимого, воспроизведенного на первичном устройстве воспроизведения. Элементы, воспроизводимые на вторичном устройстве воспроизведения можно воспроизводить с разрешением, определяемым на основании временного положения воспроизведенного элемента относительно сигнала содержимого, воспроизведенного на первичном устройстве воспроизведения.
Элементы, воспроизводимые на вторичном устройстве воспроизведения, можно воспроизводить, используя вспомогательные данные, такие как данные восприятия окружающей среды (AMBX) и информация дополнительного улучшения (SEI), относящиеся к определенным элементам. Вспомогательные данные можно связать с сигналом содержимого, например, транслировать вместе с сигналом содержимого или хранить вместе с сигналом содержимого. Таким образом, можно сократить требования к обработке на стороне первичного устройства воспроизведения и/или можно предоставить более точную информацию относительно воспроизводимых элементов. Вспомогательные данные также могут предоставлять информацию для помощи в определении позиционирования элементов и/или объектов на вторичных устройствах воспроизведения.
По одному варианту осуществления, вторичное устройство воспроизведения может являться устройством воспроизведения окружающего освещения и данные элементы можно отобразить как элементы окружающего освещения. По тому же самому или по другому варианту осуществления, вторичное устройство воспроизведения может являться одним или несколькими периферийными устройствами воспроизведения (например, дисплеями) и данные элементы можно отобразить как элементы периферийного изображения. Как использовано в настоящем документе, периферийное устройство воспроизведения/дисплей предназначено для описания устройства воспроизведения/дисплея, находящегося поблизости от первичного устройства воспроизведения. Определенные элементы можно определить на основании положения вторичного устройства воспроизведения по отношению к первичному устройству воспроизведения. Вторичное устройство воспроизведения может включать в себя множество вторичных дисплеев. Эти определенные элементы можно определить на основании положения каждого из вторичных устройств воспроизведения по отношению к первичному устройству воспроизведения. Эти определенные элементы можно определить на основании вспомогательных данных, таких как данные восприятия окружающей среды (AMBX) и информация дополнительного улучшения (SEI), связанные с содержимым.
Вторичное устройство воспроизведения может включать в себя два или более вторичных устройств воспроизведения, причем одно из данных вторичных устройств воспроизведения расположено на одной стороне (например, сверху, снизу, слева, справа) первичного устройства воспроизведения, а другое из данных вторичных устройств воспроизведения расположено на другой стороне первичного устройства воспроизведения. По одному варианту осуществления, каждую из предыдущей или последующей по времени частей сигнала содержимого можно анализировать для определения элементов, например, для вторичных устройств воспроизведения, расположенных слева и справа от первичного устройства воспроизведения. По одному варианту осуществления, данные элементы, воспроизводимые на вторичном устройстве воспроизведения, можно воспроизводить с меньшей частотой смены кадров, чем сигнал содержимого, воспроизводимый на первичном устройстве воспроизведения.
Нижеследующее является описанием пояснительных вариантов осуществления, которые, будучи рассмотрены в сочетании с нижеследующими чертежами, продемонстрируют упомянутые выше признаки и преимущества, наряду с некоторыми дополнительными. В нижеследующем описании, характерные детали, такие как конкретные архитектуры, интерфейсы, технические приемы и так далее, изложены для иллюстрации с целью пояснения, а не ограничения. Однако среднему специалисту будет очевидно, что другие варианты осуществления, отклоняющиеся от данных характерных деталей, тем не менее, подразумеваются как входящие в объем прилагаемой формулы изобретения. Более того, с целью ясности, подробное описание хорошо известных устройств, схем и способов опущено так, чтобы не мешать описанию настоящей системы.
Следует явно понимать, что данные чертежи включены в данный документ с целью иллюстрации и не представляют объем настоящей системы. В прилагающихся чертежах, одинаковые номера ссылок на разных чертежах могут обозначать похожие элементы.
на Фиг.1 показан вариант осуществления настоящей системы, выполненный с возможностью улучшать зрительное восприятие устройства воспроизведения, выполненного по варианту осуществления настоящей системы;
на Фиг.2 показан вид спереди системы, выполненной по варианту осуществления настоящей системы;
на Фиг.3 показан вид сверху, демонстрирующий подробности системы окружающего освещения, использующей источники окружающего освещения, выполненные в соответствии настоящей системой;
на Фиг.4. показана наглядная периферийная осветительная система, обеспечивающая эффект полного присутствия, выполненная по варианту осуществления настоящей системы; и
на Фиг.5 показана система, выполненная по варианту осуществления настоящей системы.
На Фиг.1 показан вариант 100 осуществления настоящей системы, выполненный с возможностью улучшать зрительное восприятие устройства 110 воспроизведения путем создания световых изображений 120A, 120B за пределами стандартной полезной площади экрана, например полезная площадь экрана формата изображения 4:3. В этом варианте осуществления, содержимое этого добавления не просто получается из текущего телевизионного содержимого, показываемого на данном экране или его части, например, как могло быть применено в свойствах окружающей подсветки предшествующего уровня техники, путем вычисления расширения текущего видеокадра на область за пределами текущего видеоизображения. В данном показанном варианте осуществления, текущее отображение телевизионного содержимого (например, воспроизводимый кадр телевизионного содержимого), предоставленное в формате изображения 4:3, расширено посредством расширяющих изображений (например, одного или нескольких световых изображений 120A, 120B), полученных из предшествующих и/или последующих кадров (предшествующих или последующих текущему кадру) телевизионного содержимого. Предшествующие и/или последующие кадры телевизионного содержимого могут включать в себя один или несколько предшествующих и/или последующих видеокадров. По одному варианту осуществления, можно анализировать только часть (например, такую как свойство, объект и/или элемент в целом) предшествующего и/или последующего видеокадра. Например, можно анализировать свойство фона предшествующего кадра без исследования всего предшествующего кадра. По одному варианту осуществления, можно анализировать две или более частей кадра. Например, в соответствии с настоящей системой, можно использовать две последовательные части предшествующего кадра, или одну часть предшествующего и часть текущего кадра. В другом варианте осуществления, когда для определения светового изображения (например, светового изображения 120A) анализируются две части кадра (например, включающие в себя, по меньшей мере, одну часть из предшествующего или последующего кадра), то хотя по варианту осуществления части кадра могут быть последовательны во времени, данные части кадра не обязаны быть последовательными во времени. В свойстве окружающего освещения, выполненном в соответствии с настоящей системой, можно предусмотреть одну или несколько областей 130A, 130B расширения, например, предоставленные путем отображения (например, проецирования) одного или нескольких изображений окружающего освещения на стену, находящуюся позади данного устройства 110 воспроизведения с позиции зрителя устройства 110 воспроизведения. Разумеется, одно или несколько световых изображений 120A, 120B можно предоставить посредством оного или нескольких устройств отображения, прикрепленных к устройству 110 воспроизведения и/или посредством одного или нескольких устройств отображения (например, проекторов), или других устройств, отделенных от устройства 110 воспроизведения и имеющих возможность отображать (воспроизводить и/или проецировать) один или несколько из данных световых изображений 120A, 120B. По одному варианту осуществления, одно или несколько световых изображений 120A, 120B можно предоставить посредством одного или нескольких устройств воспроизведения. Для примера, световое изображение 120A можно предоставить двумя или более устройствами воспроизведения, выполняющими функцию элементов окружающего освещения. Подобным же образом, световое изображение 120B можно предоставить двумя или более устройствами воспроизведения, выполняющими функцию элементов окружающего освещения.
По одному варианту осуществления в соответствии с настоящей системой, одно или несколько световых изображений 120A, 120B представлены с разрешением более низким, чем представленные на устройстве 110 воспроизведения кадры. Для примера, одну или более областей 130A, 130B расширения можно предоставить с разрешением в 20×40 элементов изображения на каждую область расширения. Разумеется, в других вариантах осуществления, можно предоставить большее или меньшее разрешение с пониманием того, что более высокое разрешение обычно требует большей обработки для выделения светового изображения, чем требуется для обеспечения светового изображения более низкого разрешения.
К примеру, в соответствии с настоящей системой, для использования в соответствии с настоящей системой можно определять общие и/или местные векторы движения кадров и/или объектов, изображенных в кадрах (например, предшествующих и/или продолжающихся кадров), и/или можно определять как побочный продукт других частей данной системы, например обработки изображения в формате Группы экспертов по вопросам кинотехники (MPEG). Для видеоизображения, имеющего общий вектор движения (например, фона/приоритета элементов изображения) изображения, представленного на устройстве 110 воспроизведения (например, гол 140), или местный вектор движения объекта, перемещающегося направо, при движении во времени, как представлено на видеокадрах, показанных на устройстве 110 воспроизведения, световое изображение 120A можно выделить из одного или нескольких кадров, предшествующих кадру, показываемому в данный момент на устройстве 110 воспроизведения. Размер векторов движения данного кадра (общих) и/или объекта (местные), а также ширину светового изображения 120A, предоставленного в области 130A расширения, можно использовать в определении того, сколько предшествующих кадров рассмотрено для определения светового изображения 120А как легко различимого. По одному варианту осуществления в соответствии с настоящей системой, для выделения светового изображения 120A, для больших векторов движения можно использовать меньшее количество предшествующих кадров (например, один или несколько предшествующих кадров), хотя по другому варианту осуществления, можно рассматривать одно и то же число предшествующих кадров независимо от размера векторов движения. Для примера, по оному варианту осуществления, можно обеспечить более высокое разрешение в области 130A расширения, когда векторы движения больше.
Подобным образом, в видеоизображении, имеющем общий вектор движения изображения, показанного на устройстве 110 воспроизведения, или местный вектор движения объекта, такого как изображенный игрок 150, перемещающийся направо при движении во времени, как представлено на видеокадрах, показанных на устройстве 110 воспроизведения, световое изображение 120B можно выделить из одного или нескольких кадров телевизионного содержимого, предшествующих кадру, показываемому в настоящий момент на устройстве 110 воспроизведения. Эта обработка облегчается, когда кадры данного телевизионного содержимого доступны за некоторое время для представления на устройстве 110 воспроизведения, например, когда данное содержимое хранится локально и/или буферизировано на некоторое время до представления на устройстве 110 воспроизведения. Размер векторов движения данного кадра (общих) и/или объекта (местные), а также ширину разрешения предоставленного в области 130B расширения можно использовать в определении того, сколько последующих кадров рассмотрено для определения светового изображения 120B как легко различимого. По одному варианту осуществления в соответствии с настоящей системой, для выделения светового изображения 120B, для больших векторов движения можно использовать меньшее количество предшествующих кадров (например, один или несколько последующих кадров), хотя по другому варианту осуществления, можно рассматривать одно и то же число последующих кадров независимо от размера векторов движения. Для примера, по оному варианту осуществления, можно обеспечить более высокое разрешение в области 130B расширения, когда векторы движения больше.
Естественно, если бы общие и/или местные векторы движения были бы направлены налево, то для выделения светового изображения 120B, показанного в области 130B расширения, можно использовать один или несколько предшествующих кадров. Подобным образом, для общих и/или местных векторов движения, направленных налево, для выделения светового изображения 120A, показанного в области 130A расширения, можно использовать один или несколько последующих кадров.
В этом виде варианта осуществления, разрешение, предусмотренное в одной или нескольких областях 130, 130B расширения можно динамически определить на основании размера определенных векторов движения. Как легко оценить, точность изображений, показанных в областях 130A, 130B, расширения можно уменьшить по мере того как кадры, использованные для извлечения световых изображений 120A, 120B, становятся более удаленными во времени от кадра данных, воспроизводимых на устройстве 110 воспроизведения. Дополнительно, точность частей изображения, показанных в областях 130A, 130B расширения можно уменьшить по мере того, как части изображения из кадров, использованных для извлечения световых изображений 120A, 120B, становятся физически более удаленными от текущей части изображения показанной в кадре данных, воспроизводимых на устройстве 110 воспроизведения. Другими словами, при дальнейшем расширении световых изображений 120A, 120B, расширяющих таким образом "законченное изображение", составленное из кадра, воспроизводимого в настоящий момент на устройстве 110 воспроизведения, и световых изображений 120A, 120B, воспроизводимых в областях 130A, 130B расширения, в областях 130A, 130B расширения, можно уменьшить точность удаленных областей. Соответственно, термин "физически и позиционно удален" предназначен для включения в себя объектов, которые расположены дальше от кадра, воспроизводимого в настоящий момент на устройстве 110 воспроизведения, в отношении законченного изображения и/или световых изображений 120A, 120B, производимых дальше от устройства 110 воспроизведения, поскольку одну или обе близости в законченном изображении и близость к устройству 110 воспроизведения, можно использовать для определения содержимого, отображенного в областях 130A, 130B расширения. Для компенсации этого события в некоторых случаях, разрешение областей, удаленных физически и/или во времени, принадлежащих областям 130A, 130B расширения, можно уменьшить по мере того, как области 130A, 130B расширения становятся более удаленными физически и/или во времени от изображений, отображенных на устройстве 110 воспроизведения.
По одному варианту осуществления в соответствии с настоящей системой, для временного предсказания того, что видно за пределами видеокадра, отображенного на устройстве 110 воспроизведения, можно использовать прием естественного движения, например такой, как примененный в патенте Кломпенхауэра. Прием естественно движения отслеживает объекты в сцене и, таким образом, может экстраполировать перемещение объектов за пределами кадра, когда они перемещаются за пределы экрана (например, за пределы устройства 110 воспроизведения). Таким образом, определение содержимого, предоставляемого областям 130A, 130B расширения, можно сделать, используя вычисления, уже предусмотренные для обеспечения возможности сглаживания естественного движения изображения.
Поскольку, по одному варианту осуществления, изображения, предоставленные в областях расширения, могут быть с более низким разрешением и, таким образом, могут быть несколько расплывчатыми, то для баланса количества деталей, предусмотренных с желанием скрыть возможные артефакты экстраполяции, можно предусмотреть более низкое разрешение в удаленных областях. По одному варианту осуществления, достаточно выполнения отслеживания изображения/объекта с низким разрешением, отслеживая, таким образом, размытые версии больших объектов, или так называемые пятна объектов. Отслеживание пятен объектов можно выполнять при низкой вычислительной сложности, поскольку их можно выполнить на низкокачественных версиях телевизионного содержимого. Например, красный автомобиль в телевизионном содержимом, воспроизводимом на устройстве 110 воспроизведения (когда он уезжает за пределы экрана), продолжается как красное пятно на области(ях) расширения. Таким образом, данные на дополнительных устройствах воспроизведения не обязаны быть точной версией с низким разрешением проекции текущего окружения изображений для первичного устройства воспроизведения, а могут быть просты, как пятна, схожие по форме с общей формой данного объекта (например, эллиптической формы), для объекта и в целом структурированный профиль цвета для фона (в данном примере футбольного поля, которое должно быть скошенным травянисто-зеленым в нижней половине, и монотонным, возможно со статистически текстурированной сероватой областью для верхней зрительской половины, после чего с низким разрешением можно наложить цветовой градиент, если это на самом деле приблизительно присутствует в изображенном зрительском фоне). Следует отметить, что для периферийных устройств воспроизведения, как более подробно описано ниже, (зрительное) искажение допустимо, поскольку зрение не остро и можно требовать только ощущение полного присутствия. Соответственно, определение зрительных искажений можно применить к световым изображениям (например, свойствам, объектам, фону и так далее), обычно рассматриваемыми как, как можно легче ощутимыми элементами, в областях расширения и/или изображениях, предоставленных на периферийных устройствах воспроизведения. По одному варианту осуществления, элементы фона можно представить без зрительного искажения, в то время как элементы переднего плана (например, автомобиль, игрок и так далее) искажаются после определения данных элементов для обеспечения перспективы (например, растягивание элементов вокруг угла, начинающегося из устройства 110 воспроизведения и исходящего оттуда наружу).
По варианту осуществления, в котором подход естественного движения объединен с низким разрешением световых изображений 120A, 120B, некто может наблюдать, что объект, покинувший границы экрана, был/будет присутствовать в прошедших/будущих видеокадрах, так что показ подобных, не входящих в кадр объектов, аналогичен показу прошлого/будущего телевизионного содержимого, или, по одному варианту осуществления, по меньшей мере, упрощенному приближению/модели подобного изолированного содержимого/элемента(ов). Таким образом, возможно очень дешевое воплощение, в котором модель общего движения оценивает общие движения (и, таким образом, воплощает отслеживание), что определяет насколько далеко в прошлом (или будущем) нужно взять изображения, на которых основаны изображения, предоставленные в области(ях) 130A, 130B расширения. В этом случае, определение расширяющего изображения эквивалентно задержке (или опережению) расширяющих изображений (цветов в случае очень низкого разрешения), которую можно вычислить посредством систем окружающего освещения предшествующего уровня техники, где размер задержки/опережения можно определить посредством отслеживания, выполненного оценщиком общего движения. Из-за буферизации расширяющих изображений вместо исходного видео, требуется маленькая буферизация, и данное свойство можно осуществить без значительного увеличения стоимости систем предшествующего уровня техники.
В соответствии с вариантом осуществления настоящей системы, можно выгодно произвести различие между объектами переднего плана (например, объектом 252 переднего плана) и фона (например, объектом фона 254), сценами, или признаками в целом (например, с алгоритмом обнаружения переднего плана/фона, к примеру, основанного на движении и преграждении, хотя легко можно применить другие подходящие системы), для раздельного их отслеживания и, например, вычисления расширений, основываясь исключительно на признаках фона или переднего плана. По еще одному варианту осуществления, присутствие трехмерной (3D) информации (например, в виде карты глубин, передаваемой в виде дополнительных слоев по 3 части стандарта MPEG-C) может помочь в идентификации признаков и того, какие из признаков относятся к переднему плану, а какие к фону, так чтобы эти признаки было можно более легко отслеживать и правильно позиционировать в области(ях) расширения.
В соответствии с одним вариантом осуществления, обработку для области(ей) расширения можно выполнить аппаратным обеспечением основного устройства воспроизведения, где получающееся в результате световое изображение(я) расширения передается любой вторичной области(ям) воспроизведения (например, воспроизводящим поверхностям, устройствам воспроизведения, и так далее) используемой для воспроизведения светового изображения(й) расширения. По другому варианту осуществления, один или несколько процессоров можно загрузить тем же потоком видеоданных, что и первичное устройство воспроизведения, причем процессор, или каждый из нескольких процессоров, выполняет анализ (или необходимую его часть) и, таким образом, определяет свою часть для воспроизведения. По одному варианту осуществления, подробное разбиение данной системы позволяет держать часть, отвечающую за отслеживание и предсказание отдельно от устройств(а) воспроизведения в целом (например, на стороне создания содержимого), в результате чего, световое изображение(я) расширения (например, параметризованные для обеспечения различных размеров и форм расширяющей визуализации) передается вместе с телевизионным содержимым, например, в виде данных восприятия окружающей среды (AMBX) (например, сценариев, ядер программного обеспечения, архитектуры, и так далее) и/или в виде информации дополнительного улучшения (SEI) в рамках стандарта улучшенного кодирования видеосигнала (AVC).
Для проецирования/предоставления области(ей) расширения изображения на окружение основного устройства воспроизведения, можно использовать несколько систем и/или способов. Несмотря на то, что в настоящем документе описаны конкретные варианты осуществления, средний специалист в данной области техники может легко понять, что можно представить себе другие варианты осуществления, также входящие в объем настоящей системы.
По одному или нескольким вариантам осуществления в соответствии с настоящей системой, части системы окружающего воспроизведения модно встроить в основное устройство воспроизведения (например, в лицевую панель основного устройства воспроизведения), используя аппаратное устройство окружающего освещения предшествующего уровня техники, или расширить аппаратное обеспечение предшествующего уровня техники по направлению к большему разрешению посредством использования, например, микропроекторов.
По одному варианту осуществления, за счет воспроизведения правильного расширения изображения, предоставленного в настоящий момент на области основного устройства воспроизведения (например, подходящего цвета, совпадающего с текущим цветом на стороне изображения), к телевизионному приемнику с окружающим освещением по предшествующему уровню техники, необходимо добавить только описанную выше обработку. Следует отметить, что настоящая система и решения окружающего освещения предшествующего уровня техники отслеживают объекты довольно разными путями, таким образом, предоставляя разное содержимое в областях окружающего света. В случае, когда красный объект воспроизводится перед зеленым фоном, на телевизионном приемнике с окружающим освещением предшествующего уровня техники, когда красный объект уйдет за пределы экрана, данное окружающее освещение изменится на зеленое, как только красный объект окажется за пределами экрана. По варианту осуществления в соответствии с настоящей системой, соответствующий эффект окружающего света (например, произведенный в одной из областей 130A, 130B расширения) может остаться красным на какое-то время после этого, показывая таким образом красный объект, движущийся за пределами границ основного экрана, например, в зависимости от последнего известного движения объекта, общего движения, оцененного для кадров после того, как он покинул пределы экрана, и/или скорости, которая получена от объектно-ориентированного оценщика движения, который, например, предоставлен в публикации "Real-Time Recursive Motion Segmentation of Video Data on a Programmable Device", написанной R.B. Wittebrood и G. de Haan, и опубликованной в издании IEE Transactions on Consumer Electronics, в августе 2001 года на страницах 559-567, и включенной в настоящий документ посредством ссылки на нее, как если бы она была полностью включена настоящий документ. В соответствии с настоящей системой, время, в течение которого показывается изображение/цвет, находящийся за пределами экрана (например, устройства 110 воспроизведения), может зависеть от скорости, с которой двигался этот объект (например, размера сопутствующего вектора движения, высокая скорость = малой длительности), в то время как в соответствии с одним вариантом осуществления настоящей системы, эти цвета (например, которые могут относиться к данной красной машине) могут затухать к цвету по умолчанию (например, цвету фона) после некоторого времени даже для низких скоростей (например, скоростей, когда движение объекта может еще не передвинуть данный объект за пределы области(ей) расширения). Как легко можно оценить, в некоторых вариантах осуществления, затухание настоящей системы может быть слишком медленным для быстродвижущихся объектов, которые покидают область расширения очень быстро.
Системы окружающего освещения предшествующего уровня техники уже могут собираться с множеством источников света (например, для увеличения светоотдачи и произведения различных цветов на различных сторонах). Посредством индивидуального управления каждым источником света и, например, добавления линзы и/или светорассеивателя (системы), можно проецировать изображение низкого разрешения на окружение вокруг основного устройства воспроизведения (например, слева, справа, сверху и/или снизу устройства 110 воспроизведения). По дополнительным вариантам осуществления, потолок и/или пол вокруг первичного устройства воспроизведения также можно освещать посредством элементов окружающего освещения, предусмотренных на устройстве воспроизведения и/или в соответствии с элементами окружающего освещения, удаленных от первичного устройства воспроизведения, такими как предусматриваемые выделенной башней окружающего освещения или объединенным устройством окружающего освещения/акустической системой. По одному варианту осуществления, микропроекторы окружающего освещения также могут принимать вид отдельных периферийных устройств (например, автономных микропроекторных модулей, размещаемых по желаниям пользователя). Как можно легко понять, в соответствии с настоящей системой можно использовать другие системы для предоставления окружающего освещения.
На Фиг.2 показан вид спереди системы 200 в соответствии с вариантом осуществления настоящей системы. По одному варианту осуществления, для предоставления системы окружающего освещения низкого разрешения можно использовать устройство 210 воспроизведения, такое как устройство воспроизведения, основанное на технологии жидких кристаллов (LCD) По варианту осуществления, показанному на Фиг.2, к устройству 210 воспроизведения можно добавить одну или несколько панелей 260A, 260B окружающего освещения. Данные панели 260A, 260B окружающего освещения можно предусмотреть как дополнительные устройства (например, предусматриваемые на производственном предприятии или подключаемые домашним пользователем после покупки в магазине, например, посредством шины и протокола). По одному варианту осуществления, панели 260A, 260B окружающего освещения могут включать в себя источник 250 окружающего освещения, такой как микропроекторы, отдельные или сгруппированные светоизлучающие диоды (LED's), и так далее. По одному варианту осуществления, структурированный эффект окружающего освещения можно предоставить посредством управления раздельных выводов матрицы размером M*N светоизлучающих диодов (например, RGB триплетов) позади системы 240 линзы/светорассеивателя, предусмотренной для создания масштабированной картинки низкого разрешения.
По данному варианту осуществления, вывод источника 250 окружающего освещения можно конфигурировать. Например, источник 250 окружающего освещения можно установить/переставить для выбора области, освещаемой источником окружающего освещения, такое как можно предусмотреть посредством стены, расположенной позади/поблизости устройства 210 воспроизведения, или расположенных отражающих экранов. По одному варианту осуществления, также можно автоматически или вручную регулировать линзу 240 для проецирования на стену как функцию угла, образованного между устройством 210 воспроизведения и данным углом наклона стены. Например, по одному варианту осуществления, микропроектор можно выполнить с возможностью подключения к устройству воспроизведения и способностью вращаться вокруг вертикали. По варианту осуществления автоматической регулировки, данные панели 260A, 260B окружающего освещения могут включать в свой состав камеру и/или другую систему для определения угла между устройством 210 воспроизведения и поверхности, на которой предоставляется эффект окружающего освещения, и, таким образом, автоматически регулировать угол источника 250 окружающего освещения для предоставления области(ей) 230A, 230B расширения. В соответствии с одним вариантом осуществления настоящей системы, фоновую часть телевизионного содержимого можно сегментировать на пятна однородных зон, таких как пятна 270 объектов (например, данные деревья на относительно однообразном голубом фоне). Можно использовать многие подходящие алгоритмы сегментации, как, например, основанные на цвете и/или текстуре. По одному варианту осуществления, модель сегментирования можно направлять информацией описания сцены более высокого порядка, такой как метаданные и/или другие вспомогательные данные. По дополнительному варианту осуществления, этот приблизительный шаблон фона можно повторить (например, как периодический или статистический текстурированный шаблон) на одной из двух сторон устройства 210 воспроизведения и/или повторяющийся на протяжении различных частей данного эффекта окружающего освещения, предусмотренного в одной из двух или обеих областях 230A, 230B расширения. В этом случае, информацию о свойстве и/или объекте можно выделить, например, только для одной части области(ей) расширения, и, к примеру, выделенную информацию о фоне можно повторять через регулярные и/или нерегулярные интервалы области(ей) 230A, 230B расширения. В соответствии с одним вариантом осуществления, сообщения SEI могут включать в себя данные для направления сегментации путем идентификации объектов фона и переднего плана, которые можно использовать для обеспечения руководства сегментацией для получения правильных пятен. По другому варианту осуществления данную сегментацию можно выполнить автоматически, поскольку окружающее изображение может быть изображением с относительно низким разрешением. По другому варианту осуществления, использование микропроекторов может предоставить более высокую способность формирования окружающего освещения. Данные микропроекторы можно растянуть вдоль значительной части панелей 260A, 260B окружающего освещения для облегчения расширения воспроизводимого изображения(ий)/содержимого.
На Фиг.3 показан вид сверху, иллюстрирующий подробности системы 300 окружающего освещения, использующей источник 350 окружающего освещения в соответствии с вариантом осуществления настоящей системы. Для наглядности, источник 350 окружающего освещения может включать в себя одну или несколько двумерных (2D, M*N) матриц светоизлучающих диодов (LED) или может включать в себя один или несколько микропроекторов. Как показано с точки 302 зрения, расположенной впереди устройства 310 воспроизведения, обрамление 312 предусматривает существенное скрытие частей системы 300 от выгодной точки зрения зрителя, а именно точки 302 зрения. Можно предусмотреть линзу (систему) 340, такую как рассеивающие (микро)линзы, для направления эффекта рассеянного окружающего освещения, показанного как конусы 342 излучаемого окружающего освещения, производимого источником 350 окружающего освещения. По одному варианту осуществления в соответствии с настоящей системой, конусы излучаемого света можно производить, например, посредством колонки элементов воспроизведения источника окружающего освещения. По данному пояснительному варианту осуществления, эффект окружающего освещения, производимый сочетанием источника 350 окружающего освещения и линзы 340 отражается от стены 380. Разумеется, по другому варианту осуществления, источник 350 окружающего освещения можно предоставить отдельно от устройства 310 воспроизведения, например как отдельное проекционное устройство или микропроекционное устройство, выполненное с возможностью подключения к устройству 310 воспроизведения или, по меньшей мере, к источнику содержимого, воспроизводимого на устройстве 310 воспроизведения.
На Фиг.4 показана пояснительная система 400 периферийного освещения, обеспечивающая эффект полного присутствия, выполненная в соответствии с вариантом осуществления настоящей системы. В показанном варианте осуществления, отдельные вторичные устройства воспроизведения, наглядно показанные как периферийные устройства 412A, 412В, 412С, 412D воспроизведения, можно использовать для обеспечения множества расширяющих изображений за пределами первичного устройства воспроизведения, наглядно показанного как устройство 410 воспроизведения. По одному варианту осуществления, для обеспечения пользователю ощущения полного эффекта присутствия от просмотра, каждый из отдельных периферийных устройств 412A, 412В, 412С, 412D воспроизведения можно освещать отдельными системами освещения, такими как отдельные микропроекторы. По альтернативному варианту осуществления, одни или несколько из периферийных устройств 412A, 412В, 412С, 412D воспроизведения могут предусматривать изображения, независящие от проекционных систем. Отдельные периферийные устройства 412A, 412В, 412С, 412D воспроизведения можно расположить вокруг зрительской панорамы 480, например, как предусмотрено в велосипедном тренажере, как и в домашнем оздоровительном решении. По другому варианту осуществления, пользователя можно обеспечить игровой средой с эффектом полного присутствия для видеоигр.
Как легко можно понять, хотя вторичные устройства воспроизведения наглядно показаны, как равномерно расположенные и разделенные между левой и правой сторонами первичного устройства воспроизведения, это показано исключительно для наглядности настоящей системы. Как легко можно понять, вторичные устройства воспроизведения обязаны быть симметрично рассеяны справа и слева от первичного устройства воспроизведения. Фактически, данные вторичные устройства воспроизведения можно расположить и рассеять любым желаемым для пользователя образом. По другому варианту осуществления, одно или несколько вторичных устройств воспроизведения можно расположить сверху и снизу первичного устройства воспроизведения. По тому же самому, или другому варианту осуществления, на одной стороне первичного устройства воспроизведения можно расположить больше вторичных устройств воспроизведения, чем на другой стороне. При желании, вторичные устройства воспроизведения можно расположить на одной стороне (верхней, нижней, левой, правой) данного первичного устройства воспроизведения, за исключением другой стороны данного первичного устройства воспроизведения. В соответствии с настоящей системой, также можно использовать больше или меньше вторичных устройств воспроизведения.
По показанному варианту осуществления, пользователю предоставлено содержимое (например, видео) на первичном устройстве воспроизведения (например, плазменной индикаторной панели (PDP)), а для вторичных устройств 412A, 412В, 412С, 412D воспроизведения можно предоставить, получить, и так далее, вспомогательные данные. По этому варианту осуществления, поскольку периферийные устройства 412A, 412В, 412С, 412D воспроизведения будут в основном видны периферическим зрением пользователя, данные периферийные устройства 412A, 412В, 412С, 412D воспроизведения могут быть относительно низкого разрешения, хотя также можно предусмотреть устройства воспроизведения с большим разрешением, кроме того, воспроизводимое содержимое должно относиться (например, позиционно или во времени, и так далее) к содержимому, предоставленному на первичное устройство воспроизведения.
В меньших комнатах, данные периферийные устройства 412A, 412В, 412С, 412D воспроизведения можно прикрепить к стенам, окружающим панораму зрителя. Во всяком случае, данные периферийные устройства 412A, 412В, 412С, 412D воспроизведения необходимо расположить с возможностью воспроизведения пользователю периферийного вида (например, расположить достаточно близко к панораме 480 зрителя). По альтернативному варианту осуществления, периферийные устройства 412A, 412В, 412С, 412D воспроизведения можно прикрепить к потолку комнаты, в которой предоставлена система 400 периферийного освещения, обеспечивающая эффект полного присутствия. По одному варианту осуществления, для облегчения установки периферийных устройств 412A, 412В, 412С, 412D воспроизведения, можно предусмотреть потолочную плиту 490. Данные панели можно расположить постоянно или с возможностью убирать с пути движения через комнату, когда данные периферийные устройства 412A, 412В, 412С, 412D воспроизведения не используются.
В соответствии с одним вариантом осуществления, данные периферийные устройства 412A, 412В, 412С, 412D воспроизведения можно прикрепить в желаемых положениях вокруг панорамы 480 зрителя (например, вокруг стула или домашнего тренажера), например, посредством использования крюка и системы прикрепления крепежа (например, Velcro™), позволяющей легкое прикрепление/открепление и размещение. По одному варианту осуществления, периферийные устройства 412A, 412В, 412С, 412D воспроизведения можно снабдить сворачивающим механизмом, таким как сворачивающие механизмы 414C, 414D, наглядно показанные на периферийных устройствах 412C, 412D воспроизведения. Разумеется, при желании данные сворачивающие механизмы можно скрыть в потолке. По данному варианту осуществления, сворачивающие механизмы позволяют легко свернуть с пути периферийные устройства 412C, 412D воспроизведения, когда они не нужны, или развернуть, когда использование периферийных устройств 412C, 412D воспроизведения желательно. По альтернативному варианту осуществления, данные периферийные устройства воспроизведения можно закрепить к потолку с петельным механизмом, таким как петельные механизмы 416A, 416B, наглядно прикрепленные к периферийным устройствам 412A, 412B воспроизведения. По этому варианту осуществления, данные петельные механизмы 416A, 416B позволяют поворачивать к потолку, когда не используются, периферийные устройства 412A, 412B воспроизведения, или поворачивать обратно, когда использование периферийных устройств 412A, 412B воспроизведения желательно. Разумеется, для расположения периферийных устройств 412A, 412В, 412С, 412D воспроизведения можно соответственно применить другие системы и можно даже автоматизировать при желании использовать систему 400 периферийного освещения, обеспечивающую эффект полного присутствия.
В соответствии с этим вариантом осуществления, система 400 периферийного освещения, обеспечивающая эффект полного присутствия, может анализировать содержимое, предоставленное на устройстве 410 воспроизведения (например, на основе предшествующих и последующих кадров содержимого) и создавать зоны или пятна, которые существенно совпадают с признаками и объектами, предоставленными в предшествующих и/или последующих кадрах содержимого. По одному варианту осуществления в соответствии с настоящей системой, кроме того, или вместо других кадров содержимого, система 400 периферийного освещения, обеспечивающая эффект полного присутствия, может анализировать текущее содержимое для определения подходящих признаков и пятен.
Например, автомобильный объект 450 переднего плана можно сегментировать (например, используя 3D карту глубин, другие дополнительные данные, и/или автоматически из самого содержимого) и можно продолжить его путь в виде размытого пятна по одному или нескольким периферийным устройствам воспроизведения. Кроме того, признаки фона (например, шоссе) и объекты (например, деревья) можно схожим образом изобразить на одном или нескольких периферийных устройствах 412A, 412В, 412С, 412D воспроизведения. Например, по простому изменению алгоритма создания информации периферийного изображения, оставляемые без внимания/игнорируемые деревья можно имитировать посредством простой низкочастотно пространственно-временной световой модуляции, находящейся в связи с данной информацией о деревьях (например, периодичности) на основном устройстве воспроизведения. (Для элементов окружения можно применить схожие системы.) По одному варианту осуществления, детали (например, разрешение) признаков (элементов) и/или объектов, предусмотренных как признаки и/или объекты, предназначенные далее для периферического зрения пользователя, можно уменьшить для уменьшения требований к анализу для определения признаков и/или объектов, и/или для уменьшения нежелательных артефактов изображения. Например, когда автомобильный объект 450 переходит с периферийного устройства 412C воспроизведения на периферийное устройство 412D воспроизведения, данный автомобильный объект 450 можно изменить (например, ступенчато или последовательно) с автомобильного объекта на автомобильное пятно или разрешение изображения данного автомобильного объекта можно просто уменьшить. Сходные уменьшения в подробностях, предоставляемых каждым из периферийных устройств 412A, 412В, 412С, 412D воспроизведения можно уменьшать, по мере того как признаки и/или объекты двигаются далее в периферийный вид пользователя (например, справа налево для периферийных устройств 412A, 412B воспроизведения и слева направо для периферийных устройств 412C, 412D воспроизведения). По одному варианту осуществления, периферийные устройства 412В, 412С воспроизведения можно выполнить с возможностью предоставления более высокого разрешения, чем периферийные устройства 412A, 412D воспроизведения. В этом случае, для периферийных устройств 412A, 412D воспроизведения можно использовать потенциально более дешевые устройства воспроизведения, чем используемые для периферийных устройств 412В, 412С воспроизведения, позволяя снижение стоимости системы 400 периферийного освещения, обеспечивающей эффект полного присутствия.
В соответствии с одним вариантом осуществления, систему 400 периферийного освещения, обеспечивающую эффект полного присутствия (и/или систему окружающего освещения с элементами окружающего освещения), можно снабдить подробностями периферийных устройств 412A, 412В, 412С, 412D воспроизведения, для обеспечения правильного определения признаков и/или объектов, представленных на периферийных устройствах 412A, 412В, 412С, 412D воспроизведения. Например, по одному варианту осуществления, для определения признаков и/или объектов, изображенных/воспроизведенных на периферийных устройствах 412A, 412В, 412С, 412D воспроизведения (например, для продолжения пути автомобиля 450), можно предоставить размер периферийных устройств 412A, 412В, 412С, 412D воспроизведения по сравнению с устройством 410 воспроизведения. Для облегчения определения подходящих признаков и/или объектов, расстановки и/или их разрешения, также можно предусмотреть другие параметры. В соответствии с одним вариантом осуществления, для облегчения работы, также можно вручную или автоматически передать настоящей системе возможности воспроизведения периферийных устройств воспроизведения, такие как экранное разрешение, максимальная частота обновления, вид коммуникационного подключения (например, проводной, беспроводной, оптический и так далее). Например, для периферийного устройства воспроизведения, имеющего максимальную частоту обновления, которая ниже, чем максимальная частота обновления первичного устройства воспроизведения, для уменьшения частоты обновления можно адаптировать подходящим образом частоту обновления признаков и/или объектов, предоставляемых на периферийных устройствах воспроизведения. Например, можно обновлять кадры, предоставленные на периферийном устройстве воспроизведения раз в каждые два или больше кадров, обновляемых на первичном устройстве воспроизведения. Схожую адаптацию можно предусмотреть для эффекта окружающего освещения. Это может добавить преимущество в уменьшении вычислительных потребностей для обеспечения окружающего и/или периферийного эффекта.
По одному варианту осуществления, в случае, когда предоставлены вспомогательные данные (например, AMX, SEI для AVC, и так далее), можно использовать эти вспомогательные данные для определения признаков и/или объектов, предоставленных для вторичных устройств(а) воспроизведения. По одному варианту осуществления, вспомогательные данные могут уменьшить требования к обработке на участке первичного устройства воспроизведения, и/или можно использовать для предоставления точного определения признаков и/или объектов, предоставленных на вторичном устройстве(ах) воспроизведения. Дополнительно, вспомогательные данные могут облегчить оптимальное расположение признаков, объектов (например, подробных и/или пятен) на периферийных устройствах 412A, 412В, 412С, 412D воспроизведения, которое может зависеть от конфигурации. К примеру, в конфигурации, где предусмотрены три периферийных устройства воспроизведения на каждой из сторон, объект, распространяемый по углам X, такой как дракон, может выглядеть страшнее, если показан на среднем периферийном устройстве воспроизведения, например под конкретно определенным углом (например, углом Y), или спроецирован на потолке, вздымаясь "сверху" пользователя. Для того же самого содержимого, в конфигурации с двумя периферийными устройствами воспроизведения, вариант осуществления настоящей системы может вывести, например, используя вспомогательные данные, что лучше изображение для дракона будет на второй панели, например под углом Z.
Ниже следует пример того, как вспомогательный сигнал может параметрически задать положение объекта.
Формула может быть, например:
половина левой стороны воспроизводимого расширения, или
более сложной формулой, определяющей процент за пределами основного устройства воспроизведения (например, в зависимости от размера и разрешения/формата основного устройства воспроизведения, а также на том, что можно воспроизвести на боковых панелях (и/или посредством системы окружающего освещения)); и/или
одной или несколькими поправочными формулами для различных конфигураций вторичных устройств воспроизведения, например, если присутствуют три боковые панели и/или угол окружения вокруг пользователя больше чем, например, 70 или 110 градусов, то элементы, определенные быть примерно посередине, можно, например, переписать на две трети (например, для расположения на средней боковой панели).
По варианту осуществления, в котором местная система воспроизведения имеет представление о своей геометрии (например, расположение панелей, местоположение), поскольку пользователь приблизительно измерил и ввел после домашней конфигурации, посредством использования подходящего пользовательского интерфейса, предоставленного по одному варианту осуществления настоящей системы, область воспроизведения 2 м в высоту и 50 см в ширину, 50 см до крайней левой стороны первичного устройства воспроизведения (или данные системы конфигурируются автоматически, например, данные панели посылают данной системе информацию о размере и положении через встроенное в них средство определения местонахождения). По другому варианту осуществления, данная система может включать в себя видеосистему для определения информации о размере и/или положении данных панелей.
Затем, данная система может применить преобразование, чтобы воспроизвести объект так близко, как указано в параметрах использования (например, предоставленных для максимального воздействия художником содержимого на стороне создания). Например, система может вычислить, что для автомобильного объекта в данное время t, серединное местоположение соответствует положению элемента изображения с координатами (1250, 999) на первом левом периферийном устройстве воспроизведения.
Разумеется, в соответствии с вариантом изобретения, данная система может игнорировать или корректировать предложенные/предоставленные параметры использования и применять местные параметры использования и/или предоставленные пользователем.
К тому же, хотя в упрощенном варианте, система в соответствии с вариантом осуществления может использовать данную расстановку только на наиболее очевидно извлекаемом объекте (например, большой объект/элемент, движущийся мимо объекта/элемента переднего плана), разумеется, что направляющие данные любой сложности и/или множественных сложностей можно присоединить к данному содержимому (например, включением в состав телевизионного сигнала), начиная от грубой рамки, проецируемой на периферию совместно с некими фоновыми данными, и до наиболее точного описания того, как объект должен показываться, данное, как извлеченное тем или иным способом из всех принятых изображений, и/или включая в себя дополнительные поправочные данные (например, для огня, который выдыхает дракон, когда он движется через периферийные устройства воспроизведения, даже в том случае, в котором эти дополнительные данные никогда не были в наборе изображений). Соответственно, вспомогательные данные могут даже добавлять данные, определяемые из содержимого (например, кадров изображения) и предоставлять дополнительные данные для добавления элементов и/или дополнения элементов для добавления добавочного значения системам, выполненным с возможностью отображения дополнительных данных.
По одному варианту осуществления в соответствии с настоящей системой, вспомогательные данные также могут включать в себя видеоданные или данные для корректирования/улучшения вычисленных видеоданных. К примеру, по варианту осуществления в соответствии с настоящей системой, фоновые деревья можно очень просто выделить как переходы света-тьмы (например, зеленые), тем самым упростив обработку, требующуюся для моделирования волнообразного теневого шаблона движения под деревьями. Подобное моделирование можно выполнить путем отслеживания зон изображения (например, на основании статистики сегментов).
Одно или несколько периферийных устройств воспроизведения можно произвести из световой ткани, как, например, произвести из световой ткани Lumalive™, поставляемой корпорацией Koninklijke Philips Electronics N.V. Данная световая ткань выполнена с возможностью излучать изображения, как, например, изображения низкого разрешения, и соответственно может служить в качестве одного или нескольких периферийных устройств воспроизведения. По одному варианту осуществления, данная световая ткань может в качестве одного или нескольких периферийных устройств воспроизведения, а также может служить другим целям. Например, расположенный в комнате занавес, произведенный из световой ткани можно подключить и синхронизировать посредством соединения, такого как сетевое подключение (например, проводное, беспроводное, оптическое и так далее), к основному устройству воспроизведения (например, устройству 410 воспроизведения) при работе системы в соответствии с вариантом осуществления. Когда система не работает, световая ткань может быть деактивирована или отображать другие изображения автономно или под управлением. Разумеется, как можно легко понять, любое другое одно или несколько устройств воспроизведения настоящей системы могут работать подобным образом, не зависимо от того, выполнены ли эти устройства воспроизведения из световой ткани или нет.
По одному варианту осуществления, одно или несколько устройств воспроизведения (например, устройство воспроизведения окружающего освещения, периферийное устройство воспроизведения и так далее) можно изготовить как устройство воспроизведения электронных чернил (e-ink) или другого отражающего устройства воспроизведения. Подобное устройство воспроизведение, например, при использовании в качестве периферийного устройства воспроизведения может иметь вид фонового изображения на электронных чернилах. Фоновое изображение на электронных чернилах может отображать изображения в соответствии с настоящей системой, при работе системы, и отображать другие изображения, например, фоновые узоры, когда система не работает. По одному варианту осуществления, фоторамка на электронных чернилах и/или рамка(и) большего размера может выполнять функции одного или нескольких устройств воспроизведения окружающего освещения и/или периферийных устройств воспроизведения. Данные рамки могут показывать картины и/или рисунки, когда не управляются основным устройством воспроизведения для работы в качестве периферийного устройства воспроизведения. В соответствии с вариантом осуществления настоящей системы, расширяющие изображения можно предоставить с более низким разрешением, с меньшей частотой обновления и так далее, чем первичное устройство воспроизведения, как определено возможностями воспроизведения данного устройства воспроизведения.
В качестве периферийных устройств воспроизведения и/или источников окружающего освещения можно использовать другие подключаемые к сети источники изображений, например фоторамки. Подключаемые к сети источники изображений можно добавить в систему автоматически посредством самоопределения и/или автоматизированной системы запросов для определения доступности и возможностей подключаемых к сети источников изображений, а также относительного расположения данных подключаемых к сети источников изображений. Таким образом, можно добавить или удалить из системы дополнительное изображение и/или источники окружающего освещения, не требуя громоздкой процедуры установки. По альтернативному варианту осуществления, можно выполнить однократную процедуру установки, в которой задаются характеристики устройства воспроизведения, положение, и так далее. Затем, при желании, первичное устройство воспроизведения может автоматически подключаться к данному вторичному устройству(ам) воспроизведения (например, периферийным устройствам воспроизведения, устройствам воспроизведения окружающего освещения и так далее) для предоставления периферийных эффектов и/или эффектов окружающего освещения. По одному варианту осуществления, представление устройства воспроизведения и/или устройства с дисплеем и/или возможностями освещения в области данной системы может начать производство пользовательского интерфейса первичного устройства воспроизведения и/или данного устройства, чтобы позволить регистрацию данного устройства как части настоящей системы окружающего освещения и/или системы периферийного изображения. По одному варианту осуществления, можно предоставить сочетание эффектов окружающего и периферийного освещения, в котором одна часть эффектов предоставляется как эффекты окружающего освещения, а другая часть эффектов предоставляется как периферийные эффекты. По дополнительному изменению, вторичные устройства воспроизведения также могут иметь возможность производить эффекты окружающего освещения в соответствии с настоящей системой.
По варианту осуществления в соответствии с настоящей системой, во время расширения содержимого на периферийные устройства и/или устройства окружения могут появляться артефакты, например, по причине ограничения на практике точности общей/местной модели движения, что может снижать качество разрешения и/или положения объектов, показанных на периферийных устройствах и/или устройствах окружения. Таким образом, может быть желательным, чтобы все "данные расширения" (например, данные, используемые для управления периферийными устройствами и/или устройствами окружающего освещения), определенные для периферийных устройств и/или устройств окружения, имели ограниченную временную живучесть, таким образом, помогая в некоторой степени точности данных. По одному варианту осуществления, можно реализовать резервный сценарий, посредством использования, по меньшей мере, части данных расширения, а также "типичных данных окружающего освещения", таких как данные, извлеченные из показываемого в настоящий момент кадра содержимого для управления вторичными устройствами. Например, по одному варианту осуществления, данные расширения, определенные из кадров, находящихся по времени рядом с текущим кадром, преимущественно используются для определения того, что отображается на периферийных устройствах и/или устройствах окружения поверх типичных данных окружающего освещения. Однако, как по мере того как конкретная часть данных расширения становится более удаленной во времени (старее) от данных (признаков, объектов, фона, переднего плана и так далее), показываемых в настоящий момент на первичном устройстве воспроизведения, типичные данные окружающего освещения можно постепенно использовать для замены устаревающих данных расширения, например, посредством системы рекурсивной фильтрации. В случае если типичные данные окружающего освещения недоступны, можно использовать цвет и/или освещение по умолчанию. Данную замену того, что отображается на вторичных устройствах, можно выполнить признак за признаком и объект за объектом. Например, части данных расширения, даже предоставленных единственным устройством расширения, могут быть "свежее", чем другие части данных расширения. Соответственно, по одному варианту осуществления в соответствии с настоящей системой, данный процесс замещения можно выполнить признак за признаком и объект за объектом. Кроме того, в случае обнаружения изменения сцены, при котором показанные части предшествующих частей содержимого более не подходят из-за изменения сцены, система периферийного освещения и/или система окружающего освещения может определить содержимое для вторичного устройства воспроизведения, используя содержимое, показываемое в текущий момент на первичном устройстве воспроизведения, и/или цвет по умолчанию (например, интенсивность, тон, насыщенность и так далее), и/или освещение.
На Фиг.5 показана система 500 в соответствии с вариантом осуществления настоящей системы. Система содержит процессор 510, оперативно подключенный к памяти 520, первичное устройство 530 воспроизведения, одно или несколько вторичных устройств 540 воспроизведения и устройство 570 ввода/вывода. Термин "устройство воспроизведения", использованный в настоящем документе, относится к любому устройству, способному отображать содержимое в соответствии с настоящей системой. Соответственно, первичным устройством воспроизведения может быть устройство визуального воспроизведения, такое как телевизионное устройство, а вторичным устройством воспроизведения может быть устройство, такое как устройство окружающего освещения и/или устройство периферийного воспроизведения. Память 520 может быть любым видом устройств для хранения прикладных данных, а также других данных, таких как данные кадра содержимого. Прикладные данные и другие данные, такие как данные признаков и объектов, принимаются процессором 510 для конфигурирования процессора 510 на выполнения эксплуатационных действий в соответствии с настоящей системой. Данные эксплуатационные действия включают в себя управление, по меньшей мере, одним из устройств 530 воспроизведения для воспроизведения содержимого, и управление вторичным устройством воспроизведения в соответствии с настоящей системой. Ввод/вывод 570 может включать в себя клавиатуру, манипулятор типа "мышь", и другие устройства, включая в себя сенсорные дисплеи, которые могут быть автономными или частью системы, такой как часть персонального компьютера, электронного секретаря, и устройства воспроизведения, такого как телевизионный приемник, для взаимодействия с процессором 510 посредством любого вида соединения, например проводного или беспроводного соединения. Очевидно, что процессор 510, память 520, первичное устройство 530 воспроизведения, вторичное устройство 540 воспроизведения, устройство 570 ввода/вывода могут все или частично быть частью телевизионной платформы, например устройства воспроизведения телевизионного содержимого.
Способы настоящей системы особенно подходят для выполнения компьютерными программными средствами, такими как компьютерное программное средство, предпочтительно содержащее модули, соответствующие индивидуальным этапам или действиям способов. Подобное программное обеспечение, разумеется, можно встроить в машиночитаемый носитель, такой как интегральная микросхема, периферийное устройство или память, такая как память 520, или другая память, подключенная к процессору 510.
Машиночитаемый носитель и/или память 520 могут быть любым записываемым носителем (например, ОЗУ, ПЗУ, съемной памятью, CD-ROM, накопителем на жестких дисках, DVD, гибким диском или картой памяти) или быть средой передачи, (например, сетью, содержащей оптоволокно, "всемирной паутиной", кабелем и/или беспроводным каналом, например, использующим множественный доступ с временным разделением, множественный доступ с кодовым разделением, или другим радиочастотным каналом). Любой носитель, известный или разработанный, могущий хранить и/или предоставлять информацию, подходящую для использования с компьютерной системой, можно использовать как машиночитаемый носитель и/или память 520.
Также можно использовать дополнительные блоки памяти. Машиночитаемый носитель, память 520 и/или другие блоки памяти могут быть долговременными, кратковременными или сочетанием долговременных и кратковременных блоков памяти. Данные блоки памяти могут настраивать процессор для реализации способов, эксплуатационных действий, и функций, раскрытых в настоящем документе. Блоки памяти могут быть распределенными или местными и процессор 510, там, где можно предусмотреть дополнительные процессоры, также может быть распределенным, как, например, лежащий в основании первичного устройства воспроизведения и/или одного или нескольких вторичных устройств воспроизведения, или может быть единственным. Блоки памяти можно реализовать как электрическую, магнитную или оптическую память, или любое их сочетание, или другие типы устройств хранения. Более того, термин "память" следует толковать достаточно широко для охвата любой информации, способной быть прочитанной или записанной по адресу в адресуемом пространстве, доступном процессору. С этим определением, информация в сети передачи данных все еще попадает в пределы памяти 5020, например, поскольку процессор 510 может осуществлять выборку информации из сети передачи данных для работы в соответствии с настоящей системой.
Процессор 510 и память 520 могут быть любого вида процессоров/управляющих устройств, микропроцессорных управляющих устройств и/или памяти. Процессор 510 способен обеспечивать управление сигналами и выполнять действия в ответ на ввод сигналов с устройства 570 ввода/вывода и исполнять команды, хранящиеся в памяти 520. Процессор 510 может быть специализированной микросхемой(ами) или микросхемой(ами) общего назначения. Дополнительно, процессор 510 может быть выделенным процессором для исполнения в соответствии с настоящей системой, или быть процессором общего назначения, в котором только одна или несколько функций выполнены с возможностью исполнения в соответствии с настоящей системой. Процессор 510 может работать, используя части программ, множество программных сегментов, или быть аппаратным устройством, использующим специализированные интегральные схемы или интегральные схемы универсального применения.
Разумеется, следует оценить, что один из описанных выше вариантов осуществления или процессов можно объединить с одним или несколькими другими вариантами осуществления или процессами в соответствии с настоящей системой. Например, хотя некоторые системы, алгоритмы и технические приемы описаны в настоящем документе относительно или системы окружающего освещения или системы периферийного изображения, как легко можно оценить, многое из этого можно применить в любой из систем и/или объединенной системе.
В заключение, приведенное выше описание предназначено всего лишь для наглядности настоящей системы и не должно толковаться как ограничивающее прилагаемую формулу изобретения любым конкретным вариантом осуществления или группой вариантов осуществления. Таким образом, между тем, как настоящая система была описана в конкретных деталях со ссылкой на определенные примерные варианты ее осуществления, также необходимо оценить, что средний специалист в данной области техники может придумать многочисленные изменения и альтернативные варианты осуществления, не отступая от широты и предлагаемой сущности и объема настоящей системы, как изложено в нижеследующей прилагаемой формуле изобретения. Например, хотя в наглядном описании элементы окружающего освещения и устройств периферийного воспроизведения показаны как устройства, физически отдельные от первичного устройства воспроизведения, это не предназначено для ограничения, если не указано определенно. Например, по одному варианту осуществления, первичное устройство воспроизведения (например, первичный дисплей) и вторичное устройство воспроизведения представляют части единого устройства воспроизведения. По этому варианту осуществления, устройство воспроизведения может быть большим устройством воспроизведения, например, выполненным в виде части настенного дисплея. По данному варианту осуществления, различные части устройства воспроизведения могут выполнять функции как первичного, так и вторичного устройства воспроизведения. В переделах объема настоящей системы предусмотрены дополнительные изменения. Соответственно, подробное описание и чертежи следует считать наглядным способом, и не предназначены для ограничения объема прилагаемой формулы изобретения.
При интерпретации прилагаемой формулы изобретения следует понимать, что:
a) слово "comprising" не исключает наличие других элементов или действий, нежели чем те, что перечислены в данном пункте формулы изобретения;
b) слово "a" или "an" предшествующее элементу не исключает наличие множества подобных элементов;
c) любой знак ссылки в данной формуле изобретения не ограничивает его объем;
d) несколько "means" можно представить одним и тем же элементом или аппаратно или программно реализованной структурой или функцией;
e) любые из раскрытых элементов могут содержать аппаратно реализованные части (например, включать в себя дискретные и объединенные электронные схемы), программно реализованные части (например, программирование компьютеров), и любое их сочетание;
f) аппаратные части могут состоять как из аналоговых, так и из цифровых частей или любого их сочетания;
g) любые из раскрытых устройств или их частей можно объединить вместе или разделить на дальнейшие части, если другое явно не заявлено; и
h) требование конкретной последовательности действий или этапов не предусмотрено, если не указано специально.
Изобретение относится к элементам телевизионных систем. Техническим результатом является расширение арсенала технических возможностей. Результат достигается тем, что устройство (500) производит анализ предшествующей и/или последующей во времени частей сигнала содержимого для определения элементов, позиционно относящихся к элементам текущей части сигнала содержимого. Текущая часть сигнала содержимого воспроизводится на первичном устройстве (530) воспроизведения, таком как телевизионный приемник, в то время как элементы, позиционно относящиеся к элементам текущей части сигнала содержимого, одновременно воспроизводятся на вторичном устройстве (540) воспроизведения. В одном варианте осуществления элементы, воспроизводимые на вторичном устройстве (540) воспроизведения, можно воспроизвести с более низким разрешением и/или с более низкой частотой кадров, чем воспроизводимая текущая часть сигнала содержимого. В одном варианте осуществления, по меньшей мере, одну из предшествующих и последующих во времени частей сигнала содержимого можно анализировать с более низким разрешением, чем сигнал содержимого. 5 н. и 61 з.п. ф-лы, 5 ил.
1. Способ воспроизведения содержимого изображения,
содержащий этапы, на которых
анализируют, по меньшей мере, одну из предшествующей и последующей по времени частей сигнала содержимого для определения вторичных элементов, которые пространственно связаны с первичными элементами текущей части сигнала содержимого;
воспроизводят текущую часть сигнала содержимого на первичном устройстве воспроизведения; и
воспроизводят вторичные элементы, которые пространственно связаны с первичными элементами текущей части сигнала содержимого на вторичном устройстве воспроизведения одновременно с воспроизведением текущей части сигнала содержимого.
2. Способ по п.1, в котором этап, на котором воспроизводят вторичные элементы, содержит этап, на котором воспроизводят вторичные элементы с более низким разрешением, чем воспроизводимая текущая часть сигнала содержимого.
3. Способ по п.1, в котором этап, на котором анализируют, по меньшей мере, одну из предшествующей и последующей по времени частей сигнала содержимого выполняют с более низким разрешением, чем сигнал содержимого.
4. Способ по п.1, в котором этап, на котором воспроизводят вторичные элементы, содержит этап, на котором воспроизводят вторичные элементы с изменяющимся разрешением, причем эти изменения определяют на основе, по меньшей мере, одного из:
пространственного или временного положения воспроизводимых вторичных элементов по отношению к сигналу содержимого, воспроизводимому на первичном устройстве воспроизведения.
5. Способ по п.1, в котором этап, на котором воспроизводят вторичные элементы, содержит этап, на котором воспроизводят вторичные элементы с разрешением, определяемым на основании положения воспроизведенных вторичных элементов по отношению к сигналу содержимого, воспроизводимому на первичном устройстве воспроизведения.
6. Способ по п.5, в котором этап, на котором воспроизводят вторичные элементы, содержит этап, на котором воспроизводят вторичные элементы с разрешением, определяемым на основании положения во времени воспроизведенных вторичных элементов по отношению к сигналу содержимого, воспроизводимому на первичном устройстве воспроизведения.
7. Способ по п.1, в котором этап, на котором анализируют, содержит этап, на котором вырабатывают вспомогательные данные, относящиеся к определенным вторичным элементам, и связывают вспомогательные данные с сигналом содержимого, и в котором этап, на котором воспроизводят вторичные элементы, выполняют с использованием вспомогательных данных.
8. Способ по п.7, в котором вспомогательные данные описаны в структуре стандарта вспомогательных данных для данных изображения в сигнале содержимого.
9. Способ по п.8, в котором вспомогательные данные содержат одно из данных восприятия окружающей среды (АМВХ) и информации дополнительного улучшения (SEI).
10. Способ по п.1, в котором этап, на котором воспроизводят вторичные элементы, содержит этап, на котором воспроизводят вторичные элементы как элементы окружающего освещения.
11. Способ по п.1, в котором этап, на котором воспроизводят вторичные элементы, содержит этап, на котором воспроизводят вторичные элементы как элементы периферийного изображения.
12. Способ по п.1, в котором этап, на котором анализируют, содержит этап, на котором определяют вторичные элементы на основании положения вторичного устройства воспроизведения по отношению к первичному устройству воспроизведения.
13. Способ по п.1, в котором этап, на котором анализируют, содержит этап, на котором определяют вторичные элементы на основании положения каждого из множества вторичных устройств воспроизведения по отношению к первичному устройству воспроизведения.
14. Способ по п.1, в котором этап, на котором анализируют, содержит этап, на котором определяют вторичные элементы на основании вспомогательных данных, связанных с содержимым изображения.
15. Способ по п.14, в котором вспомогательные данные содержат одно из данных восприятия окружающей среды (АМВХ) и информации дополнительного улучшения (SEI).
16. Способ по п.14, в котором этап, на котором анализируют, содержит этап, на котором определяют вторичные элементы на основе положения каждого из множества вторичных устройств воспроизведения по отношению к первичному устройству воспроизведения.
17. Способ по п.1, в котором этап, на котором воспроизводят вторичные элементы, содержит этап, на котором воспроизводят вторичные элементы для одного из множества вторичных устройств воспроизведения, расположенного с одной стороны первичного устройства воспроизведения, и для другого одного из множества вторичных устройств воспроизведения, расположенного с другой стороны первичного устройства воспроизведения.
18. Способ по п.17, в котором этап, на котором анализируют, содержит этап, на котором анализируют каждую из предшествующей и последующей во времени частей сигнала содержимого для определения вторичных элементов.
19. Способ по п.1, в котором этап, на котором воспроизводят вторичные элементы, содержит этап, на котором воспроизводят вторичные элементы с более низкой частотой смены кадров, чем воспроизводимый сигнал содержимого.
20. Способ по п.1, в котором вторичные элементы пространственно связаны с текущей частью сигнала содержимого посредством, по меньшей мере, одного из отношений движения и геометрии.
21. Способ по п.20, в котором, по меньшей мере, одну подобласть, показываемую в конкретный момент времени на первичном устройстве воспроизведения, отслеживают средством анализа движений для определения, по меньшей мере, одного элемента, воспроизводимого на вторичном устройстве воспроизведения.
22. Способ по п.21, в котором анализ движений выполняют на основе продолжения движения в содержимом изображения, воспроизведенном для первичного устройства воспроизведения.
23. Способ по п.21, в котором анализ движений является проекцией движений, распознанных из текущей части сигнала содержимого на геометрическое местоположение вторичного устройства воспроизведения.
24. Способ по п.1, в котором геометрическое местоположение включает в себя, по меньшей мере, одно из положения вторичных устройств воспроизведения по отношению к первичным устройствам воспроизведения и отношения размеров содержимого, воспроизводимого на первичном и вторичном устройствах воспроизведения.
25. Машиночитаемый носитель, содержащий приложение, сохраненное на нем, выполненное с возможностью воспроизведения содержимого изображения, причем приложение содержит часть программы, выполненную с возможностью анализа, по меньшей мере, одной из предшествующей и последующей во времени частей сигнала содержимого для определения элементов, которые пространственно связаны с текущей частью сигнала содержимого;
часть программы, выполненную с возможностью воспроизведения текущей части сигнала содержимого на первичном устройстве воспроизведения; и часть программы, выполненную с возможностью воспроизведения элементов, которые пространственно связаны с текущей частью сигнала содержимого на вторичном устройстве воспроизведения одновременно с воспроизведением текущей части сигнала содержимого.
26. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов с более низким разрешением, чем воспроизводимая текущая часть сигнала содержимого.
27. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью анализа, по меньшей мере, одной из предшествующей и последующей во времени частей сигнала содержимого, выполнена с возможностью анализа, по меньшей мере, одной из предшествующей и последующей во времени частей с более низким разрешением, чем сигнал содержимого.
28. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов с изменяющимся разрешением, и в котором это изменение определяют на основе положения воспроизведенных элементов по отношению к сигналу содержимого, воспроизводимому на первичном устройстве воспроизведения.
29. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов с разрешением, определяемым на основании положения воспроизведенных элементов по отношению к сигналу содержимого, воспроизводимому на первичном устройстве воспроизведения.
30. Машиночитаемый носитель по п.29, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов с разрешением, определяемым на основании положения во времени воспроизведенных элементов по отношению к сигналу содержимого, воспроизводимому на первичном устройстве воспроизведения.
31. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью анализа, выполнена с возможностью выработки вспомогательных данных, относящихся к определенным элементам, и связывания вспомогательных данных с сигналом содержимого, и в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью использования вспомогательных данных.
32. Машиночитаемый носитель по п.31, в котором вспомогательные данные содержат одно из данных восприятия окружающей среды (АМВХ) и информации дополнительного улучшения (SEI).
33. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов как элементов окружающего освещения.
34. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов как элементов периферийного изображения.
35. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов на основании положения вторичного устройства воспроизведения по отношению к первичному устройству воспроизведения.
36. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов на основании положения каждого из множества вторичных устройств воспроизведения по отношению к первичному устройству воспроизведения.
37. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов на основании вспомогательных данных, связанных с упомянутым содержимым.
38. Машиночитаемый носитель по п.37, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов на основании вспомогательных данных, которые являются одним из данных восприятия окружающей среды (АМВХ) и информации дополнительного улучшения (SEI).
39. Машиночитаемый носитель по п.37, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов на основании положения каждого из множества вторичных устройств воспроизведения по отношению к первичному устройству воспроизведения.
40. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов для одного из множества вторичных устройств воспроизведения, расположенного с одной стороны первичного устройства воспроизведения, и для другого одного из множества вторичных устройств воспроизведения, расположенного с другой стороны первичного устройства воспроизведения.
41. Машиночитаемый носитель по п.40, в котором часть программы, выполненная с возможностью анализа, выполнена с возможностью анализа каждой из предшествующей и последующей во времени частей сигнала содержимого для определения упомянутых элементов.
42. Машиночитаемый носитель по п.25, в котором часть программы, выполненная с возможностью воспроизведения элементов, выполнена с возможностью воспроизведения элементов с более низкой частотой смены кадров, чем воспроизводимого сигнала содержимого.
43. Процессор (510) для воспроизведения содержимого изображения на каждом из первичного и вторичного устройства воспроизведения, причем процессор (510) содержит соединение, выполненное с возможностью подключения во включенном состоянии к каждому из первичного и вторичного устройств (530, 540) воспроизведения, при этом процессор (510) выполнен с возможностью анализа, по меньшей мере, одной из предшествующей и последующей по времени частей сигнала содержимого для определения элементов, которые пространственно связаны с текущей частью сигнала содержимого;
предоставления текущей части сигнала содержимого для воспроизведения на первичном устройстве (530) воспроизведения; и
предоставления упомянутых элементов, которые пространственно связаны с текущей частью сигнала содержимого, для воспроизведения на вторичном устройстве (540) воспроизведения одновременно с воспроизведением текущей части сигнала содержимого.
44. Процессор (510) по п.43, причем процессор (510) выполнен с возможностью предоставления упомянутых элементов, по меньшей мере, с одним из следующего: с более низким разрешением или с более низкой частотой смены кадров, чем предоставленная текущая часть сигнала содержимого.
45. Процессор (510) по п.43, причем процессор (510) выполнен с возможностью анализа, по меньшей мере, одной из предшествующей и последующей во времени частей с более низким разрешением, чем сигнала содержимого.
46. Процессор (510) по п.43, причем процессор (510) выполнен с возможностью предоставления упомянутых элементов с изменяющимся разрешением, причем это изменение определяется на основании положения предоставленных элементов по отношению к сигналу содержимого, предоставленному для воспроизведения на первичном устройстве (530) воспроизведения.
47. Процессор (510) по п.43, причем процессор (510) выполнен с возможностью предоставления упомянутых элементов с разрешением, определяемым на основании положения воспроизводимых элементов по отношению к сигналу содержимого, предоставленному для воспроизведения на первичном устройстве (530) воспроизведения.
48. Процессор (510) по п.47, причем процессор (510) выполнен с возможностью предоставления упомянутых элементов с разрешением, определяемым на основании положения во времени предоставленных элементов по отношению к сигналу содержимого, предоставленному для воспроизведения на первичном устройстве (530) воспроизведения.
49. Процессор (510) по п.43, причем процессор (510) выполнен с возможностью предоставления упомянутых элементов, используя вспомогательные данные, связанные с сигналом содержимого и относящиеся к определенным элементам.
50. Процессор (510) по п.49, причем вспомогательные данные содержат одно из данных восприятия окружающей среды (АМВХ) и информации дополнительного улучшения (SEI).
51. Процессор (510) по п.43, причем процессор (510) выполнен с возможностью предоставления упомянутых элементов, по меньшей мере, как одного из следующего: элементов окружающего освещения и элементов периферийного изображения.
52. Процессор (510) по п.51, содержащий вторичное устройство (540) воспроизведения, причем процессор (510) выполнен с возможностью предоставления упомянутых элементов как элементов окружающего освещения, при этом вторичное устройство (540) воспроизведения содержит, по меньшей мере, одно из матрицы светоизлучающих диодов и пико-проектора.
53. Процессор (510) по п.43, причем процессор (510) выполнен с возможностью предоставления упомянутых элементов на основании положения вторичного устройства (540) воспроизведения
по отношению к первичному устройству (530) воспроизведения.
54. Процессор (510) по п.43, содержащий вторичное устройство (540) воспроизведения, причем вторичное устройство (540) воспроизведения содержит множество вторичных устройств (540) воспроизведения, и при этом процессор (510) выполнен с возможностью предоставления упомянутых элементов на основании положения каждого из множества вторичных устройств (540) воспроизведения по отношению к первичному устройству (530) воспроизведения.
55. Процессор (510) по п.43, причем процессор (510) выполнен с возможностью предоставления упомянутых элементов на основании вспомогательных данных, являющихся одним из данных восприятия окружающей среды (АМВХ) и информации дополнительного улучшения (SEI), связанных с содержимым.
56. Процессор (510) по п.55, содержащий вторичное устройство (540) воспроизведения, причем вторичное устройство (540) воспроизведения содержит множество вторичных устройств (540) воспроизведения, и при этом процессор (510) выполнен с возможностью предоставления упомянутых элементов на основании положения каждого из вторичных устройств (540) воспроизведения по отношению к первичному устройству (530) воспроизведения.
57. Процессор (510) по п.43, содержащий множество вторичных устройств (540) воспроизведения, причем процессор (510) выполнен с возможностью воспроизведения элементов для одного из множества вторичных устройств (540) воспроизведения, расположенного с одной стороны первичного устройства (530) воспроизведения, и для другого одного из множества вторичных устройств (540) воспроизведения, расположенного с другой стороны первичного устройства (530) воспроизведения.
58. Процессор (510) по п.43, причем процессор (510) выполнен с возможностью определения упомянутых элементов на основании, по меньшей мере, одного из пространственного положения и положения во времени предоставляемых элементов по отношению к сигналу содержимого, предоставленному для воспроизведения на первичном устройстве (530) воспроизведения.
59. Вспомогательный сигнал изображения, встроенный в поток передачи, позволяющий воспроизведение вторичного изображения, связанного с первичным изображением, причем вспомогательный сигнал изображения предназначен для описания элемента, подходящего для продолжения с первичного устройства воспроизведения на вторичное устройство воспроизведения, при этом вспомогательный сигнал изображения включает в себя профиль позиционирования, позволяющий помещать упомянутый элемент на вторичном устройстве воспроизведения во множестве моментов времени.
60. Вспомогательный сигнал изображения по п.59, причем вспомогательный сигнал изображения идентифицирует упомянутый элемент как один из объекта переднего плана и фонового объекта.
61. Вспомогательный сигнал изображения по п.60, в котором профиль позиционирования включают в себя параметрическую функцию положения для пограничных пикселей упомянутого элемента.
62. Вспомогательный сигнал изображения по п.61, в котором параметрическая функция положения включает в себя описание ограничивающего контура для упомянутого элемента.
63. Вспомогательный сигнал изображения по п.63, причем вспомогательный сигнал изображения включает в себя профиль изменений, который идентифицирует, по меньшей мере, одно из цвета и изменения яркости для элемента, когда данный элемент переходит с первичного устройства воспроизведения на вторичное устройство воспроизведения.
64. Вспомогательный сигнал изображения по п.63, в котором профиль изменений включает в себя, по меньшей мере, одно из цвета элемента и структурных характеристик, предназначенных для обеспечения точной сегментации упомянутого элемента.
65. Вспомогательный сигнал изображения по п.64, в котором профиль изменений включает в себя данные преобразования, предназначенные для обеспечения, по меньшей мере, одного из пространственно-временного перспективного преобразования, преобразования резкости и детального изменения упомянутого элемента, когда упомянутый элемент переходит с первичного устройства воспроизведения на вторичное устройство воспроизведения.
66. Способ выработки вспомогательных данных для воспроизведения элементов на вторичном устройстве воспроизведения около первичного устройства воспроизведения, содержащий этапы, на которых
анализируют набор изображений;
извлекают области этих изображений;
определяют информацию последующего положения для этих областей для последующих моментов времени для воспроизведения в пространстве изображения за пределами пространства изображения первичного воспроизведения;
кодируют информацию последующего положения во вспомогательных данных, связанных с упомянутым набором изображений.
| Опрокидыватель для автомобиля | 1989 |
|
SU1638102A1 |
| US 2005036067 А1, 17.02.2005 | |||
| Устройство для накостно-компрессионного остеосинтеза | 1990 |
|
SU1806666A1 |
| Устройство для распознавания подводных грунтов | 1985 |
|
SU1492335A1 |
| RU 2000130195 А, 10.02.2003. | |||
