Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству и способу обработки данных, а в частности к устройству и способу обработки данных, при помощи которых может быть отображено изображение и т.д. согласно намерению производителя контента, например, в случае, когда контент, состоящий из множества точек обзора данных изображения для стереоскопического восприятия, отображается в виде двумерного изображения.
Уровень техники
В последнее время устройства, соответствующие такой системе обработки визуальной информации в виде цифровых сигналов, как MPEG (Moving Picture Expert Group), и использующие преимущества избыточности, свойственной визуальной информации, с передачей и накоплением высокоэффективной информации в качестве объекта в этот момент для сжатия визуальной информации путем ортогонального преобразования, такого как дискретное косинусное преобразование и т.п., и компенсации движения и т.п., получают все большее применение как в области распространения данных, такого как вещательные станции, так и в области приема данных в обычных домах.
В частности, например широкое распространение получили кодирующие и декодирующие устройства, используемые в момент приема визуальной информации (цифрового потока), сжатой с помощью системы кодирования, такой как MPEG, H.26x или т.п., применяющей ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., и компенсацию движения, через сетевой носитель, такой как спутниковое вещание, кабельное ТВ, Интернет и т.п., или в момент обработки визуальной информации на носителе записи, таком как оптический, магнитный диск или флэш-память.
Например, MPEG2 (ISO/IEC 13818-2) определяется как система кодирования изображений общего назначения и является стандартом, охватывающим изображения, созданные путем как чересстрочной развертки, так и последовательной развертки, и изображения как в стандартном разрешении, так и в высоком разрешении, и теперь широко применяется в широком спектре применений для профессионального и потребительского использования. Например, при применении системы сжатия MPEG2 для изображения, созданного путем чересстрочной развертки в стандартном разрешении 720×480 пикселов (ширина × длина), реализуется объем кода (скорость цифрового потока) 4-8 Мбит/с, а для изображения, созданного путем чересстрочной развертки в высоком разрешении 1920×1088 пикселов, выделяется объем кода 18-22 Мбит/с, при этом могут быть достигнуты высокая скорость сжатия и великолепное качество изображения.
Главной целью MPEG2 является кодирование изображения высокого качества, адаптированное для использования в вещании, но она не поддерживает более низкий объем кода (скорость цифрового потока), чем объем кода в MPEG1, т.е. системе кодирования с высокой скоростью сжатия. Распространение карманных персональных компьютеров, весьма вероятно, приведет в скором будущем к возрастанию потребности в такой системе кодирования, и в ответ на это стандартизирована система кодирования MPEG4. В отношении системы кодирования изображений ее спецификация была утверждена в качестве международного стандарта ISO/IEC 14496-2 в декабре 1998 года.
Далее, в последние годы стандартизация стандарта, называемого Н.264 (ITU-T Q6/16 VCEG), дополнена целью кодирования изображений для использования в телеконференциях. Известно, что стандарт Н.264 позволяет достичь более высокой эффективности кодирования по сравнению с общепринятой системой кодирования, такой как MPEG2 или MPEG4, хотя и требует большего объема вычислений для их кодирования и декодирования. Кроме того, в текущий момент в числе разработок, ведущихся вокруг MPEG4, в качестве Объединенной модели видеокодирования с улучшенным сжатием осуществляется стандартизация, использующая преимущества функции, которую не поддерживает Н.264, при этом Н.264 используется в качестве основы для достижения более высокой эффективности кодирования.
В связи с системой кодирования (JVT Codec), стандартизацию которой проводит Joint Video Team, исследуются различные усовершенствования с целью улучшить эффективность кодирования по сравнению с существующими технологиями, такими как MPEG2, MPEG4 и т.д. Например, при дискретном косинусном преобразовании проводится преобразование в целые коэффициенты преобразования, причем в качестве объекта берется блок 4×4 пиксела. Кроме того, в отношении компенсации движения размер блока является переменной величиной, что позволяет провести более оптимальную компенсацию движения. Однако основные алгоритмы кодирования остаются теми же, что и в существующих технологиях, таких как MPEG2, MPEG4 и т.п.
Между прочим, что касается контента изображения как объекта для кодирования, такого как описано выше, существует контент изображений для стереоскопического восприятия, при котором доступно стереоскопическое восприятие.
Для отображения изображения для стереоскопического восприятия нужно специализированное устройство (здесь и далее - устройство для стереоскопического восприятия), и в качестве такого устройства для стереоскопического восприятия существует, например, система стереоскопических изображений ИФ (интегральная фотосъемка), разработанная NHK (Японской широковещательной корпорацией).
Данные изображения стереоскопического восприятия состоят из множества точек обзора данных изображения (данные изображений, снятых с множественных точек обзора), и если число точек обзора будет как можно больше, а диапазон точек обзора - как можно шире, то объект можно как бы наблюдать с разных сторон, то можно осуществить «телевидение, внутрь которого можно заглянуть».
Пример данных изображения для стереоскопического восприятия, т.е. способы кодирования и декодирования множественных точек обзора данных изображения, описан в PTL1.
Список ссылок
Патентная литература:
PTL 1: выложенная заявка на патент Японии №2008-182669
Раскрытие изобретения
Техническая задача
В изображениях для стереоскопического восприятия изображением с наименьшим числом точек обзора является изображение, число точек обзора которого равняется двум, а данные изображения стереоизображения состоят из данных изображения, подлежащего просмотру левым глазом (здесь и далее называемого «изображением для левого глаза») и данных изображения, подлежащего просмотру правым глазом (здесь и далее называемого «изображением для правого глаза»).
В отношении изображений для стереоскопического восприятия, включающего в себя стереоизображение, устройство для стереоскопического восприятия может осуществлять стереоскопическое восприятие, но даже в случае устройства для отображения двумерного изображения (здесь и далее также называемого устройством двумерного отображения), т.е., например, дисплея, такого как обычный телевизор (телевизионный приемник), может отображать двумерное изображение.
В частности, изображение для стереоскопического восприятия, включающее в себя стереоизображение, может быть отображено в качестве двумерного изображения путем отображения изображения с одной из множества точек обзора изображения.
Между прочим, отображение изображения для стереоскопического восприятия устройством двумерного отображения в качестве двумерного изображения приводит к проблеме, какую точку обзора из множества точек обзора изображения отображать.
В частности, например, изображение для левого глаза и изображение для правого глаза стереоизображения являются изображениями одного и того же эпизода с небольшим рассогласованием, но различаются по яркости, цвету и т.д.
Поэтому, например, в случае отображения стереоизображения устройством двумерного отображения в виде двумерного изображения существует требование производителя контента этого стереоизображения отображать изображение для левого и правого глаз путем их смены в настраиваемом режиме в соответствии с его/ее собственным намерением.
Однако относительно изображения с множественными точками обзора, обычно в случае отображения - в виде двумерного изображения - изображения для стереоскопического восприятия, состоящего из изображения с множественными точками обзора, включающего стереоизображение, не предлагается схемы для управления выбором изображения для отображения в качестве двумерного изображения.
Настоящее изобретение сделано в свете этой ситуации и дает возможность отобразить изображение и т.д. согласно намерению производителя контента в случае отображения контента стереоизображения в виде двумерного изображения.
Решение задачи
Устройство обработки изображений согласно первому объекту настоящего изобретения представляет собой устройство обработки изображений, включающее в себя средство преобразования, выполненное с возможностью преобразовывать - в соответствии с меткой, задающей данные изображения, используемые для отображения двумерного изображения из N, N>1 точек обзора данных изображения, путем смены одной точки обзора данных изображения из N точек обзора данных изображения другой точкой обзора данных изображения - N точек обзора данных изображения в один фрагмент основных данных изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и N-1 фрагментов дополнительных данных изображения; и передающее средство, выполненное с возможностью передавать один фрагмент основных данных изображения и N-1 фрагментов дополнительных данных изображения, преобразованных средством преобразования, и упомянутую метку.
Устройство обработки изображений может далее включать в себя средство установки метки, выполненное с возможностью устанавливать метку, задающую данные изображения, используемые для отображения двумерного изображения из N точек обзора данных изображения.
Передающее средство может передавать упомянутый цифровой поток и упомянутую метку путем их связывания.
Средство установки метки может устанавливать метку для каждого из одного или более последовательных кадров.
N точек обзора данных изображения могут являться данными изображения точки обзора для левого глаза, подлежащими просмотру левым глазом, и данными изображения точки обзора для правого глаза, подлежащими просмотру правым глазом.
Устройство обработки изображений может далее включать в себя кодирующее средство, выполненное с возможностью кодировать N точек обзора данных изображения для генерирования цифрового потока.
Способ обработки изображений согласно первому объекту настоящего изобретения представляет собой способ обработки изображений, включающий в себя этап преобразования, на котором преобразуют - в соответствии с меткой, задающей данные изображения, используемые для отображения двумерного изображения, из N, N>1, точек обзора данных изображения, путем смены одной точки обзора данных изображения из N точек обзора данных изображения другой точкой обзора данных изображения - N точек обзора данных изображения в один фрагмент основных данных изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и N-1 фрагментов дополнительных данных изображения; и этап передачи, на котором передают один фрагмент основных данных изображения и N-1 фрагментов дополнительных данных изображения, преобразованных на этапе преобразования, и упомянутую метку.
В первом объекте настоящего изобретения в соответствии с меткой, задающей данные изображения, используемые для отображения двумерного изображения из N (больше одной) точек обзора данных изображения, путем смены одной точки обзора данных изображения из N точек обзора данных изображения другой точкой обзора данных изображения, N точек обзора данных изображения преобразуют в один фрагмент основных данных изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и N-1 фрагментов дополнительных данных изображения, и передают один фрагмент основных данных изображения, N-1 фрагментов дополнительных данных изображения и метку.
Устройство обработки изображений согласно второму объекту настоящего изобретения представляет собой устройство обработки изображений, включающее в себя приемное средство, выполненное с возможностью принимать метку, задающую данные изображения, используемые для отображения двумерного изображения из N, N>1, точек обзора данных изображения, один фрагмент основных данных изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и N-1 фрагментов дополнительных данных изображения, получаемых путем смены одной точки обзора данных изображения из N точек обзора данных изображения другой точкой обзора данных изображения в соответствии с меткой; и восстанавливающее средство, выполненное с возможностью восстанавливать один фрагмент основных данных изображения и N-1 фрагментов дополнительных данных изображения, принимаемых приемным средством, в N точек обзора данных изображения в соответствии с меткой, принимаемой приемным средством.
Устройство обработки изображений может далее включать в себя средство преобразования изображения для стереоскопического восприятия, выполненное с возможностью преобразовывать упомянутые N точек обзора данных изображения в данные изображения стереоскопического восприятия для стереоскопического восприятия.
Способ обработки изображений согласно второму объекту настоящего изобретения представляет собой способ обработки изображений, включающий в себя этап приема, на котором принимают метку, задающую данные изображения, используемые для отображения двумерного изображения из N, N>1, точек обзора данных изображения, один фрагмент основных данных изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и N-1 фрагментов дополнительных данных изображения, полученных путем смены одной точки обзора данных изображения из N точек обзора данных изображения другой точкой обзора данных изображения в соответствии с упомянутой меткой; и этап восстановления, на котором восстанавливают один фрагмент основных данных изображения и N-1 фрагментов дополнительных данных изображения, принятых на этапе приема, в N точек обзора данных изображения в соответствии с меткой, принятой на этапе приема.
Во втором объекте настоящего изобретения принимают метку, задающую данные изображения, используемые для отображения двумерного изображения из N, N>1, точек обзора данных изображения, один фрагмент основных данных изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и N-1 фрагментов дополнительных данных изображения, полученных путем смены одной точки обзора данных изображения из N точек обзора данных изображения другой точкой обзора данных изображения в соответствии с принятой меткой, и восстанавливают один фрагмент основных данных изображения и N-1 фрагментов дополнительных данных изображения, принятых аналогичным образом, в N точек обзора данных изображения в соответствии с принятой относящейся к ним меткой.
Устройство обработки изображений согласно третьему объекту настоящего изобретения представляет собой устройство обработки изображений, включающее в себя средство установки метки, выполненное с возможностью устанавливать, в соответствии с намерением производителя N, N>1, точек обзора данных изображения, метку, задающую данные изображения, используемые для отображения двумерного изображения из N точек обзора данных изображения; и передающее средство, выполненное с возможностью передавать цифровой поток, полученный путем кодирования N точек обзора данных изображения, и метку, установленную средством установки.
Передающее средство может передавать цифровой поток и метку путем их связывания.
Средство установки метки может устанавливать метку для каждого из одного или нескольких последовательных кадров.
N точек обзора данных изображения могут являться данными изображения точки обзора для левого глаза, подлежащими просмотру левым глазом, и данными изображения точки обзора для правого глаза, подлежащими просмотру правым глазом.
Устройство обработки изображений может далее включать в себя кодирующее средство, выполненное с возможностью кодировать N точек обзора данных изображения для генерирования цифрового потока.
Способ обработки изображений согласно третьему объекту настоящего изобретения представляет собой способ обработки изображений, включающий в себя этап установки метки, на котором устанавливают, в соответствии с намерением производителя N, N>1, точек обзора данных изображения, метку, задающую данные изображения, используемые для отображения двумерного изображения, из N точек обзора данных изображения; и этап передачи, на котором передают цифровой поток, полученный путем кодирования N точек обзора данных изображения, и метку, установленную на этапе установки.
В третьем объекте настоящего изобретения в соответствии с намерением производителя N, N>1, точек обзора данных изображения, устанавливается метка, задающая данные изображения, используемые для отображения двумерного изображения, из N точек обзора данных изображения, и передаются цифровой поток, полученный путем кодирования N точек обзора данных изображения, и установленная метка.
Устройство обработки изображений согласно четвертому объекту настоящего изобретения представляет собой устройство обработки изображений, включающее в себя приемное средство, выполненное с возможностью принимать цифровой поток, полученный путем кодирования N, N>1, точек обзора данных изображения, и метку, задающую данные изображения, используемые для отображения двумерного изображения N точек обзора данных изображения, установленную в соответствии с намерением производителя N точек обзора данных изображения; и средство выбора, выполненное с возможностью выбирать данные изображения, используемые для отображения двумерного изображения, из N точек обзора, включенных в цифровой поток, принятый приемным средством, в соответствии с меткой, принятой приемным средством.
Цифровой поток и метка могут быть связаны.
Устройство обработки изображений может далее включать в себя декодирующее средство, выполненное с возможностью декодировать данные изображения, выбранные средством выбора.
Способ обработки изображений согласно четвертому объекту настоящего изобретения представляет собой способ обработки изображений, включающий в себя этап приема, на котором принимают цифровой поток, полученный путем кодирования N, N>1, точек обзора данных изображения, и метку, задающую данные изображения, используемые для отображения двумерного изображения из N точек обзора данных изображения, установленную в соответствии с намерением производителя N точек обзора данных изображения; и этап выбора, на котором выбирают данные изображения, используемые для отображения двумерного изображения, из N точек обзора данных изображения, включенных в цифровой поток, принятый на этапе приема, в соответствии с меткой, принятой на этапе приема.
В четвертом объекте настоящего изобретения принимают цифровой поток, полученный кодированием N (больше одной) точек обзора данных изображения, и метку, задающую данные изображения, используемые для отображения двумерного изображения из N точек обзора данных изображения, установленную в соответствии с намерением производителя, N точек обзора данных изображения, и выбирают данные изображения, используемые для отображения двумерного изображения, из N точек обзора данных изображения, включенных в принятый аналогичным образом цифровой поток, в соответствии с принятой относящейся к ним меткой.
Отметим, что описанные выше устройства обработки изображения могут быть независимыми устройствами или внутренними блоками, составляющими единое устройство.
Полезные результаты изобретения
Согласно объектам настоящего изобретения с первого по четвертый могут быть заданы данные изображения, используемые для отображения двумерного изображения. В результате этого, например, в случае отображения контента изображения для стереоскопического восприятия в качестве двумерного изображения может быть отображено изображение и т.д. согласно намерению производителя контента.
Краткое описание чертежей
Фиг.1 является блок-схемой, иллюстрирующей пример выполнения первого варианта осуществления кодирующего устройства, к которому применено настоящее изобретение.
Фиг.2 является блок-схемой, иллюстрирующей пример выполнения кодирующего блока 111.
Фиг.3 является схемой для описания установки метки смены обзора с помощью блока 12 установки метки.
Фиг.4 является блок-схемой для описания процесса кодирования согласно первому варианту осуществления.
Фиг.5 является блок-схемой, иллюстрирующей пример выполнения первого варианта осуществления декодирующего устройства, к которому применено настоящее изобретение.
Фиг.6 является блок-схемой, иллюстрирующей пример выполнения декодирующего блока 421.
Фиг.7 является схемой для описания обработки декодирующим устройством в случае, когда стереоизображение отображается в качестве двумерного изображения.
Фиг.8А является блок-схемой алгоритма для описания проведения операции декодирования согласно первому варианту осуществления.
Фиг.8В является блок-схемой алгоритма для описания проведения операции декодирования согласно первому варианту осуществления.
Фиг.9 является блок-схемой, иллюстрирующей пример выполнения второго варианта осуществления кодирующего устройства, к которому применено настоящее изобретение.
Фиг.10 является схемой для описания обработки переключающим блоком 71 согласно второму варианту осуществления.
Фиг.11 является блок-схемой алгоритма для описания проведения операции кодирования согласно второму варианту осуществления.
Фиг.12 является блок-схемой, иллюстрирующей пример выполнения второго варианта осуществления декодирующего устройства, к которому применено настоящее изобретение.
Фиг.13А является блок-схемой алгоритма для описания проведения операции декодирования согласно второму варианту осуществления.
Фиг.13В является блок-схемой алгоритма для описания проведения операции декодирования согласно второму варианту осуществления.
Фиг.14 является блок-схемой, иллюстрирующей пример выполнения третьего варианта осуществления кодирующего устройства, к которому применено настоящее изобретение.
Фиг.15 является блок-схемой алгоритма для описания проведения операции кодирования согласно третьему варианту осуществления.
Фиг.16 является блок-схемой, иллюстрирующей пример выполнения третьего варианта осуществления декодирующего устройства, к которому применено настоящее изобретение.
Фиг.17А является блок-схемой алгоритма для описания проведения операции декодирования согласно третьему варианту осуществления.
Фиг.17В является блок-схемой алгоритма для описания проведения операции декодирования согласно третьему варианту осуществления.
Фиг.18 является блок-схемой, иллюстрирующей пример выполнения четвертого варианта осуществления кодирующего устройства, к которому применено настоящее изобретение.
Фиг.19 является схемой для описания обработки сменяющим блоком 71 согласно четвертому варианту осуществления.
Фиг.20 является блок-схемой алгоритма для описания проведения операции кодирования согласно четвертому варианту осуществления.
Фиг.21 является блок-схемой, иллюстрирующей пример выполнения четвертого варианта осуществления декодирующего устройства, к которому применено настоящее изобретение.
Фиг.22А является блок-схемой алгоритма для описания проведения операции декодирования согласно четвертому варианту осуществления.
Фиг.22В является блок-схемой алгоритма для описания проведения операции декодирования согласно четвертому варианту осуществления.
Фиг.23 является блок-схемой, иллюстрирующей пример выполнения варианта осуществления компьютера, к которому применено настоящее изобретение.
Фиг.24 является блок-схемой, иллюстрирующей пример принципиальной схемы телевизионного приемника, к которому применено настоящее изобретение.
Фиг.25 является блок-схемой, иллюстрирующей пример принципиальной схемы сотового телефона, к которому применено настоящее изобретение.
Фиг.26 является блок-схемой, иллюстрирующей пример принципиальной схемы устройства записи на жесткий диск, к которому применено настоящее изобретение.
Фиг.27 является блок-схемой, иллюстрирующей пример принципиальной схемы камеры, к которой применено настоящее изобретение.
Фиг.28 является схемой, иллюстрирующей пример размера макроблока.
Описание вариантов осуществления
Первый вариант осуществления
Первый вариант осуществления кодирующего устройства
Фиг.1 является блок-схемой, иллюстрирующей пример выполнения первого варианта осуществления кодирующего устройства, к которому применено настоящее изобретение.
На Фиг.1 кодирующее устройство кодирует данные изображения для стереоизображения, созданного из данных изображения, относящихся к изображению для левого глаза (здесь и далее называемых также данными изображения точки обзора для левого глаза), и данных изображения, относящихся к изображению для правого глаза (здесь и далее называемых также данными изображения точки обзора для правого глаза).
В частности, на Фиг.1 кодирующее устройство выполнено из двух (более чем одного) кодирующих блоков 111 и 112, блока 12 установки метки и генерирующего блока 13.
Данные изображения точки обзора для левого глаза стереоизображения подаются в кодирующий блок 111.
Кодирующий блок 111 кодирует поданные на него данные изображения точки обзора для левого глаза, следуя заранее заданной системе кодировки, например, такой как MPEG2, AVC/H.264 и т.п., и подает полученные в результате этого кодированные данные (здесь и далее также «кодированные данные для левого глаза») в генерирующий блок 13.
Данные изображения точки обзора для правого глаза стереоизображения подаются в кодирующий блок 112.
Кодирующий блок 112 кодирует поданные на него данные изображения точки обзора для левого глаза, например, тем же способом, что и кодирующий блок 111, и подает полученные в результате этого кодированные данные (здесь и далее также «кодированные данные для правого глаза») в генерирующий блок 13.
Например, в ответ на действия пользователя, такого как производитель стереоизображений и т.п., из данных изображения точки обзора для правого глаза и данных изображения точки обзора для левого глаза, которые являются двумя точками обзора в стереоизображении, блок 12 установки метки устанавливает, например, метку смены обзора (метка_смены_обзора), которая является меткой, задающей данные изображения, используемые для отображения двумерного изображения, например, для каждого эпизода и т.п., и подает в генерирующий блок 13.
Генерирующий блок 13 генерирует и выводит цифровой поток, включающий в себя данные изображения стереоизображения и метку смены обзора.
В частности, генерирующий блок 13 мультиплексирует кодированные данные для левого глаза из кодирующего блока 111 и кодированные данные для правого глаза из кодирующего блока 112 для выработки мультиплексированных данных, включает метку смены обзора из блока 12 установки метки в заголовок и т.п. мультиплексированных данных и выводит их.
Пример выполнения кодирующего блока 111
Фиг.2 является блок-схемой, иллюстрирующей пример выполнения кодирующего блока 111 по Фиг.1.
Отметим, что кодирующий блок 112 по Фиг.1 выполнен таким же образом, что и кодирующий блок 111. Кодирующий блок 111 является устройством кодирования визуальной информации для выполнения сжатия изображения путем ортогонального преобразования, такого как дискретное косинусное преобразование, преобразование Карунена-Лоэве и т.п., и для компенсации движения.
Данные изображения, подлежащие кодированию, подаются в блок 21 аналого-цифрового преобразования. В случае, если поданные на него данные изображения являются данными изображения аналогового сигнала, блок 21 аналого-цифрового преобразования преобразует эти данные изображения в данные изображения цифрового сигнала путем аналого-цифрового преобразования и подает на буфер 22 экранной сортировки.
Буфер 22 экранной сортировки временно сохраняет данные изображения из блока 21 аналого-цифрового преобразования и считывает их в случае необходимости, тем самым выполняя сортировку кадров (кадров) (полукадров) данных изображения согласно структуре ГК (группы кадров) для кодированных данных, которые выведены из кодирующего блока 111.
Среди кадров, считанных из буфера 22 экранной сортировки, внутренний кадр, подлежащий внутреннему кодированию, подается в вычислительный блок 23.
Вычислительный блок 23 в случае необходимости вычитает значение пиксела спрогнозированного изображения, поданного из блока 33 внутреннего прогнозирования, из значения пиксела внутреннего кадра, поданного с буфера 22 экранной сортировки, и подает в блок 24 ортогонального преобразования.
Блок 24 ортогонального преобразования подвергает (значение пиксела внутреннего кадра) внутренний кадр (или значение вычитания, из которого вычтено прогнозируемое изображение) ортогональному преобразованию, такому как дискретное косинусное преобразование, преобразование Карунена-Лоэве и т.п., и подает полученный в результате этого коэффициент преобразования в блок 25 квантования.
Блок 25 квантования квантует коэффициент преобразования из блока 24 ортогонального преобразования и подает полученный в результате этого порог квантования в блок 26 кодирования без потерь.
Блок 26 кодирования без потерь подвергает порог квантования из блока 25 квантования кодированию с переменной длиной или кодированию без потерь, такому как арифметическое кодирование и т.п., и подает полученные в результате этого кодированные данные на накапливающий буфер 27.
Накапливающий буфер 27 временно сохраняет кодированные данные из блока 26 кодирования без потерь и выводит с заранее заданной скоростью.
Блок 28 управления скоростью осуществляет текущий контроль над объемом накопления кодированных данных накапливающего буфера 27 и управляет действиями блока 25 квантования, такими как этапы квантования и т.д. блока 25 квантования, на основе их объема накопления.
Порог квантования, полученный в блоке 25 квантования, подается в блок 26 кодирования без потерь, а также в блок 29 обратного квантования. Блок 29 обратного квантования осуществляет обратное квантование порога квантования из блока 25 квантования в коэффициент преобразования и подает в блок 30 обратного ортогонального преобразования.
Блок 30 обратного ортогонального преобразования подвергает коэффициент преобразования из блока 29 обратного квантования обратному ортогональному преобразованию и подает в вычислительный блок 31.
Вычислительный блок 31 получает декодированное изображение внутреннего кадра путем добавления в случае необходимости значения пиксела прогнозируемого изображения, поданного из блока 33 внутреннего прогнозирования, к данным, поданным из блока 30 обратного ортогонального преобразования, и подает в кадровую память 32.
Кадровая память 32 временно сохраняет декодированное изображение, поданное с вычислительного блока 31, и подает это декодированное изображение в блок 33 внутреннего прогнозирования и блок 34 прогнозирования/компенсации движения в качестве опорного изображения, используемого для выработки прогнозируемого изображения в случае необходимости.
Блок 33 внутреннего прогнозирования генерирует из пикселов в окрестности фрагмента (блока), служащего в качестве объекта обработки в вычислительном блоке 23 внутри внутреннего кадра, прогнозируемое изображение из пикселов, уже сохраненных в кадровой памяти 32, и подает на вычислительные блоки 23 и 31.
Относительно кадра, подлежащего внутреннему кодированию, как описано выше, в случае, если прогнозируемое изображение подается из блока 33 внутреннего прогнозирования в вычислительный блок 23, прогнозируемое изображение, поданное из блока 33 внутреннего прогнозирования, вычитается из кадра, поданного из буфера 22 экранной сортировки.
Кроме того, в вычислительном блоке 31 прогнозируемое изображение, вычтенное в вычислительном блоке 23, добавляется к данным, поданным из блока 30 обратного ортогонального преобразования.
С другой стороны, не-внутренний кадр, подлежащий промежуточному кодированию, подается из буфера 22 экранной сортировки в вычислительный блок 23 и блок 34 прогнозирования/компенсации движения.
Блок 34 прогнозирования/компенсации движения считывает из кадровой памяти 32 кадр декодированного изображения для опоры на нее как на опорное изображение в момент прогнозирования движения не-внутреннего кадра из буфера 22 экранной сортировки. Далее блок 34 прогнозирования/компенсации движения использует опорное изображение из кадровой памяти 32 для нахождения вектора движения, относящегося к не-внутреннему кадру буфера 22 экранной сортировки.
В дальнейшем блок 34 прогнозирования/компенсации движения генерирует прогнозируемое изображение не-внутреннего кадра, подвергая опорное изображение компенсации движения, следуя вектору движения, и подает на вычислительные блоки 23 и 31.
В вычислительном блоке 23 прогнозируемое изображение, поданное из блока 33 внутреннего прогнозирования, вычитается из не-внутреннего кадра, поданного с буфера 22 экранной сортировки, и затем выполняется кодирование тем же способом, что в случае с внутренним кадром.
Отметим, что режим внутреннего прогнозирования, то есть режим выработки блоком 22 внутреннего прогнозирования прогнозируемого изображения, подается из блока 33 внутреннего прогнозирования в блок 26 кодирования без потерь. Кроме того, вектор движения, полученный в блоке 34 прогнозирования/компенсации движения и режим прогнозирования компенсации движения, то есть режим выполнения прогнозирования компенсации движения блоком 34 прогнозирования/компенсации движения, подаются из блока 34 прогнозирования/компенсации движения в блок 26 кодирования без потерь.
В блоке 26 кодирования без потерь в дополнение к режиму внутреннего прогнозирования, вектору движения и режиму прогнозирования компенсации движения, необходимые для декодировании данные, такие как тип кадра и т.д. для каждого кадра, кодируются без потерь и включаются в заголовок кодированных данных.
Описание установки метки смены обзора блоком 12 установки метки
Далее со ссылкой на Фиг.3 будет описана установка метки смены обзора блоком 12 установки метки по Фиг.1.
Теперь допустим, что стереоизображение, подлежащее кодированию кодирующим устройством по Фиг.1, состоит из эпизодов 1, 2 и 3, как показано на Фиг.3.
Далее, в случае, если стереоизображение отображается в качестве двумерного изображения, допустим, что производитель стереоизображения управляет блоком 12 установки метки так, чтобы выбрать в качестве изображений, подлежащих отображению в качестве двумерного изображения (здесь и далее - изображение для показа), изображение для левого глаза в случае эпизода 1, изображение для правого глаза в случае эпизода 2 и изображение для левого глаза в случае эпизода 3.
В этом случае блок 12 установки метки устанавливает 0, то есть значение, задающее изображение для левого глаза в качестве изображения для показа, в качестве метки смены обзора, относящейся, например, к эпизодам 1 и 3.
Кроме того, блок 12 установки метки устанавливает 1, то есть значение, задающее изображение для правого глаза в качестве изображения для показа, в качестве метки смены обзора, относящейся, например, к эпизоду 2.
Соответственно, здесь в качестве метки смены обзора может применяться однобитовая метка.
Здесь эпизодами являются один или несколько (последовательных) (группа) кадров, и, например, за один эпизод можно принять группу кадров, начиная с кадра, следующего непосредственно за сменой эпизода, до кадра, непосредственно предшествующего следующей смене эпизода и т.п.
Отметим, что для того, чтобы сделать возможным выбор изображения для показа для каждого эпизода, в кодирующем блоке 111 по Фиг.1 в случае, если кодирование выполняется с помощью системы AVC/H.264, головной кадр эпизода кодируется как кадр IDR. То же относится и к кодирующему блоку 112.
Кроме того, при установке метки смены обзора в блоке 12 смены обзора по Фиг.1 отдельная метка смены обзора может быть установлена, например, для каждого эпизода, или отдельная метка смены обзора может быть установлена для каждого кадра.
Соответственно, установка метки смены обзора в отношении эпизода может быть выполнена путем установки одной метки смены обзора на эпизод или путем установки метки смены обзора на каждый кадр, составляющий эпизод.
Отметим, что в генерирующем блоке 13 по Фиг.1 метка смены обзора включается, например, в заголовок и т.п. системного уровня или уровня кадров мультиплексированных данных. В частности, например, метка смены обзора может быть включена в SEI (информацию дополнительного расширения), т.е., например, пользовательские данные.
Описание обработки кодирующим устройством
Обработка (проведение операции кодирования) кодирующим устройством по Фиг.1 будет описана со ссылкой на Фиг.4.
В кодирующем устройстве по Фиг.1 при управлении производителем стереоизображения блоком 12 установки метки на этапе S11 блок 12 установки метки устанавливает метку смены обзора для каждого эпизода стереоизображения, следуя командам производителя стереоизображения, и подает ее в генерирующий блок 13.
В дальнейшем, дождавшись подачи на кодирующее устройство данных изображения точки обзора для левого глаза и данных изображения точки обзора для правого глаза, то есть данных изображения стереоизображения, обработка переходит от этапа S11 к этапу S12, в котором кодирующие блоки 111 и 112 выполняют кодирование.
В частности, кодирующий блок 111 кодирует данные изображения точки обзора для левого глаза и подает полученные в результате этого кодированные данные для левого глаза в генерирующий блок 13. Кроме того, кодирующий блок 112 кодирует данные изображения точки обзора для правого глаза и подает полученные в результате этого кодированные данные для правого глаза в генерирующий блок 13.
В дальнейшем обработка переходит от этапа S12 к этапу S13, на котором генерирующий блок 13 мультиплексирует кодированные данные для левого глаза из кодирующего блока 111 и кодированные данные для правого глаза из кодирующего блока 112 для получения мультиплексированных данных. Далее генерирующий блок 13 включает метку смены обзора из блока 12 установки метки в заголовок мультиплексированных данных и выводит мультиплексированные данные.
В дальнейшем обработка переходит от этапа S13 к этапу S14, на котором кодирующее устройство определяет, наличествуют ли подлежащие кодированию данные изображения стереоизображения, и в случае, если определено, что данные изображения наличествуют, обработка возвращается на этап S12, и затем повторяется обработка на этапах S12-S14.
Здесь обработка на этапах S12-S14 выполняется, например, в приращениях эпизодов, в которых установлена метка смены обзора, и т.п.
С другой стороны, в случае, если на этапе S14 определено, что подлежащие кодированию данные изображения стереоизображения отсутствуют, кодирующее устройство завершает операцию кодирования.
Как описано выше, цифровой поток, включающий в себя мультиплексированные данные, которые выводит генерирующий блок 13, т.е. (кодированные данные, полученные из) данных изображения стереоизображения, и метку смены обзора, например, передается через передающую среду или записывается на носитель записи.
Первый вариант осуществления декодирующего устройства
Фиг.5 является блок-схемой, иллюстрирующей пример выполнения первого варианта осуществления декодирующего устройства, к которому применено настоящее изобретение.
На Фиг.5 декодирующее устройство декодирует мультиплексированные данные, которые выводит кодирующее устройство по Фиг.1.
В частности, на Фиг.5 декодирующее устройство выполнено из извлекающего блока 41, двух (более одного) декодирующих блоков 421 и 422, блока 43 преобразования изображения для стереоскопического восприятия, блока 44 выбора и декодирующего блока 45.
Извлекающий блок 41 извлекает метку смены обзора из мультиплексированных данных и подает в блок 44 выбора.
Кроме того, извлекающий блок 41 выделяет (демультиплексирует) кодированные данные для левого глаза и кодированные данные для правого глаза из мультиплексированных данных и подает кодированные данные для левого глаза в декодирующий блок 421, а кодированные данные для правого глаза в декодирующий блок 422, соответственно.
Далее извлекающий блок 41 подает кодированные данные для левого глаза и кодированные данные для правого глаза в блок 44 выбора.
Декодирующий блок 421 декодирует кодированные данные для левого глаза из извлекающего блока 41 и подает полученные в результате этого данные изображения точки обзора для левого глаза в блок 43 преобразования изображения для стереоскопического восприятия.
Блок 43 преобразования изображения для стереоскопического восприятия преобразует данные изображения точки обзора для левого глаза из декодирующего блока 421 и данные изображения точки обзора для правого глаза из декодирующего блока 422 в данные изображения стереоскопического восприятия, предназначенные для стереоскопического восприятия в формате, который поддерживается устройством для стереоскопического восприятия, и подает на непоказанное устройство для стереоскопического восприятия.
Блок 44 выбора выбирает кодированные данные для левого глаза или кодированные данные для правого глаза, поданные из извлекающего блока 41, в соответствии с меткой смены обзора, также поданной из извлекающего блока 41, в качестве кодированных данных для данных изображения для отображения двумерного изображения эпизодов или кадров и т.п., в которых установлена метка смены обзора, и подает в декодирующий блок 45.
Декодирующий блок 45 декодирует кодированные данные (кодированные данные для левого глаза или кодированные данные для правого глаза), поданные из блока 44 выбора, и подает полученные в результате этого данные изображения (данные изображения точки обзора для левого глаза или данные изображения точки обзора для правого глаза) на непоказанное устройство двумерного отображения.
Отметим, что на Фиг.5 блок 44 выбора выполнен с возможностью выбирать кодированные данные для левого глаза или кодированные данные для правого глаза, то есть данные до декодирования из извлекающего блока 41, но в дополнение к этому в блоке 44 выбора могут выбираться, например, данные после декодирования, например, данные изображения точки обзора для левого глаза, полученные в декодирующем блоке 421, или данные изображения точки обзора для правого глаза, полученные в декодирующем блоке 422. В этом случае декодирующее устройство по Фиг.5 может быть выполнено без декодирующего блока 45. То же относится к описанной ниже Фиг.16.
Пример выполнения декодирующего блока 421
Фиг.6 является блок-схемой, иллюстрирующей пример выполнения декодирующего блока 421 по Фиг.5.
Отметим, что декодирующие блоки 422 и 45 по Фиг.5 выполнены таким же образом, как и декодирующий блок 421.
Декодирующий блок 421 является, например, устройством декодирования визуальной информации для декодирования кодированных данных, полученных в устройстве кодирования визуальной информации, которое осуществляет сжатие изображения путем ортогонального преобразования, такого как дискретное косинусное преобразование, преобразование Карунена-Лоэве и т.п., и компенсацию движения.
Кодированные данные, подлежащие декодированию, подаются в накапливающий буфер 51. Накапливающий буфер 51 временно сохраняет поданные в него кодированные данные и подает их в блок 52 декодирования данных, кодированных без потерь.
Блок 52 декодирования данных, кодированных без потерь, подвергает кодированные данные из накапливающего буфера 51 обработке, такой как декодирование с переменной длиной, арифметическое декодирование и т.п., на основе формата этих кодированных данных, тем самым декодируя данные, необходимые для декодирования изображения, такие как порог квантования, режим внутреннего прогнозирования, вектор движения, режим прогнозирования компенсации движения, включенные в заголовок кодированных данных, дополнительно - тип кадра для каждого кадра и т.д.
Порог квантования, полученный в блоке 52 декодирования данных, кодированных без потерь, подается в блок 53 обратного квантования, а режим внутреннего прогнозирования подается в блок 57 внутреннего прогнозирования. Кроме того, вектор движения (ВД), режим прогнозирования компенсации движения и тип кадра, полученные в блоке 52 декодирования данных, кодированных без потерь, подаются в блок 58 прогнозирования/компенсации движения.
Блок 53 обратного квантования, блок 54 обратного ортогонального преобразования, вычислительный блок 55, кадровая память 56, блок 57 внутреннего прогнозирования и блок 58 прогнозирования/компенсации движения выполняют ту же обработку, что и блок 29 обратного квантования, блок 30 обратного ортогонального преобразования, вычислительный блок 31, кадровая память 32, блок 33 внутреннего прогнозирования и блок 34 прогнозирования/компенсации движения по Фиг.2 соответственно, тем самым изображение декодируется (получается декодированное изображение).
В частности, блок 53 обратного квантования обратно квантует порог квантования из блока 52 декодирования данных, кодированных без потерь, в коэффициент преобразования, и подает его в блок 54 обратного ортогонального преобразования.
Блок 54 обратного ортогонального преобразования подвергает коэффициент преобразования из блока 53 обратного квантования обратному ортогональному преобразованию и подает в вычислительный блок 55.
Из данных, поданных из блока 54 обратного ортогонального преобразования, для данных внутреннего кадра вычислительный блок 55 получает декодированное изображение внутреннего кадра путем прибавления, при необходимости, значения пиксела прогнозируемого изображения, поданного из блока 57 внутреннего прогнозирования. Кроме того, из данных, поданных из блока 54 обратного ортогонального преобразования, для данных не-внутреннего кадра вычислительный блок 55 получает декодированное изображение не-внутреннего кадра путем прибавления при необходимости значения пиксела прогнозируемого изображения, поданного из блока 58 прогнозирования/компенсации движения.
Декодированное изображение, полученное в вычислительном блоке 55, при необходимости подается в кадровую память 56, а также подается в буфер 59 экранной сортировки в случае необходимости.
Кадровая память 56 временно сохраняет декодированное изображение, поданное из вычислительного блока 55, и подает это декодированное изображение в блок 57 внутреннего прогнозирования и в блок 34 прогнозирования/компенсации движения в качестве опорного изображения, используемого для выработки прогнозируемого изображения.
В случае, когда данные, подлежащие обработке в вычислительном блоке 55, являются данными внутреннего кадра, блок 57 внутреннего прогнозирования использует декодированное изображение, служащее в качестве опорного изображения, из кадровой памяти 56 для генерирования, как необходимо, прогнозируемого изображения этого внутреннего кадра и подает его в вычислительный блок 55.
В частности, блок 57 внутреннего прогнозирования вырабатывает прогнозируемое изображения из уже хранящихся в кадровой памяти 56 пикселов, находящихся вблизи фрагмента (блока), служащего в качестве объекта обработки в вычислительном блоке 55, в соответствии с режимом внутреннего прогнозирования, поданного от блока 52 декодирования данных, кодированных без потерь, и подает его в вычислительный блок 55.
С другой стороны, в случае, когда данные, подлежащие обработке в вычислительном блоке 55, являются данными не-внутреннего кадра, блок 58 прогнозирования/компенсации движения вырабатывает прогнозируемое изображение этого не-внутреннего кадра и подает его в вычислительный блок 55.
В частности, блок 58 прогнозирования/компенсации движения считывает кадр декодированного изображения, используемого для выработки прогнозируемого изображения из кадровой памяти 56, в качестве опорного изображения в соответствии с типом кадра и т.п. из блока 52 декодирования данных, кодированных без потерь. Далее, блок 58 прогнозирования/компенсации движения подвергает опорное изображение из кадровой памяти 56 компенсации движения в соответствии с вектором движения и режимом прогнозирования компенсации движения из блока 52 декодирования данных, кодированных без потерь, тем самым вырабатывая прогнозируемое изображение, и подает его в вычислительный блок 55.
В вычислительном блоке 55, как описано выше, значения (пиксела) кадра декодируются путем прибавления прогнозируемого изображения, поданного из блока 57 внутреннего прогнозирования или блока 58 прогнозирования/компенсации движения, к данным, поданным из блока 54 обратного ортогонального преобразования.
Буфер 59 сортировки изображения временно сохраняет и считывает кадр (декодированное изображение) из вычислительного блока 55, тем самым сортируя строку кадров в исходную строку, и подает его на блок 60 цифроаналогового преобразования.
В случае, если нужно вывести декодированное изображение из буфера 59 сортировки изображения, используя аналоговые сигналы, блок 60 цифроаналогового преобразования подвергает это декодированное изображение цифроаналоговому преобразованию и выводит его.
Обработка декодирующим устройством в случае отображения двумерного изображения
Далее со ссылкой на Фиг.7 будет описана обработка декодирующим устройством по Фиг.5 в случае, если стереоизображение отображается в качестве двумерного изображения.
Отметим, что на Фиг.7 I обозначает 1-кадр (внутренний), а P обозначает P-кадр (прогнозируемый).
Часть А Фиг.7 иллюстрирует кодированные данные для левого глаза и кодированные данные для правого глаза, которые выводит извлекающий блок 41 по Фиг.5.
Для кодированных данных для левого глаза головной кадр эпизода является I-кадром (IDR-кадром), а другие кадры - P-кадрами. То же относится к кодированным данным для правого глаза.
Часть В Фиг.7 иллюстрирует мультиплексированные данные в состоянии, в котором подвергаются мультиплексированию кодированные данные для левого и кодированные данные для правого глаза по части А Фиг.7.
В части В Фиг.7 кодированные данные для левого глаза и кодированные данные для правого глаза мультиплексируются для каждого эпизода. Далее в части В Фиг.7 метка смены обзора, установленная для эпизода, включается в мультиплексированные данные. В части В Фиг.7 для эпизода 1 устанавливается метка смены обзора со значением 0, а для эпизода 2 устанавливается метка смены обзора со значением 1.
Часть С Фиг.7 иллюстрирует картинку, подлежащую отображению в качестве двумерного изображения.
Для эпизода 1 устанавливается метка смены обзора со значением 0, и в этом случае блок 44 выбора по Фиг.5 выбирает кодированные данные для левого глаза из кодированных данных для левого глаза или кодированных данных для правого глаза, поданных из извлекающего блока 41, и подает их в декодирующий блок 45.
Следовательно, в этом случае относящееся к эпизоду 1 изображение для левого глаза, соответствующее данным изображения, полученным путем декодирования кодированных данных для левого глаза, отображается устройством двумерного отображения.
С другой стороны, для эпизода 2 устанавливается метка смены обзора со значением 1, и в этом случае блок 44 выбора по Фиг.5 выбирает кодированные данные для правого глаза из кодированных данных для левого глаза или кодированных данных для правого глаза, поданных из извлекающего блока 41, и подает их в декодирующий блок 45.
Следовательно, в этом случае относящееся к эпизоду 2 изображение для правого глаза, соответствующее данным изображения, полученным путем декодирования кодированных данных для правого глаза, отображается устройством двумерного отображения.
Описание обработки декодирующим устройством
Обработка (проведение операции декодирования) декодирующим устройством по Фиг.5 будет описана со ссылкой на Фиг.8А и 8В.
Фиг.8А является блок-схемой алгоритма для описания проведения операции декодирования декодирующим устройством по Фиг.5 в случае, если выполняется отображение изображения для стереоскопического восприятия.
В случае, если выполняется отображение изображения для стереоскопического восприятия, на этапе S21 извлекающий блок 41 разделяет кодированные данные для левого глаза и кодированные данные для правого глаза, содержащиеся в поданных в него мультиплексированных данных. Далее извлекающий блок 41 подает кодированные данные для левого глаза в декодирующий блок 421, а кодированные данные для правого глаза в декодирующий блок 422 соответственно, и обработка переходит от этапа S21 к этапу S22.
На этапе S22 декодируются все кодированные данные, мультиплексированные в мультиплексированные данные, и обработка переходит к этапу S23.
В частности, декодирующий блок 421 декодирует кодированные данные для левого глаза, полученные из извлекающего блока 41, и подает полученные в результате этого данные изображения точки обзора для левого глаза в блок 43 преобразования изображения для стереоскопического восприятия. Далее декодирующий блок 422 декодирует кодированные данные для правого глаза, полученные из извлекающего блока 41, и подает полученные в результате этого данные изображения точки обзора для правого глаза в блок 43 преобразования изображения для стереоскопического восприятия.
На этапе S23 блок 43 преобразования изображения для стереоскопического восприятия преобразует данные изображения точки обзора для левого глаза из декодирующего блока 421 и данные изображения точки обзора для правого глаза из декодирующего блока 422 в данные изображения стереоскопического восприятия, подает на непоказанное устройство для стереоскопического восприятия, и обработка переходит к этапу S24.
На этапе S24 извлекающий блок 41 определяет, наличествуют ли необработанные мультиплексированные данные, и если определено, что необработанные мультиплексированные данные есть, то обработка возвращается к этапу S21 и далее повторяются этапы S21-S24.
Кроме того, если определено, что необработанных мультиплексированных данных нет, то декодирующее устройство завершает операцию декодирования.
Фиг.8В является блок-схемой алгоритма для описания проведения операции декодирования декодирующим устройством по Фиг.5 в случае, если выполняется отображение двумерного изображения.
В случае, если выполняется отображение двумерного изображения, на этапе S31 извлекающий блок 41 извлекает метку смены обзора из поданных в него мультиплексированных данных, подает ее в блок 44 выбора, и обработка переходит к этапу S32.
На этапе S32 извлекающий блок 41 разделяет кодированные данные для левого глаза и кодированные данные для правого глаза, содержащиеся в мультиплексированных данных, подает их в блок 44 выбора, и обработка переходит к этапу S33.
На этапе S33 блок 44 выбора определяет, 0 или 1 представляет собой метка смены обзора из извлекающего блока 41.
В случае, если на этапе S33 определено, что метка смены обзора представляет собой 0, т.е. в случае, если в качестве данных изображения для отображения двумерного изображения заданы данные изображения для левого глаза, обработка переходит к этапу S34, на котором блок 44 выбора выбирает из кодированных данных для левого глаза и кодированных данных для правого глаза из извлекающего блока 41 кодированные данные для левого глаза в качестве выбранных кодированных данных, подает их в декодирующий блок 45, и обработка переходит к этапу S36.
В этом случае на этапе S36 декодирующий блок 45 декодирует кодированные данные для левого глаза (выбранные кодированные данные), поданные из блока 44 выбора, подает полученные в результате данные изображения точки обзора для левого глаза на непоказанное устройство двумерного отображения, и обработка переходит к этапу S37.
Соответственно, в этом случае изображение для левого глаза, соответствующее данным изображения точки обзора для левого глаза, отображается устройством двумерного отображения в качестве двумерного изображения.
С другой стороны, в случае, если на этапе S33 определено, что метка смены обзора представляет собой 1, т.е. в случае, если в качестве данных изображения для отображения двумерного изображения заданы данные изображения для правого глаза, обработка переходит к этапу S35, на котором блок 44 выбора выбирает из кодированных данных для левого глаза и кодированных данных для правого глаза из извлекающего блока 41 кодированные данные для правого глаза в качестве выбранных кодированных данных, подает их в декодирующий блок 45, и обработка переходит к этапу S36.
В этом случае на этапе S36 декодирующий блок 45 декодирует кодированные данные для правого глаза (выбранные кодированные данные), поданные из блока 44 выбора, подает полученные в результате данные изображения точки обзора для правого глаза на непоказанное устройство двумерного отображения, и обработка переходит к этапу S37.
Соответственно, в этом случае изображение для правого глаза, соответствующее данным изображения точки обзора для правого глаза, отображается устройством двумерного отображения в качестве двумерного изображения.
На этапе S37 извлекающий блок 41 определяет, наличествуют ли необработанные мультиплексированные данные, и в случае, если определено, что необработанные мультиплексированные данные есть, то обработка возвращается к этапу S31 и этапы S31-S37 повторяются.
Здесь обработка в этапах S31-S37 выполняется, например, в приращениях эпизодов, в которых установлена метка смены обзора и т.п.
С другой стороны, если на этапе S37 определено, что необработанных мультиплексированных данных нет, то декодирующее устройство завершает операцию декодирования.
Как описано выше, на кодирующем устройстве по Фиг.1 вырабатываются мультиплексированные данные, включающие в себя данные изображения точки обзора для левого глаза и данные изображения точки обзора для правого глаза, то есть две точки обзора данных изображения, и метку смены обзора. В дальнейшем на декодирующем устройстве по Фиг.5 из этих мультиплексированных данных извлекается метка смены обзора, а из данных изображения точки обзора для левого глаза и данных изображения точки обзора для правого глаза выбираются данные изображения, используемые для отображения двумерного изображения, в приращениях эпизодов и т.п., в соответствии с их меткой смены обзора.
Соответственно, данные изображения, используемые для отображения двумерного изображения, могут быть заданы меткой смены обзора в приращениях эпизодов и т.п., и, следовательно, в случае, если контент стереоизображения отображается в виде двумерного изображения как изображение для левого глаза или изображение для правого глаза, и изображение согласно намерению производителя контента может быть отображено в приращениях эпизодов или подобным образом.
Отметим, что метка смены обзора является меткой, задающей данные изображения, которые нужно использовать для отображения двумерного изображения, но в декодирующем устройстве по Фиг.5 изображение, подлежащее отображению в качестве двумерного изображения, меняется на изображение для левого глаза или изображение для правого глаза в соответствии с меткой смены обзора. Следовательно, в декодирующем устройстве по Фиг.5 метка смены обзора служит меткой для смены изображения, подлежащего отображению в качестве двумерного изображения.
Второй вариант осуществления
Второй вариант осуществления кодирующего устройства
Фиг.9 является блок-схемой, иллюстрирующей пример выполнения второго варианта осуществления кодирующего устройства, к которому применено настоящее изобретение.
Отметим, что часть, соответствующая случаю по Фиг.1, на чертеже обозначена той же ссылочной позицией, и далее ее описание будет в случае необходимости опущено.
Кодирующее устройство по Фиг.9 сходно со случаем по Фиг.1 в том, что кодирующее устройство включает в себя кодирующие блоки 111 и 112, блок 12 установки метки и генерирующий блок 13, и отличается от случая по Фиг.1 тем, что кодирующее устройство дополнительно включает в себя переключающий блок 71.
Данные изображения точки обзора для левого глаза и данные изображения точки обзора для правого глаза, относящиеся к стереоизображению, подаются в переключающий блок 71.
Кроме того, метка смены обзора подается из блока 12 установки метки в переключающий блок 71.
Переключающий блок 71 переключает данные изображения точки обзора для левого глаза или данные изображения точки обзора для правого глаза, которые являются двумя точками обзора данных изображения, на другую точку обзора данных изображения в соответствии с меткой смены обзора из блока 12 установки метки, тем самым преобразуя две точки обзора данных изображения в один фрагмент основных данных изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и один фрагмент дополнительных данных изображения, которые не используются для отображения двумерного изображения.
Отметим, что переключающий блок 71 подает основные данные изображения в кодирующий блок 111, а дополнительные данные изображения - в кодирующий блок 112.
Следовательно, на Фиг.9 кодирующий блок 111 вместо данных изображения точки обзора для левого глаза кодирует основные данные изображения из переключающего блока 71 и подает полученные в результате этого кодированные данные (здесь и далее «основные кодированные данные») в генерирующий блок 13.
Кроме того, кодирующий блок 112 вместо данных изображения точки обзора для правого глаза кодирует дополнительные данные изображения из переключающего блока 71 и подает полученные в результате этого кодированные данные (здесь и далее «дополнительные кодированные данные») в генерирующий блок 13.
В дальнейшем генерирующий блок 13 мультиплексирует основные кодированные данные из кодирующего блока 111 и дополнительные кодированные данные из кодирующего блока 112 для получения мультиплексированных данных и включает метку смены обзора из блока 12 установки метки в заголовок и т.п. этих мультиплексированных данных.
Таким образом, на Фиг.9 мультиплексированные данные, полученные в генерирующем блоке 13, включают в себя основные данные изображения, дополнительные данные изображения и метку смены обзора.
Описание обработки переключающим блоком 71
Обработка переключающим блоком 71 по Фиг.9 будет описана со ссылкой на Фиг.10.
Теперь допустим, что стереоизображение, подлежащее кодированию в кодирующем устройстве по Фиг.9, состоит из эпизодов 1, 2 и 3, как показано на Фиг.3.
Далее, в случае, если стереоизображение отображается в качестве двумерного изображения, допустим, что производитель стереоизображения управляет блоком 12 установки метки так, чтобы выбрать в качестве изображений, подлежащих отображению в качестве двумерного изображения (изображения для показа), изображение для левого глаза относительно эпизода 1, изображение для правого глаза относительно эпизода 2 и изображение для левого глаза относительно эпизода 3.
В этом случае блок 12 установки метки устанавливает 0, то есть значение, задающее изображение для левого глаза в качестве изображения для показа, в качестве метки смены обзора, относящейся, например, к эпизодам 1 и 3.
Кроме того, блок 12 установки метки устанавливает 1, то есть значение, задающее изображение для правого глаза в качестве изображения для показа, в качестве метки смены обзора, относящейся, например, к эпизоду 2.
Приведенное выше описание повторяет описание по Фиг.3.
Переключающий блок 71, как описано выше, сменяет данные изображения точки обзора для левого глаза или данные изображения точки обзора для правого глаза, которые являются двумя точками обзора данных изображения, другой точкой обзора данных изображения в соответствии с меткой смены обзора, тем самым преобразуя две точки обзора данных изображения в один фрагмент основных данных изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и один фрагмент дополнительных данных изображения, которые не используются для отображения двумерного изображения.
Таким образом, из эпизодов с данными изображения точки обзора для левого глаза, которая является одной точкой обзора данных изображения для левого глаза, и данными изображения точки обзора для правого глаза переключающий блок 71 сменяет тот эпизод, для которого метка смены обзора не задает данные изображения точки обзора для левого глаза, т.е. относительно эпизода, для которого заданы данные изображения точки обзора для правого глаза, данные изображения точки обзора для левого глаза для этого эпизода сменяются данными изображения точки обзора для правого глаза (взаимно меняет данные изображения точки обзора для левого глаза данными изображения точки обзора для правого глаза).
На Фиг.10 из эпизодов 1-3 данных изображения точки обзора для левого глаза для эпизода 2 меткой смены обзора заданы данные изображения точки обзора для правого глаза, и, соответственно, из эпизодов 1-3 данных изображения точки обзора для левого глаза данные эпизода 2 сменяются данными эпизода 2 данных точки обзора для левого глаза, и данные изображения после их смены принимаются в качестве основных данных изображения.
Затем из эпизодов 1-3 данных изображения точки обзора для правого глаза данные эпизода 2 сменяются данными эпизода 2 данных изображения точки обзора для левого глаза, и данные изображения после их смены принимаются в качестве дополнительных данных изображения.
В этом случае для основных данных изображения данные эпизодов 1 и 3 являются данными изображения точки обзора для левого глаза, а данные эпизода 2 являются данными изображения точки обзора для правого глаза. Основные данные изображения являются данными, заданными меткой смены обзора в качестве данных изображения, используемых для отображения в качестве двумерного изображения.
Следовательно, в случае, если стереоизображение отображается в качестве двумерного изображения, отображается изображение, соответствующее основным данным изображения, тем самым изображение согласно намерению производителя контента может быть отображено в приращениях эпизодов и т.п.
С другой стороны, для дополнительных данных изображения данные эпизодов 1 и 3 являются данными изображения точки обзора для правого глаза, а данные эпизода 2 являются данными изображения точки обзора для левого глаза.
Дополнительные данные изображения не используются для отображения двумерного изображения, но используются наряду с основными данными изображения в момент отображения изображения для стереоскопического восприятия (стереоизображения).
Описание обработки кодирующим устройством
Обработка (выполнение операции кодирования) кодирующим устройством по Фиг.9 будет описана со ссылкой на Фиг.11.
В кодирующем устройстве по Фиг.9 при управлении производителем стереоизображения блоком 12 установки метки на этапе S51 блок 12 установки метки устанавливает метку смены обзора относительно каждого эпизода стереоизображения, следуя командам производителя стереоизображения, и подает в генерирующий блок 13 и переключающий блок 71.
В дальнейшем, дождавшись подачи на кодирующее устройство данных изображения точки обзора для левого глаза и данных изображения точки обзора для правого глаза, то есть данных изображения стереоизображения, обработка переходит от этапа S51 к этапу S52, на котором переключающий блок 71 сменяет данные изображения точки обзора для левого глаза данными изображения точки обзора для правого глаза в соответствии с меткой смены обзора из блока 12 установки метки, как описано на Фиг.10, тем самым преобразуя данные изображения точки обзора для левого глаза и данные изображения точки обзора для правого глаза в один фрагмент основных данных изображения и один фрагмент дополнительных данных изображения (генерируя основные данные изображения и дополнительные данные изображения из данных изображения точки обзора для левого глаза и данных изображения для правого глаза).
Отметим, что в приведенном описании данные изображения точки обзора для левого глаза сменяются данными изображения для правого глаза, тем самым преобразуя данные изображения точки обзора для левого глаза и изображение для правого глаза в основные данные изображения и дополнительные данные изображения, но, напротив, данные могут быть организованы так, что данные изображения точки обзора для правого глаза сменяются данными изображения для левого глаза, тем самым преобразуя данные изображения точки обзора для левого глаза и изображение для правого глаза в основные данные изображения и дополнительные данные изображения.
Кроме того, взаимная замена данных изображения точки обзора для левого глаза и данных изображения для правого глаза может быть выполнена по тем же эпизодам, например, что и эпизоды, в которых установлена метка смены обзора.
После обработки по этапу S52 переключающий блок 71 подает основные данные изображения в кодирующий блок 111 и, кроме того, дополнительные данные изображения в кодирующий блок 112.
В дальнейшем обработка последовательно переходит к этапам S53-S55, в которых выполняется та же обработка, что в случае с этапами S12-S14 по Фиг.4.
В частности, на этапе S53 кодирующий блок 111 кодирует основные данные изображения и подает полученные в результате этого основные кодированные данные в генерирующий блок 13. Далее на этапе S53 кодирующий блок 112 кодирует дополнительные данные изображения, подает полученные в результате этого дополнительные кодированные данные в генерирующий блок 13, и обработка переходит к этапу S54.
На этапе S54 генерирующий блок 13 мультиплексирует основные кодированные данные из кодирующего блока 111 и дополнительные кодированные данные из кодирующего блока 112 для получения мультиплексированных данных и выводит мультиплексированные данные.
В дальнейшем обработка переходит от этапа S54 к этапу S55, на котором кодирующее устройство определяет, наличествуют ли подлежащие кодированию данные стереоизображения, и в случае, если определено, что подлежащие кодированию данные стереоизображения есть, обработка возвращается на этап S52, и далее повторяются этапы S52-S55.
С другой стороны, в случае, если на этапе S55 определено, что подлежащих кодированию данных стереоизображения нет, кодирующее устройство завершает проведение операции кодирования.
Как описано выше, цифровой поток, включающий в себя мультиплексированные данные, которые выводит генерирующий блок 13, т.е. основные данные (кодированные данные, кодированные из основных данных изображения и дополнительные данные (кодированные данные, кодированные из дополнительных данных) изображения, преобразованные (преобразованных) из данных изображения стереоизображения, и метку смены обзора, передается через среду передачи данных или, например, записывается на носитель записи.
Второй вариант осуществления декодирующего устройства
Фиг.12 является блок-схемой, иллюстрирующей пример выполнения второго варианта осуществления декодирующего устройства, к которому применено настоящее изобретение.
Отметим, что часть, соответствующая случаю по Фиг.5, на чертеже обозначена той же ссылочной позицией, и далее ее описание будет в случае необходимости опущено.
Декодирующее устройство по Фиг.12 сходно со случаем по Фиг.5 в том, что декодирующее устройство включает в себя извлекающий блок 41, декодирующие блоки 421 и 422 и блок 43 преобразования изображения для стереоскопического восприятия. Однако декодирующее устройство по Фиг.12 отличается от случая по Фиг.5 тем, что в нем не имеется ни блока 44 выбора, ни декодирующего блока 45, и тем, что имеется новый восстанавливающий блок 81.
На Фиг.12 декодирующее устройство декодирует мультиплексированные данные, которые выводит кодирующее устройство по Фиг.9.
Здесь мультиплексированные данные, которые выводит кодирующее устройство по Фиг.9, вместо кодированных данных для левого глаза и кодированных данных для правого глаза включают в себя основные кодированные данные и дополнительные кодированные данные.
Следовательно, в декодирующем устройстве по Фиг.12 извлекающий блок 41 разделяет основные кодированные данные и дополнительные кодированные данные, содержащиеся в мультиплексированных данных. В дальнейшем извлекающий блок 41 подает основные кодированные данные в декодирующий блок 421, а дополнительные кодированные данные в декодирующий блок 422, соответственно.
Декодирующий блок 421 вместо кодированных данных для левого глаза декодирует основные кодированные данные из извлекающего блока 41. Кроме того, декодирующий блок 422 вместо кодированных данных для правого глаза декодирует дополнительные кодированные данные из извлекающего блока 41.
Основные данные изображения, полученные декодирующим блоком 421, декодирующим основные кодированные данные, и дополнительные данные изображения, полученные декодирующим блоком 422, декодирующим дополнительные кодированные данные, подаются в восстанавливающий блок 81.
Здесь в случае, если стереоизображение отображается в качестве двумерного изображения, основные данные изображения, полученные декодирующим блоком 421, декодирующим основные кодированные данные, подается на непоказанное устройство двумерного отображения. В дальнейшем изображение, соответствующее основным данным изображения, из декодирующего блока 421 отображается на устройстве двумерного отображения.
Как описано выше, основные данные изображения подаются на восстанавливающий блок 81 из декодирующего блока 421, кроме того, дополнительные данные изображения подаются из декодирующего блока 422 и дополнительно из извлекающего блока 41 подается метка переключения обзора, извлеченная из мультиплексированных данных.
Восстанавливающий блок 81 переключает основные данные изображения из декодирующего блока 421 на дополнительные данные изображения из декодирующего блока 422 в соответствии с меткой смены обзора из извлекающего блока 41, тем самым преобразуя основные данные изображения и дополнительные данные изображения в исходные данные изображения для левого глаза и данные изображения для правого глаза.
В частности, восстанавливающий блок 81 выполняет переключение, обратное переключению в переключающем блоке 71 по Фиг.9, с основными данными изображения и дополнительными данными изображения в качестве объектов, в соответствии с меткой смены обзора из извлекающего блока 41, тем самым восстанавливая данные изображения для левого глаза и данные изображения для правого глаза.
В дальнейшем восстанавливающий блок 81 подает данные изображения для левого глаза и данные изображения для правого глаза в блок 43 преобразования изображения для стереоскопического восприятия.
Описание обработки декодирующим устройством
Обработка (проведение операции декодирования) декодирующим устройством по Фиг.12 будет описана со ссылкой на Фиг.13А и Фиг.13В.
Фиг.13А является блок-схемой алгоритма для описания проведения операции декодирования декодирующим устройством по Фиг.12 в случае, если выполняется отображение изображения для стереоскопического восприятия.
В случае, если выполняется отображение изображения для стереоскопического восприятия, на этапе S61 извлекающий блок 41 извлекает метку смены обзора из поданных в него мультиплексированных данных, подает в восстанавливающий блок 81, и обработка переходит к этапу S62.
На этапе S62 извлекающий блок 41 разделяет основные кодированные данные и дополнительные кодированные данные, содержащиеся в мультиплексированных данных, подает основные кодированные данные в декодирующий блок 421, а дополнительные кодированные данные в декодирующий блок 422, соответственно, и обработка переходит к этапу S63.
На этапе S63 декодируются все кодированные данные, мультиплексированные в мультиплексированные данные, и обработка переходит к этапу S64.
В частности, декодирующий блок 421 декодирует основные кодированные данные из извлекающего блока 41 и подает полученные в результате этого основные данные изображения в восстанавливающий блок 81. Далее декодирующий блок 422 декодирует дополнительные кодированные данные из извлекающего блока 41 и подает полученные в результате этого дополнительные данные изображения в восстанавливающий блок 81.
На этапе S64 восстанавливающий блок 81 выполняет смену, обратную смене переключающим блоком 71 по Фиг.9, в отношении основных данных изображения и дополнительных данных изображения в качестве объектов в соответствии с меткой смены обзора из извлекающего блока 41, тем самым восстанавливая данные изображения для левого глаза и данные изображения для правого глаза.
В дальнейшем восстанавливающий блок 81 подает данные изображения для левого глаза и данные изображения для правого глаза в блок 43 преобразования изображения для стереоскопического восприятия.
В дальнейшем обработка последовательно переходит от этапа S64 к этапам S65 и S66, в которых выполняется такая же обработка, как в случае с этапами S23 и S24, соответственно.
В частности, на этапе S65 блок 43 преобразования изображения для стереоскопического восприятия преобразует данные изображения точки обзора для левого глаза и данные изображения точки обзора для правого глаза с восстанавливающего блока 81 в данные изображения стереоскопического восприятия, подает на не показанное устройство для стереоскопического восприятия, и обработка переходит к этапу S66.
На этапе S66 извлекающий блок 41 определяет, наличествуют ли необработанные мультиплексированные данные, и если определено, что необработанные мультиплексированные данные есть, то обработка возвращается к этапу S61 и далее повторяются этапы S61-S66.
Кроме того, если на этапе S66 определено, что необработанных мультиплексированных данных нет, то декодирующее устройство завершает операцию декодирования.
Фиг.13В является блок-схемой алгоритма для описания проведения операции декодирования декодирующим устройством по Фиг.12 в случае, если выполняется отображение двумерного изображения.
В случае, если выполняется отображение двумерного изображения, на этапе S71 извлекающий блок 41 отделяет основные кодированные данные от поданных на него мультиплексированных данных, подает их в декодирующий блок 421, и обработка переходит к этапу S72.
На этапе S72 декодирующий блок 421 декодирует основные кодированные данные, поданные из извлекающего блока 41, и подает полученные в результате этого основные данные изображения на непоказанное устройство двумерного отображения.
Таким образом, изображение, соответствующее основным данным изображения, отображается в качестве двумерного изображения в устройстве двумерного отображения.
В дальнейшем обработка переходит от этапа S72 к этапу S73, на котором извлекающий блок 41 определяет, наличествуют ли необработанные мультиплексированные данные, и в случае, если определено, что необработанные мультиплексированные данные есть, обработка возвращается к этапу S71, и затем повторяются этапы S71-S73.
С другой стороны, в случае, если на этапе S73 определено, что необработанных мультиплексированных данных нет, декодирующее устройство завершает проведение операции декодирования.
Как описано выше, в кодирующем устройстве по Фиг.9 данные изображения для левого глаза или данные изображения для правого глаза сменяются на другие данные в соответствии с меткой смены обзора из блока 12 установки метки, задающей данные изображения, используемые для отображения двумерного изображения, тем самым данные изображения для левого глаза и данные изображения для правого глаза преобразуются в основные данные изображения и дополнительные данные изображения, и вырабатываются мультиплексированные данные, включающие основные данные изображения, дополнительные данные изображения и метку смены обзора.
Таким образом, на декодирующем устройстве по Фиг.12 в случае, если контент стереоизображения отображается в качестве двумерного изображения на основе изображения для левого глаза и изображения для правого глаза, изображение согласно намерению производителя контента может быть отображено в приращениях эпизодов и т.п. путем отображения изображения, соответствующего основным данным изображения.
Кроме того, в декодирующем устройстве по Фиг.12 из этих мультиплексированных данных извлекается метка смены обзора, и в соответствии с этой меткой смены обзора основные данные изображения и дополнительные данные изображения восстанавливаются до исходных данных изображения точки обзора для левого глаза и данных изображения точки обзора для правого глаза.
Таким образом, стереоизображение может быть отображено в устройстве для стереоскопического восприятия.
Отметим, что метка смены обзора является меткой, задающей данные изображения, используемые для отображения двумерного изображения, но в декодирующем устройстве по Фиг.12 данные изображения точки обзора для левого глаза и данные изображения точки обзора для правого глаза выделяются из основных данных изображения и дополнительных данных изображения в соответствии с меткой смены обзора, соответственно. Таким образом, в декодирующем устройстве по Фиг.12 метка смены обзора служит меткой, задающей для основных и дополнительных данных изображения данные изображения точки обзора для левого глаза и данные изображения точки обзора для правого глаза, соответственно.
Кроме того, в кодирующем устройстве по Фиг.9 данные изображения точки обзора для левого глаза и данные изображения точки обзора для правого глаза, то есть данные изображения стереоизображения преобразуются в основные и дополнительные данные изображения, и затем эти основные и дополнительные данные изображения кодируются по отдельности.
Таким образом, относительно целостности основных данных изображения кодирование может быть выполнено путем применения таких параметров кодирования, чтобы подавить ухудшение качества изображения декодированного изображения (параметр квантования, система статистического кодирования и т.д.).
В частности, в случае кодирования данных изображения точки обзора для каждого из глаз, даже если параметры кодирования для подавления ухудшения качества изображения декодированного изображения применяются для данных изображения точки обзора для левого глаза или данных изображения точки обзора для правого глаза, ухудшение качества изображения целого изображения, подлежащего отображению в качестве двумерного изображения, необязательно подавляется на декодирующем устройстве.
С другой стороны, в кодирующем устройстве по Фиг.9, чтобы кодировать как основные, так и дополнительные данные изображения, параметры кодирования для подавления ухудшения качества изображения декодированного изображения применяются для кодирования основных данных изображения, используемых для отображения двумерного изображения, тем самым в декодирующем устройстве может быть подавлено ухудшение качества изображения целого изображения, подлежащего отображению в качестве двумерного изображения.
Как описано выше, первым и вторым вариантами осуществления в качестве объектов кодирования принимаются данные изображения стереоизображения, состоящие из данных изображения точки обзора для левого глаза и данных изображения точки обзора для правого глаза, то есть две точки обзора данных изображения, но в качестве объекта кодирования могут приняты N точек обзора (больше двух) данных изображения.
Следовательно, далее будут описаны варианты осуществления, в которых в качестве объекта кодирования принимается N (больше двух) точек обзора данных изображения.
Третий вариант осуществления
Третий вариант осуществления кодирующего устройства
Фиг.14 является блок-схемой, иллюстрирующей пример выполнения третьего варианта осуществления кодирующего устройства, к которому применено настоящее изобретение.
Отметим, что на Фиг.14 часть, соответствующая случаю по Фиг.1, обозначена той же ссылочной позицией, и далее ее описание будет в случае необходимости опущено.
Кодирующее устройство по Фиг.14 выполнено тем же способом, что в случае по Фиг.1, за исключением того, что вместо двух кодирующих блоков 111 и 112 имеются N кодирующих блоков 111, 112, …, 11n.
На Фиг.14 кодирующее устройство кодирует данные изображения стереоскопического восприятия, состоящие из N (трех или более) точек обзора данных изображения (далее также называемых данными изображения точки обзора).
Другими словами, данные изображения n-й точки обзора из данных изображения в изображении для стереоскопического восприятия, то есть данные изображения n-й точки обзора, подаются в кодирующий блок 11n.
Кодирующий блок 11n кодирует данные изображения n-й точки обзора, поданные в него в соответствии с заранее заданной системой кодирования, например, такой как MPEG2, системой AVC/H.264 и т.п., и подает полученные в результате этого кодированные данные (далее также «кодированные данные n-й точки обзора») в генерирующий блок 13.
Блок 12 установки метки устанавливает метку смены обзора, то есть метку, задающую данные изображения, используемые для отображения двумерного изображения, из N точек обзора данных изображения в изображении для стереоскопического восприятия, например, в ответ на команды пользователя, такого как производитель изображения для стереоскопического восприятия, и подает в генерирующий блок 13.
Отметим, что в первом и втором вариантах осуществления в качестве метки смены обзора, как описано выше, может применяться однобитовая метка, но в третьем варианте осуществления (и описанном далее четвертом варианте осуществления) в качестве метки смены обзора может применяться метка с числом битов, равным log2N или большим.
Теперь в случае, если данные изображения, используемые для отображения двумерного изображения, являются данными изображения n-й точки обзора, допустим, что устанавливается значение метки смены обзора, например, n-1. Отметим, что в случае, если к камере, которой были сняты данные изображения n-й точки обзора, присоединен идентификационный номер этой камеры, то в качестве значения метки смены обзора, задающей данные изображения n-й точки обзора в качестве данных изображения, используемых для отображения двумерного изображения, может применяться этот номер камеры, которой были сняты эти данные изображения n-й точки обзора.
Генерирующий блок 13 генерирует и выводит цифровой поток, включающий в себя данные изображения в изображении для стереоскопического восприятия и метку смены обзора.
Другими словами, генерирующий блок 13 мультиплексирует кодированные данные с первой по N-ю точек обзора из кодирующих блоков 111-11N соответственно для получения мультиплексированных данных, и включает метку смены обзора из блока 12 установки метки в заголовок и т.п. этих мультиплексированных данных.
Описание обработки кодирующим устройством
Обработка (проведение операции кодирования) кодирующим устройством по Фиг.14 будет описана со ссылкой на Фиг.15.
В кодирующем устройстве по Фиг.14 при управлении производителем стереоизображения блоком 12 установки метки на этапе S101 блок 12 установки метки устанавливает метку смены обзора для каждого эпизода изображения для стереоскопического восприятия, следуя командам производителя изображения для стереоскопического восприятия, и подает ее в генерирующий блок 13.
В дальнейшем, дождавшись подачи в кодирующее устройство данных изображения с первой по N-ю точек обзора, то есть данных изображения стереоизображения, обработка переходит от этапа S101 к этапу S102, в котором кодирующие блоки 111-11N выполняют кодирование.
В частности, кодирующий блок 11n кодирует данные изображения n-й точки обзора и подает полученные в результате этого кодированные данные n-й точки обзора в генерирующий блок 13.
В дальнейшем обработка переходит от этапа S102 к этапу S103, в котором генерирующий блок 13 мультиплексирует кодированные данные с первой по N-ю точек обзора с кодирующих блоков 111-11N для получения мультиплексированных данных. Далее генерирующий блок 13 включает метку смены обзора из блока 12 установки метки в заголовок мультиплексированных данных и выводит мультиплексированные данные.
Далее обработка переходит от этапа S103 к этапу S104, в котором кодирующее устройство определяет, наличествуют ли подлежащие кодированию данные изображения стереоизображения, и в случае, если определено, что данные изображения наличествуют, обработка возвращается к этапу S102, и затем повторяется обработка в этапах S102-S104.
С другой стороны, в случае, если на этапе S104 определено, что подлежащие кодированию данные изображения стереоизображения отсутствуют, кодирующее устройство завершает операцию кодирования.
Таким образом, цифровой поток, включающий в себя мультиплексированные данные, которые выводит генерирующий блок 13, т.е. данные (кодированные данные, полученные из данных) изображения стереоизображения, и метку смены обзора, передается через передающую среду или, например, записывается на носитель записи.
Третий вариант осуществления декодирующего устройства
Фиг.16 является блок-схемой, иллюстрирующей пример выполнения третьего варианта осуществления декодирующего устройства, к которому применено настоящее изобретение.
Отметим, что на Фиг 16 часть, соответствующая случаю по Фиг.5, обозначена той же ссылочной позицией, и далее ее описание будет по необходимости опущено.
Декодирующее устройство по Фиг.16 выполнено таким же образом, что и в случае по Фиг.5, за исключением того, что вместо двух декодирующих блоков 421 и 422 имеются N кодирующих блоков 421, 422, …, 42N.
На Фиг.16 декодирующее устройство декодирует мультиплексированные данные, которые выводит кодирующее устройство по Фиг.14.
В частности, извлекающий блок 41 извлекает метку смены обзора из поданных в него мультиплексированных данных и подает в блок 44 выбора.
Кроме того, извлекающий блок 41 выделяет кодированные данные с первой по N-ю точек обзора из мультиплексированных данных и подает кодированные данные n-й точки обзора в декодирующий блок 42N.
Далее извлекающий блок 41 подает все кодированные данные с первой по N-ю точек обзора в блок 44 выбора.
Декодирующий блок 42n декодирует кодированные данные n-й точки обзора из извлекающего блока 41 и подает полученные в результате этого данные изображения n-й точки обзора в блок 43 преобразования изображения для стереоскопического восприятия.
Блок 43 преобразования изображения для стереоскопического восприятия преобразует данные изображения с первой по N-ю точек обзора, поданные с декодирующих блоков 421-42n соответственно в данные изображения стереоскопического восприятия и подает на не показанное устройство для стереоскопического восприятия.
Блок 44 выбора в соответствии с меткой смены обзора для каждого эпизода и т.п., поданной из извлекающего блока 41, выбирает один фрагмент кодированных данных с первой по N-ю точек обзора, также поданных из извлекающего блока 41, в качестве кодированных данных в данных изображения для отображения двумерного изображения и подает в декодирующий блок 45 в качестве выбранных кодированных данных.
Декодирующий блок 45 декодирует выбранные кодированные данные, поданные из блока 44 выбора, и подает полученные в результате этого данные изображения (один фрагмент из кодированных данных с первой по N-ю точек обзора) на непоказанное устройство двумерного отображения.
Описание обработки декодирующим устройством
Обработка (проведение операции декодирования) декодирующим устройством по Фиг.16 будет описана со ссылкой на Фиг.17А и Фиг.17В.
Фиг.17А является блок-схемой алгоритма для описания проведения операции декодирования декодирующим устройством по Фиг.16 в случае, если выполняется отображение изображения для стереоскопического восприятия.
В случае, если выполняется отображение изображения для стереоскопического восприятия, на этапе S111 извлекающий блок 41 выделяет кодированные данные каждой из точек обзора с первой по N-ю из поданных в него мультиплексированных данных. Далее извлекающий блок 41 подает кодированные данные n-й точки обзора в декодирующий блок 42n, и обработка переходит от этапа S111 к этапу S112.
На этапе S112 декодируются все кодированные данные с первой по N-ю точек обзора, мультиплексированные с получением мультиплексированных данных, и обработка переходит к этапу S113.
В частности, декодирующий блок 42N декодирует основные кодированные данные N-й точки обзора, полученные из извлекающего блока 41, и подает полученные в результате этого данные изображения N-й точки обзора в блок 43 преобразования изображения для стереоскопического восприятия.
На этапе S113 блок 43 преобразования изображения для стереоскопического восприятия преобразует данные изображения с первой по N-ю точек обзора, поданные с декодирующих блоков 421-42N соответственно, в данные изображения стереоскопического восприятия, подает их на не показанное устройство для стереоскопического восприятия, и обработка переходит к этапу S114.
На этапе S114 извлекающий блок 41 определяет, наличествуют ли необработанные мультиплексированные данные, и если определено, что необработанные мультиплексированные данные есть, то обработка возвращается к этапу S111, и далее повторяются этапы S111-S114.
Кроме того, если на этапе S114 определено, что необработанных мультиплексированных данных нет, то декодирующее устройство завершает операцию декодирования.
Фиг.17В является блок-схемой алгоритма для описания проведения операции декодирования декодирующим устройством по Фиг.16 в случае, если выполняется отображение двумерного изображения.
В случае, если выполняется отображение двумерного изображения, на этапе S121 извлекающий блок 41 извлекает метку смены обзора из поданных в него мультиплексированных данных, подает ее в блок 44 выбора, и обработка переходит к этапу S122.
На этапе S122 извлекающий блок 41 выделяет кодированные данные с первой по N-ю точек обзора из мультиплексированных данных, подает их в блок 44 выбора, и обработка переходит к этапу S123.
На этапе S123 блок 44 выбора в соответствии с меткой смены обзора из извлекающего блока 41 выбирает кодированные данные одной из точек обзора с первой по N-ю из извлекающего блока 41 в качестве выбранных кодированных данных.
В частности, в случае, если значение метки смены обзора из извлекающего блока 41 равно n-1, блок 44 выбора выбирает из кодированных данных с первой по n-ю точек обзора кодированные данные n-й точки обзора в качестве выбранных кодированных данных.
В дальнейшем блок 44 выбора подает выбранные кодированные данные в декодирующий блок 45, и обработка переходит от этапа S123 к этапу S124.
На этапе S124 декодирующий блок 45 декодирует выбранные кодированные данные, поданные из блока 44 выбора, подает полученные в результате этого данные изображения на непоказанное устройство двумерного отображения, и обработка переходит к этапу S125.
На этапе S125 извлекающий блок 41 определяет, наличествуют ли необработанные мультиплексированные данные, и в случае, если определено, что необработанные мультиплексированные данные есть, обработка возвращается к этапу S121, и затем повторяются этапы S121-S125.
С другой стороны, в случае, если на этапе S125 определено, что необработанных мультиплексированных данных нет, декодирующее устройство завершает проведение операции декодирования.
Таким образом, в декодирующем устройстве по Фиг.14 вырабатываются мультиплексированные данные, включающие данные изображения с первой по N-ю точек обзора, то есть N точек обзора данных изображения, и метку смены обзора. В дальнейшем в декодирующем устройстве по Фиг.16 из этих мультиплексированных данных извлекается метка смены обзора, и в соответствии с этой меткой смены обзора из данных изображения с первой по N-ю точек обзора в приращениях эпизодов и т.п. выбираются данные изображения, используемые для отображения двумерного изображения.
Таким образом, данные изображения, используемые для отображения двумерного изображения, могут быть заданы меткой смены обзора, и тем самым в случае, если контент изображения для стереоскопического восприятия отображается в качестве двумерного изображения, из данных изображения с первой по N-ую точек обзора изображение согласно намерению производителя контента может быть отображено в приращениях эпизодов и т.п.
Четвертый вариант осуществления
Четвертый вариант осуществления кодирующего устройства
Фиг.18 является блок-схемой, иллюстрирующей пример выполнения четвертого варианта осуществления кодирующего устройства, к которому применено настоящее изобретение.
Отметим, что на чертеже часть, соответствующая случаю по Фиг.9 или Фиг.14, обозначена той же ссылочной позицией, и далее ее описание будет по необходимости опущено.
Кодирующее устройство по Фиг.18 выполнено таким же образом, что в случае по Фиг.9, за исключением того, что вместо двух кодирующих блоков 111 и 112 имеются N кодирующих блоков 111, 112, …, 11n.
Данные изображения с первой по N-ю точек обзора изображения для стереоскопического восприятия подаются в переключающий блок 71.
Переключающий блок 71 в соответствии с меткой смены обзора из блока 12 установки метки сменяет данные изображения одной точки обзора из данных изображения с первой по N-ю точек обзора, то есть N точек обзора данных изображения, другой точкой обзора данных изображения, тем самым преобразуя N фрагментов данных изображения с первой по N-ю точек обзора в один фрагмент основных данных изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и N-1 фрагментов дополнительных данных изображения с номерами с 1 по N-1, то есть данных изображения, которые не используются для отображения двумерного изображения.
Отметим, что переключающий блок 71 подает основные данные изображения в кодирующий блок 111, а дополнительные данные изображения с номером n в кодирующий блок 11n+1.
Следовательно, на Фиг.18 кодирующий блок 111 кодирует основные данные изображения из переключающего блока 71 и подает полученные в результате этого кодированные данные (основные кодированные данные) в генерирующий блок 13.
Кроме того, кодирующий блок 11n+1 кодирует дополнительные данные изображения с номером n из переключающего блока 71 и подает полученные в результате этого кодированные данные (здесь и далее «дополнительные кодированные данные с номером n») в генерирующий блок 13.
В дальнейшем генерирующий блок 13 мультиплексирует основные кодированные данные из кодирующего блока 111 и дополнительные кодированные данные с номерами с 1 по N-1 из кодирующих блоков 112-11N для получения мультиплексированных данных и включает метку смены обзора из блока 12 установки метки в заголовок и т.п. этих мультиплексированных данных.
Таким образом, на Фиг.18 мультиплексированные данные, полученные в генерирующем блоке 13, включают в себя один фрагмент основных данных изображения, N-1 фрагментов дополнительных данных изображения с номерами с 1 по N-1 и метку смены обзора.
Описание обработки переключающим блоком 71
Обработка переключающим блоком 71 по Фиг.18 будет описана со ссылкой на Фиг.19.
Отметим, что далее изображение, соответствующее данным изображения N-й точки обзора, будет также именоваться изображением N-й точки обзора.
Теперь допустим, что изображение для стереоскопического восприятия, подлежащее кодированию на кодирующем устройстве по Фиг.18, состоит из эпизодов, например, 1, 2, 3, 4 и 5, а, кроме того, данные изображения состоят из данных изображения первой точки обзора, данных изображения второй точки обзора и данных изображения третьей точки обзора, то есть трех точек обзора данных изображения.
Далее, в случае, если изображение для стереоскопического восприятия отображается в качестве двумерного изображения, допустим, что производитель изображения для стереоскопического восприятия управляет блоком 12 установки метки так, чтобы выбрать в качестве изображений (изображений для показа), подлежащих отображению в качестве двумерного изображения, изображение первой точки обзора относительно эпизодов 1 и 4, изображение второй точки обзора относительно эпизодов 2 и 3, и изображение третьей точки обзора относительно эпизода 5, как показано на чертеже жирной рамкой.
В этом случае для эпизодов 1 и 4 блок 12 установки метки устанавливает в качестве метки смены обзора, например, 0, что является значением, задающим изображение первой точки обзора в качестве изображения для показа.
Кроме того, для эпизодов 2 и 3 блок 12 установки метки устанавливает в качестве метки смены обзора, например, 1, что является значением, задающим изображение второй точки обзора в качестве изображения для показа.
Далее, относительно эпизода 5 блок 12 установки метки устанавливает в качестве метки смены обзора, например, 2, что является значением, задающим изображение третьей точки обзора в качестве изображения для показа.
Переключающий блок 71, как описано выше, в соответствии с меткой смены обзора сменяет данные изображения одной точки обзора из данных изображения с первой по третью точек обзора, то есть трех точек обзора данных изображения, с другой точкой обзора данных изображения, тем самым преобразуя три фрагмента данных изображения с первой по третью точек обзора в один фрагмент основных данных изображения и два фрагмента дополнительных данных изображения с номерами 1 и 2 путем замены в приращениях эпизодов, установленным меткой смены обзора и т.п.
В частности, например, в случае данных изображения второй точки обзора, то есть одного фрагмента из трех фрагментов данных изображения с первой по третью точек обзора, в качестве опорных для эпизода данных изображения второй точки обзора, для которого метка смены обзора не задает данные изображения второй точки обзора, являющиеся опорными, т.е. эпизода, для которого метка смены обзора задает данные изображения первой точки обзора или третьей точки обзора, переключающий блок 71 сменяет данные изображения второй точки обзора данными изображения, заданные меткой смены обзора.
На Фиг.19 из эпизодов 1-5 данных изображения второй точки обзора, являющихся опорными, для эпизодов 1 и 4 метка смены обзора задает не данные изображения второй точки обзора, а данные изображения первой точки обзора. Таким образом, из эпизодов 1-5 данных изображения второй точки обзора данные эпизодов 1 и 4 сменяются данными эпизодов 1 и 4 данных изображения первой точки обзора, соответственно.
Далее, на Фиг.19 из эпизодов 1-5 данных изображения второй точки обзора, являющихся опорными, для эпизода 5 метка смены обзора задает данные изображения не второй точки обзора, а третьей точки обзора. Таким образом, из эпизодов 1-5 данных изображения второй точки обзора данные эпизода 5 сменяются данными эпизода 5 данных изображения третьей точки обзора.
В дальнейшем для данных изображения второй точки обзора данные изображения, полученные путем смены данных изображения эпизода данными изображения первой точки обзора или третьей точки обзора (а не опорные), принимаются в качестве основных данных изображения.
Кроме того, для данных изображения первой точки обзора в качестве дополнительных данных 1 принимаются данные изображения, полученные путем смены данных изображения эпизода данными изображения второй точки обзора, то есть опорными. Далее, для данных изображения третьей точки обзора в качестве дополнительных данных 2 принимаются данные изображения, полученные путем смены данных изображения эпизода данными изображения второй точки обзора, то есть опорными.
В этом случае для основных данных изображения в качестве данных изображения первой точки обзора принимаются данные эпизодов 1 и 4, в качестве данных изображения второй точки обзора принимаются данные эпизодов 2 и 3, а в качестве данных изображения третьей точки обзора принимаются данные эпизода 5, соответственно.
Таким образом, в случае, если изображение для стереоскопического восприятия отображается в качестве двумерного изображения, изображение согласно намерению производителя контента может быть отображено в приращениях эпизодов и т.п. просто путем отображения изображения, соответствующего основным данным изображения.
С другой стороны, для дополнительных данных изображения 1 данными изображения второй точки обзора являются данные эпизодов 1 и 4, а данными изображения первой точки обзора являются данные эпизодов 2, 3 и 5, соответственно.
Далее, для дополнительных данных изображения 2 данными изображения третьей точки обзора являются данные эпизодов 1-4, а данными изображения второй точки обзора являются данные эпизода 5, соответственно.
Дополнительные данные изображения 1 и 2 необязательны для отображения двумерного изображения и используются в момент отображения изображения для стереоскопического восприятия (изображения для стереоскопического восприятия) наряду с основными данными изображения.
Описание обработки кодирующим устройством
Обработка (проведение операции кодирования) кодирующим устройством по Фиг.18 будет описана со ссылкой на Фиг.20.
На кодирующем устройстве по Фиг.18 при управлении производителем стереоизображения блоком 12 установки метки на этапе S141 блок 12 установки метки устанавливает метку смены обзора для каждого эпизода изображения для стереоскопического восприятия, следуя командам производителя изображения для стереоскопического восприятия, и подает их в генерирующий блок 13 и переключающий блок 71.
Далее, дождавшись подачи в кодирующее устройство данных изображения с первой по N-ю точек обзора, то есть данных изображения стереоизображения, обработка переходит от этапа S141 к этапу S142, в котором переключающий блок 71 сменяет данные изображения одной точки обзора из данных изображения с первой по N-ю точек обзора данными изображения другой точки обзора в соответствии с меткой смены обзора из блока 12 установки метки, как описано на Фиг.19, тем самым преобразуя данные изображения с первой по N-ю точек обзора в один фрагмент основных данных изображения и N-1 фрагментов дополнительных данных изображения с номерами с 1 по N-1 (генерируя один фрагмент основных данных изображения и N-1 фрагментов дополнительных данных изображения с номерами с 1 по N-1 из данных изображения с первой по N-ю точек обзора).
После обработки на этапе S142 блок 71 выбора подает основные данные изображения в кодирующий блок 111, а также подает дополнительные данные изображения с номером n в кодирующий блок 11n+1.
В дальнейшем обработка переходит к этапу S143, на котором кодирующий блок 111 кодирует основные данные изображения из блока 71 выбора и подает полученные в результате этого основные кодированные данные в генерирующий блок 13. Далее на этапе S143 кодирующий блок 11n+1 кодирует дополнительные данные изображения с номером n из блока 71 выбора, подает полученные в результате этого дополнительные кодированные данные с номером n в генерирующий блок 13, и обработка переходит к этапу S144.
На этапе S144 генерирующий блок 13 мультиплексирует основные кодированные данные из кодирующего блока 111 и дополнительные кодированные данные с номерами с 1 по n-1 с кодирующих блоков 112-11n для получения из каждого мультиплексированных данных. Далее генерирующий блок 13 включает метку смены обзора из блока 12 установки метки в заголовок мультиплексированных данных и выводит мультиплексированные данные.
В дальнейшем обработка переходит от этапа S144 к этапу S145, на котором кодирующее устройство определяет, наличествуют ли подлежащие кодированию данные изображения стереоизображения, и в случае, если определено, что данные изображения наличествуют, обработка возвращается к этапу S142, и затем повторяется обработка в этапах S142-S145.
С другой стороны, в случае, если на этапе S145 определено, что подлежащие кодированию данные изображения стереоизображения отсутствуют, кодирующее устройство завершает операцию кодирования.
Как описано выше, цифровой поток, включающий мультиплексированные данные, которые выводит генерирующий блок 13, т.е. один фрагмент (кодированные данные, полученные из одного фрагмента) основных данных изображения и N-1 фрагментов дополнительных данных изображения, преобразованных из данных изображения стереоизображения, и метку смены обзора, передается через передающую среду или, например, записывается на носитель записи.
Четвертый вариант осуществления декодирующего устройства
Фиг.21 является блок-схемой, иллюстрирующей пример выполнения четвертого варианта осуществления декодирующего устройства, к которому применено настоящее изобретение.
Отметим, что на чертеже часть, соответствующая случаю по Фиг.12 или Фиг.16, обозначена той же ссылочной позицией, и далее ее описание будет по необходимости опущено.
Декодирующее устройство по Фиг.21 выполнено таким же образом, что и в случае по Фиг.12, за исключением того, что вместо декодирующих блоков 421 и 422 имеются N декодирующих блоков 421-42N.
На Фиг.21 декодирующее устройство декодирует мультиплексированные данные, которые выводит кодирующее устройство по Фиг.18.
Здесь мультиплексированные данные, которые выводит кодирующее устройство по Фиг.18, включают один фрагмент основных кодированных данных и N-1 фрагментов дополнительных кодированных данных с номерами с 1 по N-1.
Следовательно, в декодирующем устройстве по Фиг.21 извлекающий блок 41 отделяет от мультиплексированных данных один фрагмент основных кодированных данных и каждый из N-1 фрагментов дополнительных кодированных данных с номерами с 1 по N-1. В дальнейшем извлекающий блок 41 подает основные кодированные данные в декодирующий блок 421, а дополнительные кодированные данные с номером n в декодирующий блок 42n+1 соответственно.
Декодирующий блок 421 декодирует основные кодированные данные из извлекающего блока 41, а декодирующий блок 42n+1 декодирует дополнительные кодированные данные с номером n из извлекающего блока 41.
Основные данные изображения, полученные путем декодирования основных кодированных данных декодирующим блоком 421, и дополнительные данные изображения с номером n, полученные путем декодирования дополнительных кодированных данных с номером n декодирующим блоком 42n+1, подаются в восстанавливающий блок 81.
Здесь в случае, если изображение для стереоскопического восприятии отображается в качестве двумерного изображения, основные данные изображения, полученные путем декодирования основных кодированных данных декодирующим блоком 421, подаются на непоказанное устройство двумерного отображения. В дальнейшем изображение, соответствующее основным данным изображения из декодирующего блока 421, отображается на устройстве двумерного отображения.
Как описано выше, основные данные изображения подаются в восстанавливающий блок 81 из декодирующего блока 421, кроме того, дополнительные данные изображения с номером n подаются из декодирующего блока 42n+1, и метка смены обзора, извлеченная из мультиплексированных данных, подается из извлекающего блока 41.
Восстанавливающий блок 81 меняет между собой основные данные изображения из декодирующего блока 421 и дополнительные данные изображения с номером n из декодирующего блока 42n+1 в соответствии с меткой смены обзора из извлекающего блока 41, тем самым преобразуя основные данные изображения и N-1 фрагментов дополнительных данных изображения с номерами с 1 по N-1 в исходные N фрагментов данных изображения с первой по N-ю точек обзора.
В частности, восстанавливающий блок 81 выполняет переключение, обратное переключению, выполненному переключающим блоком 71 по Фиг.18, с основными данными изображения и N-1 фрагментов дополнительных данных изображения с номерами с 1 по N-1 в качестве объектов, в соответствии с меткой смены обзора из извлекающего блока 41, тем самым восстанавливая N фрагментов данных изображения с первой по N-ю точек обзора.
В дальнейшем восстанавливающий блок 81 подает данные изображения с первой по N-ю точек обзора в блок 43 преобразования изображения для стереоскопического восприятия.
Блок 43 преобразования изображения для стереоскопического восприятия преобразует данные изображения с первой по N-ю точек обзора с восстанавливающего блока 81 в данные изображения стереоскопического восприятия и подает на не показанное устройство для стереоскопического восприятия.
Описание обработки декодирующим устройством
Обработка (проведение операции декодирования) декодирующим устройством по Фиг.21 будет описана со ссылкой на Фиг.22А и Фиг.22В.
Фиг.22А является блок-схемой алгоритма для описания проведения операции декодирования декодирующим устройством по Фиг.21 в случае, если выполняется отображение изображения для стереоскопического восприятия.
В случае, если выполняется отображение изображения для стереоскопического восприятия, на этапе S151 извлекающий блок 41 извлекает метку смены обзора из поданных на него мультиплексированных данных, подает их в восстанавливающий блок 81, и обработка переходит к этапу 152.
На этапе S152 извлекающий блок 41 выделяет основные кодированные данные и N-1 фрагментов дополнительных кодированных данных с номерами с 1 по N-1 из мультиплексированных данных, подает основные кодированные данные в декодирующий блок 421, а дополнительные кодированные данные с номером n в декодирующий блок 42n+1 соответственно, и обработка переходит к этапу S153.
На этапе S153 декодируются все кодированные данные, мультиплексированные в мультиплексированные данные, и обработка переходит к этапу S154.
В частности, декодирующий блок 421 декодирует основные кодированные данные из извлекающего блока 41 и подает полученные в результате этого основные данные изображения в восстанавливающий блок 81. Далее декодирующий блок 42n+1 декодирует дополнительные кодированные данные с номером n из извлекающего блока 41 и подает полученные в результате этого данные изображения n-й точки обзора в восстанавливающий блок 81.
На этапе S154 восстанавливающий блок 81 выполняет смену, обратную смене, выполненной переключающим блоком 71 по Фиг.18, в отношении основных данных изображения и N-1 фрагментов дополнительных данных изображения с номерами с 1 по N-1 в качестве объектов в соответствии с меткой смены обзора из извлекающего блока 41, тем самым восстанавливая N фрагментов данных изображения с первой по N-ю точек обзора.
В дальнейшем восстанавливающий блок 81 подает данные изображения с первой по N-ю точек обзора в блок 43 преобразования изображения для стереоскопического восприятия.
В дальнейшем обработка последовательно переходит от этапа S154 этапу S155, на котором блок 43 преобразования изображения для стереоскопического восприятия преобразует данные изображения с первой по N-ю точек обзора из восстанавливающего блока 81 в данные изображения стереоскопического восприятия, подает на не показанное устройство для стереоскопического восприятия, и обработка переходит к этапу S156.
На этапе S156 извлекающий блок 41 определяет, наличествуют ли необработанные мультиплексированные данные, и если определено, что необработанные мультиплексированные данные есть, то обработка возвращается к этапу S151, и далее повторяются этапы S151-S156.
Кроме того, если на этапе S156 определено, что необработанных мультиплексированных данных нет, то декодирующее устройство завершает операцию декодирования.
Фиг.22В является блок-схемой алгоритма для описания проведения операции декодирования декодирующим устройством по Фиг.21 в случае, если выполняется отображение двумерного изображения.
В случае, если выполняется отображение двумерного изображения, на этапе S161 извлекающий блок 41 выделяет основные кодированные данные из поданных в него мультиплексированных данных, подает в декодирующий блок 421, и обработка переходит к этапу S162.
На этапе S162 декодирующий блок 421 декодирует основные кодированные данные, поданные из извлекающего блока 41, и подает полученные в результате этого основные данные изображения на непоказанное устройство двумерного отображения.
Таким образом, в устройстве двумерного отображения изображение, соответствующее основным данным изображения, отображается в качестве двумерного изображения.
В дальнейшем обработка переходит от этапа S162 к этапу S163, в котором извлекающий блок 41 определяет, наличествуют ли необработанные мультиплексированные данные, и в случае, если определено, что необработанные мультиплексированные данные есть, обработка возвращается к этапу S161, и затем повторяются этапы S161-S163.
С другой стороны, в случае, если на этапе S163 определено, что необработанных мультиплексированных данных нет, декодирующее устройство завершает проведение операции декодирования.
Как описано выше, в декодирующем устройстве по Фиг.18 из N фрагментов данных изображения с первой по N-ю точек обзора одна точка обзора данных изображения сменяется другой точкой обзора данных изображения в соответствии с меткой смены обзора, задающей данные изображения, используемые для отображения двумерного изображения, тем самым N фрагментов данных изображения с первой по N-ю точек обзора преобразуются в один фрагмент основных данных изображения, и N-1 фрагментов дополнительных данных изображения с номерами с 1 по N-1, и генерируются мультиплексированные данные, включающие в себя основные данные изображения, дополнительные данные изображения с номерами с 1 по N-1, и метку смены обзора.
Таким образом, в декодирующем устройстве по Фиг.21 в случае, если контент изображения для стереоскопического восприятия отображается в качестве двумерного изображения, из N фрагментов данных изображения с первой по N-ю точек обзора изображение согласно намерению производителя контента может быть отображено в приращениях эпизодов и т.п. путем отображения изображения, соответствующего основным данным изображения.
Кроме того, в декодирующем устройстве по Фиг.21 из этих мультиплексированных данных извлекается метка смены обзора, и в соответствии с этой меткой смены обзора основные данные изображения и N-1 фрагментов дополнительных данных изображения с номерами с 1 по N-1 восстанавливаются до исходных N фрагментов данных изображения с первой по N-ю точек обзора.
Таким образом, изображение для стереоскопического восприятия может быть отображено на устройстве для стереоскопического восприятия.
Отметим, что в описанных выше кодирующем и декодирующем устройствах может также выполняться обработка изображения с множественными точками обзора, отличного от изображения для стереоскопического восприятия, в качестве объекта.
В частности, в описанных выше кодирующем и декодирующем устройствах, например, может выполняться обработка изображения VB с двумя точками обзора изображения, полученного камерой, которая снимает изображение с определенным действующим лицом А в качестве главного объекта, и изображения VA, полученного камерой, которая снимает изображение с другим действующим лицом B в качестве главного объекта, в качестве объекта.
В этом случае, например, на декодирующем устройстве имеется средство для выбора одного из изображений VA или VB согласно командам пользователя, тем самым пользователь может наблюдать изображение с действующим лицом, которое интересует пользователя в качестве главного объекта.
Однако в этом случае изображения VA и VB не являются изображениями для стереоскопического восприятия, и, таким образом, отображение изображения ограничено отображением двумерного изображения, а отображение изображения для стереоскопического восприятия не разрешено.
Вариант осуществления компьютера, к которому применено настоящее изобретение
Далее, последовательность операций, описанная выше, может быть проведена с помощью аппаратного обеспечения или с помощью программного обеспечения. В случае, если последовательность операций проводится с помощью программного обеспечения, на компьютер общего назначения и т.п. устанавливается программа, составляющая это программное обеспечение.
Поэтому Фиг.23 иллюстрирует пример выполнения варианта осуществления компьютера, на который установлена программа, которая выполняет описанную выше последовательность операций.
Программа может быть записана на жесткий диск 105 или в ПЗУ 103, служащие в качестве носителя записи, заранее встроенного в компьютер.
В ином случае программа может храниться (быть записана) на съемном носителе 111 записи. Такой съемный носитель 111 записи может быть предусмотрен в качестве так называемого пакета программного обеспечения. Здесь примеры съемного носителя 111 записи включают в себя гибкие диски, CD-ROM, МО (магнитооптические) диски, DVD, магнитные диски, полупроводниковую память и т.д.
Отметим, что программа может быть установлена на компьютер со съемного носителя 111 записи, такого как описано выше, а также загружена на компьютер через коммуникационную сеть или вещательную сеть, и установлена на встроенный жесткий диск 105. Иными словами, программа может быть перенесена в компьютер беспроводным способом через искусственный спутник для цифрового спутникового вещания с сайта загрузки или перенесена в компьютер с помощью проводной связи через сеть, такую как ЛС (локальная сеть) или Интернет.
В компьютере находится ЦП (центральный процессор) 102, а интерфейс 110 ввода-вывода соединен с ЦП 102 с помощью шины 101.
При вводе команды с помощью блока 107 ввода, управляемого пользователем, через интерфейс 110 ввода-вывода ЦП 102 согласно ей выполняет программу, хранящуюся в ПЗУ 103. В ином случае ЦП 102 загружает программу, хранящуюся на жестком диске 105, в ОЗУ (оперативное запоминающее устройство) 104 и выполняет ее.
Таким образом, ЦП 102 выполняет обработку в соответствии с описанными выше блок-схемами или обработку, подлежащую выполнению с помощью описанной выше конфигурации блок-схемы. В дальнейшем ЦП 102 выводит результаты этой обработки из блока 106 вывода через интерфейс 110 ввода-вывода или передает из блока связи 108 и далее при необходимости записывает, например, на жесткий диск 105.
Отметим, что блок 107 ввода состоит из клавиатуры, мыши, микрофона и т.д. Кроме того, блок 106 вывода состоит из ЖКД (жидкокристаллического дисплея), динамика и т.д.
В настоящем описании обработка, выполняемая компьютером в соответствии с программой, необязательно выполняется во временной последовательности согласно последовательности, описанной в качестве блок-схем. А именно, обработка, выполняемая компьютером в соответствии с программой, включает в себя обработку, подлежащую выполнению параллельно или обособленно (т.е. параллельная обработка или обработка по одному объекту).
Кроме того, программа может быть обработана одним компьютером (процессором) или подвергнута рассредоточенной обработке многими компьютерами. Далее, программа может подлежать переносу для выполнения на удаленном компьютере.
Отметим, что варианты осуществления настоящего изобретения не ограничены упомянутыми выше вариантами осуществления, и возможны различные модификации, не отходящие от сути настоящего изобретения.
В частности, например, в настоящем изобретении данные изображения кодируются и декодируются системой AVC/H.264 и т.п., но кодирование и декодирование данных изображения могут не выполняться.
Кроме того, в настоящем изобретении приведено описание, в котором метка мультиплексируется (описывается) в цифровой поток, но в дополнение к мультиплексированию метки и данные изображения (или цифровой поток) могут передаваться (записываться). Далее, может существовать режим, в котором метка и данные изображения (или цифровой поток) связаны.
В настоящем варианте осуществления связывание определяется следующим образом. Связывание может являться состоянием, в котором данные изображения (или цифровой поток) и метка взаимно связаны. Например, данные изображения (или цифровой поток) и метка могут быть переданы по раздельным каналам передачи. В ином случае данные изображения (или цифровой поток) и метка могут быть записаны на взаимно различные носители записи (или раздельные зоны записи на одном носителе записи). Отметим, что интервалы связи между данными изображения (или цифровым потоком) и меткой могут быть заданы интервалами проведения операции кодирования (такими как один эпизод, множество эпизодов и т.п.).
Теперь, в кодирующем устройстве по Фиг.1 и т.п. можно считать, что кодирующие блоки 111 и 112 и генерирующий блок 13 служат кодирующими средствами для кодирования N (больше одной) точек обзора данных изображения для генерирования цифрового потока. Кроме того, можно считать, что блок 12 установки метки служит генерирующим средством для выработки метки смены обзора, задающей данные изображения, используемые для отображения двумерного изображения из N точек обзора данных изображения. Далее можно считать, что генерирующий блок 13 служит передающим средством для передачи цифрового потока, полученного путем кодирования N точек обзора данных изображения, и метки смены обзора.
Кроме того, в декодирующем устройстве по Фиг.5 можно считать, что извлекающий блок 41 служит принимающим средством для приема цифрового потока, получаемого путем кодирования N (больше одной) точек обзора данных изображения, и метки смены обзора, задающей данные изображения, используемые для отображения двумерного изображения из изображения с N точками обзора. Далее можно считать, что блок 44 выбора служит в качестве выбирающего средства для выбора данных изображения, используемых для отображения двумерного изображения из N точек обзора данных изображения, включенных в цифровой поток, в соответствии с меткой смены обзора.
Вариант осуществления электронного устройства, к которому применено настоящее изобретение
Описанные выше кодирующее и декодирующее устройства могут быть применены, например, к произвольному электронному устройству. Далее будет описан пример этого.
Фиг.24 является блок-схемой, иллюстрирующей пример принципиальной схемы телевизионного приемника, использующего декодирующее устройство, к которому применено настоящее изобретение.
Телевизионный приемник 1000, показанный на Фиг.24, включает в себя наземный тюнер 1013, видеодекодер 1015, схему 1018 обработки видеосигнала, схему 1019 выработки графических данных, схему 1020 управления панелью и отображающую панель 1021.
Наземный тюнер 1013 принимает волновые сигналы вещания наземного аналогового вещания через антенну, демодулирует, получает видеосигналы и подает их на видеодекодер 1015. Видеодекодер 1015 подвергает видеосигналы, поданные с наземного тюнера 1013, операции декодирования и подает полученные составные цифровые сигналы на схему 1018 обработки видеосигнала.
Схема 1018 обработки видеосигнала подвергает видеоданные, поданные с видеодекодера 1015, заранее заданной обработке, такой как устранение шумов, и подает полученные видеоданные на схему 1019 выработки графических данных.
Схема 1019 выработки графических данных генерирует видеоданные программы, подлежащей отображению на отображающей панели 1021, данные изображения после обработки на основе приложения, подаваемого через сеть и т.п., и подает выработанные видеоданные или данные изображения на схему 1020 управления панелью. Кроме того, схема 1019 выработки графических данных также выполняет обработку для подачи на схему 1020 управления панелью видеоданных (графических данных) для отображения экрана, подлежащего использованию для выбора пользователем элемента и т.п., и наложения их на видеоданные программы при необходимости.
Схема 1020 управления панелью управляет отображающей панелью 1021 на основе данных, поданных со схемы 1019 выработки графических данных, для отображения видеопрограммы или описанных выше различных типов экранов на отображающей панели 1021.
Отображающая панель 1021 состоит из ЖКД (жидкокристаллического дисплея) и т.п. и отображает видеопрограмму и т.п. согласно управляющему воздействию схемы 1020 управления панелью.
Кроме того, телевизионный приемник 1000 также включает в себя схему 1014 аналого-цифрового преобразования звука, схему 1022 обработки аудиосигналов, схему 1023 подавления эхо-сигналов/синтезирования звука, звукоусилительную схему 1024 и динамик 1025.
Наземный тюнер 1013 демодулирует принятый вещательный волновой сигнал, тем самым получая не только видеосигналы, но также аудиосигналы. Наземный тюнер 1013 подает полученные аудиосигналы на схему 1014 аналого-цифрового преобразования звука.
Схема 1014 аналого-цифрового преобразования звука подвергает аудиосигналы, поданные с наземного тюнера 1013, операции аналого-цифрового преобразования и подает полученные цифровые аудиосигналы на схему 1022 обработки аудиосигналов.
Схема 1022 обработки аудиосигналов подвергает аудиоданные, поданные со схемы 1014 аналого-цифрового преобразования звука, заранее заданной обработке, такой как устранение шумов и т.п., и подает полученные аудиоданные на схему 1023 подавления эхо-сигналов/синтезирования звука.
Схема подавления эхо-сигналов/синтезирования звука подает аудиоданные, поданные со схемы 1022 обработки аудиосигналов, на звукоусилительную схему 1024.
Звукоусилительная схема 1024 подвергает аудиоданные, поданные со схемы 1023 подавления эхо-сигналов/синтезирования звука, операции цифроаналогового преобразования и операции усиления, устанавливает заранее заданную громкость и затем выводит звук с динамика 1025.
Далее телевизионный приемник 1000 также включает в себя цифровой тюнер 1016 и MPEG декодер 1017.
Цифровой тюнер 1016 принимает вещательные волновые сигналы (наземного цифрового вещания, спутникового цифрового вещания ШС/СС (вещательного спутника/спутника связи)) через антенну, демодулирует, получает MPEG-ТП (Moving Picture Expert Group-транспортный поток) и подает на MPEG-декодер 1017.
MPEG декодер 1017 дескремблирует скремблирование, представленное в виде MPEG-ТП, поданное с цифрового тюнера 1016, и извлекает поток, включающий в себя данные программы, служащие объектом воспроизведения (объектом просмотра). MPEG декодер 1017 декодирует аудиопакет, составляющий извлеченный поток, подает полученные аудиоданные на схему 1022 обработки аудиосигнала, а также декодирует аудиопакет, составляющий поток, и подает полученные видеоданные на схему 1018 обработки видеосигнала. Кроме того, MPEG декодер 1017 подает данные ЭТГ (электронного телегида), извлеченные из MPEG-ТП, на ЦП 1032 по непоказанному пути.
Телевизионный приемник 1000 использует декодирующее устройство, описанное выше со ссылкой на Фиг.5, 12, 16 или 21, в качестве MPEG декодера 1017 для декодирования видеопакетов этим способом. Отметим, что MPEG-ТП, подлежащий передаче с помощью станции вещания и т.п., кодируется кодирующим устройством, как описано выше со ссылкой на Фиг.1, 9, 14 или 18, при этом множество данных изображения кодируется как единый цифровой поток.
MPEG декодер 1017 выбирает и декодирует данные изображения кодированных данных, подлежащих отображению в качестве двумерного изображения, на основе метки смены обзора тем же образом, что в случае с декодирующим устройством по Фиг.5, 12, 16 или 21, или декодирует основные кодированные данные, полученные путем кодирования основных данных изображения, используемых для отображения двумерного изображения, которые выработало генерирующее устройство, сменив изображения на основе заданной метки смены обзора. Таким образом, MPEG декодер 1017 делает возможным отображение изображения согласно намерению производителя контента, состоящего из множественных точек обзора данных изображения.
Видеоданные, поданные с MPEG декодера 1017, тем же образом, что и в случае с видеоданными, поданными с видеодекодера 1015, подвергаются заранее заданной обработке в схеме 1018 обработки видеосигнала, после чего при необходимости в схеме 1019 выработки графических данных накладываются выработанные видеоданные и т.д., и подаются на отображающую панель 1021 через схему 1020 управления панелью, и относящееся к ним изображение отображается.
Аудиоданные, поданные с MPEG декодера 1017, тем же образом, что и в случае с аудиоданными, поданными со схемы 1014 аналого-цифрового преобразования звука, подвергаются заранее заданной обработке в схеме 1022 обработки аудиосигнала, подаются на звукоусилительную схему 1024 через схему 1023 подавления эхо-сигналов/синтезирования звука и подвергаются операции цифроаналогового преобразования или операции усиления. В результате этого звук, отрегулированный до заранее заданной громкости, выводится с динамика 1025.
Кроме того, телевизионный приемник 1000 включает в себя микрофон 1026 и схему 1027 аналого-цифрового преобразования.
Схема 1027 аналого-цифрового преобразования принимает аудиосигналы, подаваемые пользователем, загружаемые с помощью микрофона 1026, имеющегося в телевизионном приемнике 1000, в качестве объекта диалога, подвергает принятые аудиосигналы операции аналого-цифрового преобразования и подает полученные цифровые аудиоданные на схему 1023 подавления эхо-сигналов/синтезирования звука.
В случае, если аудиоданные пользователя (пользователя А) телевизионного приемника 1000 подаются со схемы 1027 аналого-цифрового преобразования, схема 1023 подавления эхо-сигналов/синтезирования звука выполняет подавление эхо-сигналов в аудиоданных пользователя А в качестве объекта и выводит аудиоданные, полученные путем синтезирования с другим фрагментом аудиоданных, на динамик 1025 через звукоусилительную схему 1024.
Далее телевизионный приемник 1000 также включает в себя звуковой кодер-декодер 1028, внутреннюю шину 1029, синхронное динамическое ОЗУ 1030, флэш-память 1031, ЦП 1032, USB-интерфейс 1033 и сетевой интерфейс 1034.
Схема 1027 аналого-цифрового преобразования принимает аудиосигналы, подаваемые пользователем, загружаемые с помощью микрофона 1026, имеющегося в телевизионном приемнике 1000, в качестве объекта диалога, подвергает принятые аудиосигналы операции аналого-цифрового преобразования и подает полученные цифровые аудиоданные на звуковой кодер-декодер 1028.
Звуковой кодер-декодер 1028 преобразует аудиоданные, поданные со схемы 1027 аналого-цифрового преобразования, в данные заранее заданного формата для передачи по сети и подает на сетевой интерфейс 1034 по внутренней шине 1029.
Сетевой интерфейс 1034 подключен к сети через кабель, соединенный с сетевым терминалом 1035. Сетевой интерфейс 1034 передает аудиоданные, поданные со звукового кодера-декодера 1028, например, на другое устройство, подключенное к этой сети. Кроме того, сетевой интерфейс 1034 принимает, например, аудиоданные, переданные с другого устройства, подключенного через сеть, через сетевой терминал 1035, и подает их на звуковой кодер-декодер 1028 через внутреннюю шину 1029.
Звуковой кодер-декодер 1028 преобразует аудиоданные, поданные с сетевого интерфейса 1034, в данные заранее заданного формата и подает их на схему 1023 подавления эхо-сигналов/синтезирования звука.
Схема 1023 подавления эхо-сигналов/синтезирования звука выполняет подавление эхо-сигналов в аудиоданных, поданных со звукового кодера-декодера 1028 в качестве объекта и выводит аудиоданные, полученные путем синтезирования с другим фрагментом аудиоданных, на динамик 1025 через звукоусилительную схему 1024.
Синхронное динамическое ОЗУ 1030 сохраняет различные типы данных, необходимые для выполнения обработки ЦП 1032.
Флэш-память 1031 сохраняет программу, подлежащую выполнению ЦП 1032. Программа, сохраненная во флэш-памяти 1031, считывается ЦП 1032 в заранее заданный момент, такой как момент активации телевизионного приемника 1000. Флэш-память 1031 также сохраняет данные ЭТГ, полученные с заранее заданного сервера через сеть, и т.д.
Например, MPEG-ТП, включающий в себя данные контента, полученные через сеть с заранее заданного сервера под управлением ЦП 1032, сохраняется во флэш-памяти 1031. Флэш-память 1031 подает этот MPEG-ТП, например, на MPEG декодер 1017 по внутренней шине 1029 под управляющим воздействием ЦП 1032.
MPEG декодер 1017 обрабатывает этот MPEG-TTT таким же образом, что в случае с MPEG-ТП, поданным с цифрового тюнера 1016. Таким образом, телевизионный приемник 1000 принимает данные контента, состоящие из видео, звука и т.д., через сеть, декодирует, используя MPEG декодер 1017, тем самым может быть отображено это видео или выведен этот звук.
Кроме того, телевизионный приемник 1000 также включает в себя блок 1037 приема света для приема инфракрасного сигнала, передаваемого с пульта 1051 дистанционного управления.
Блок 1037 приема света принимает инфракрасный свет с пульта 1051 дистанционного управления, демодулирует и выводит управляющий код, представляющий собой контент команд, подаваемых пользователем на ЦП 1032.
ЦП 1032 выполняет программу, сохраненную во флэш-памяти 1031, для управления всей работой телевизионного приемника 1000 в соответствии с управляющим кодом и т.д., поданным из блока 1037 приема света. ЦП 1032 и каждый блок телевизионного приемника 1000 соединены непоказанным путем.
USB-интерфейс 1033 выполняет передачу-прием данных с внешнего устройства телевизионного приемника 1000, соединяемого через кабель USB, соединенный с USB-терминалом 1036. Сетевой интерфейс 1034 соединен с сетью через кабель, соединенный с сетевым терминалом 1035, и, кроме того, выполняет передачу-прием данных, отличных от аудиоданных, с различных типов устройств, соединяемых с сетью.
Телевизионный приемник 1000 использует декодирующее устройство, описанное выше со ссылкой на Фиг.5, 12, 16 или 21, в качестве MPEG декодера 1017, тем самым может быть отображено изображение согласно намерению производителя контента, состоящее из множественных точек обзора данных изображения.
Фиг.25 является блок-схемой, иллюстрирующей пример принципиальной схемы сотового телефона, использующего кодирующее и декодирующее устройства, к которым применено настоящее изобретение.
Сотовый телефон 1100, показанный на Фиг.25, включает в себя основной управляющий блок 1150, выполненный так, чтобы полностью управлять каждым блоком, блок 1151 подачи питания, блок 1152 управления вводом команд, кодер 1153 изображений, блок 1154 интерфейса камеры, блок 1155 управления ЖКД, декодер 1156 изображений, мультиплексирующий/разделяющий блок 1157, блок 1162 записи/воспроизведения, модулирующий/демодулирующий блок 1158 и звуковой кодер-декодер 1159. Они взаимно соединены шиной 1160.
Кроме того, сотовый телефон 1100 включает в себя рабочую клавишу 1119, ПЗС-камеру 1116 (прибор с зарядовой связью), жидкокристаллический дисплей 1118, блок 1123 памяти, блок 1163 передачи-приема, антенну 1114, микрофон (MIC) 1121 и динамик 1117.
Когда клавиша включения-выключения и завершения звонка переведена пользователем в положение «включено», на каждый блок подается питание от комплекта батарей, тем самым блок 1151 подачи питания вводит сотовый телефон 1100 в рабочее состояние.
Сотовый телефон 1100 выполняет различные типы действий, такие как прием-передача аудиосигналов, прием-передача электронной почты или данных изображения, съемка изображений, запись данных и т.д. в режимах различных типов, таких как режим аудиовызова, режим обмена данными и т.д., на основе управляющего воздействия основного управляющего блока 1150, состоящего из ЦП, ПЗУ, ОЗУ и т.д.
Например, в режиме аудиовызова сотовый телефон 1100 преобразует аудиосигналы, принятые на микрофон (MIC) 1121, в цифровые аудиоданные с помощью звукового кодера-декодера 1159, подвергает их операции расширения спектра на модулирующем-демодулирующем блоке 1158 и подвергает их операции цифроаналогового преобразования и операции преобразования частоты в блоке 1163 приема-передачи. Сотовый телефон 1100 передает сигнал для передачи, полученный путем этой операции преобразования, на непоказанную базовую станцию через антенну 1114. Сигнал для передачи (аудиосигнал), переданный на базовую станцию, подается на сотовый телефон собеседника через сеть телефонных линий.
Кроме того, в режиме аудиовызова сотовый телефон 1100 усиливает сигнал приема, принятый на антенну 1114, в блоке 1163 приема-передачи и далее подвергает его операции преобразования частоты и операции аналого-цифрового преобразования, подвергает операции обратного расширения спектра на модулирующем-демодулирующем блоке 1158 и преобразует в аналоговый аудиосигнал на звуковом кодере-декодере 1159. Сотовый телефон 1100 выводит аналоговый аудиосигнал, полученный путем его преобразования, на динамик 1117.
Далее, например, в случае, если в режиме обмена данными передается электронное письмо, сотовый телефон 1100 принимает текстовые данные электронного письма, введенные путем манипуляций с рабочей клавишей 1119 в блоке 1152 управления вводом команд. Сотовый телефон 1100 обрабатывает эти текстовые данные на основном управляющем блоке 1150 и отображает как изображение на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД.
Кроме того, сотовый телефон 1100 генерирует данные электронного письма на основном управляющем блоке 1150 на основе текстовых данных или команд пользователя и т.п., принятых в блоке 1152 управления вводом команд. Сотовый телефон 1100 подвергает данные этого электронного письма операции расширения спектра на модулирующем-демодулирующем блоке 1158 и операции цифроаналогового преобразования в блоке 1163 приема-передачи. Сотовый телефон 1100 передает сигнал для передачи, полученный путем их преобразования, на непоказанную базовую станцию через антенну 1114. Сигнал для передачи (электронное письмо), переданный на базовую станцию, подается заранее заданному адресату через сеть и почтовый сервер, и т.д.
Кроме того, например, в случае, если в режиме обмена данными принято электронное письмо, сотовый телефон 1100 принимает сигнал, переданный с базовой станции, в блок 1163 приема-передачи через антенну 1114, усиливает и далее подвергает операции преобразования частоты и операции аналого-цифрового преобразования. Сотовый телефон 1100 подвергает этот принятый сигнал операции обратного расширения спектра, чтобы восстановить исходные данные электронного письма, на модулирующем-демодулирующем блоке 1158. Сотовый телефон 1100 отображает эти восстановленные данные электронного письма на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД.
Отметим, что сотовый телефон 1100 также способен записывать (сохранять) принятые данные электронного письма в блоке 1123 памяти через блок 1162 записи-воспроизведения.
Этот блок 1123 памяти является произвольно выбранным перезаписываемым носителем данных. Блок 1123 памяти может быть, например, полупроводниковой памятью, такой как ОЗУ или встроенной флэш-памятью и т.п., или может быть жестким диском, магнитооптическим диском, оптическим диском, USB-памятью, картой памяти и т.п. Само собой разумеется, блок 1123 памяти может быть отличным от любого из них.
Далее, например, в случае, если в режиме обмена данными передаются данные изображения, сотовый телефон 1100 генерирует данные изображения на ПЗС-камере 1116 путем формирования изображения. ПЗС-камера 1116 включает в себя оптические устройства, такие как линза, диафрагма и т.д., и ПЗС, служащий фотоэлектрическим преобразовательным элементом, формирует изображение объекта, преобразует интенсивность принятого света в электрический сигнал и генерирует данные изображения для изображения объекта. ПЗС-камера 1116 кодирует эти данные изображения на кодере 1153 изображения через интерфейс 1154 камеры и преобразует в кодированные данные изображения.
Сотовый телефон 1100 использует кодирующее устройство, описанное выше со ссылкой на Фиг.1, 9, 14 или 18, в качестве кодера 1153 изображений, который выполняет такую обработку. Кодер 1153 изображений кодирует каждую из множества точек обзора данных изображения и мультиплексирует эти фрагменты кодированных данных вместе с меткой смены обзора таким же образом, как и в случаях с этими кодирующими устройствами. Таким образом, кодер 1153 изображений, используя метку смены обзора, позволяет кодирующей стороне отображать изображение согласно намерению пользователя.
Отметим при этом, что одновременно сотовый телефон 1100 подвергает звук, принятый на микрофон (MIC) 1121 во время съемки ПЗС-камерой 1116 для аналого-цифрового преобразования на звуковом кодере-декодере 1159, и далее кодирует.
Сотовый телефон 1100 мультиплексирует кодированные данные изображения, поданные с кодера 1153 изображений, и цифровые аудиоданные, поданные со звукового кодера-декодера 1159, в блоке 1157 мультиплексирования/разделения, заранее заданным способом. Сотовый телефон 1100 подвергает полученные в результате этого мультиплексированные данные операции расширения спектра на модулирующем-демодулирующем блоке 1158, операции цифроаналогового преобразования и операции преобразования частоты в блоке 1163 приема-передачи. Сотовый телефон 1100 передает сигналы для передачи, полученные путем операции их преобразования, на непоказанную базовую станцию через антенну 1114. Сигналы для передачи (данные изображения), переданные на базовую станцию, подаются собеседнику по сети и т.п.
Отметим, что в случае, когда данные изображения не передаются, сотовый телефон 1100 может отображать данные изображения, выработанные ПЗС-камерой 1116, на жидкокристаллическом дисплее 1118 не через кодер 1153 изображений, а через блок 1155 управления ЖКД.
Кроме того, например, в случае приема в режиме обмена данными данных файла динамического изображения, связанного с упрощенным вебсайтом и т.п., сотовый телефон 1100 принимает сигнал, переданный с базовой станции, в блок 1163 приема-передачи через антенну 1114, усиливает и далее подвергает операции преобразования частоты и операции аналого-цифрового преобразования. Сотовый телефон 1100 подвергает этот принятый сигнал операции обратного расширения спектра на модулирующем-демодулирующем блоке 1158 для восстановления исходных мультиплексированных данных. Сотовый телефон 1100 разделяет эти мультиплексированные данные на кодированные данные изображения и аудиоданные в блоке 1157 мультиплексирования/разделения.
Сотовый телефон 1100 декодирует кодированные данные изображения на декодере 1156 изображений для выработки данных воспроизведения динамического изображения и отображает их на жидкокристаллическом дисплее 1118 через блок 1155 управления ЖКД. Таким образом, например, данные динамического изображения, включенные в файл динамического изображения, связанного с упрощенным вебсайтом, отображаются на жидкокристаллическом дисплее 1118.
Сотовый телефон 1100 использует декодирующее устройство, описанное выше со ссылкой на Фиг.5, 12, 16 или 21, в качестве декодера 1156 изображений, который выполняет такую обработку. В частности, таким же образом, что и в случаях этих декодирующих устройств, декодер 1156 изображений выбирает и декодирует кодированные данные данных изображения, подлежащих отображению в качестве двумерного изображения, на основе метки смены обзора, или декодирует основные кодированные данные, полученные кодированием основных данных изображения, используемых для отображения двумерного изображения, которые выработало кодирующее устройство, сменив изображения на основе заданной метки смены обзора. Таким образом, декодер 1156 изображений делает возможным отображение изображения согласно намерению производителя контента, состоящего из множества точек обзора данных изображения.
При этом моменте одновременно сотовый телефон 1100 преобразует цифровые аудиоданные в аналоговые аудиосигналы на звуковом кодере-декодере 1159 и выводит их с динамика 1117. Таким образом, например, проигрываются аудиоданные, включенные в файл динамического изображения, связанный с упрощенным вебсайтом.
Отметим, что таким же образом, что и электронную почту, сотовый телефон 1100 может записывать (сохранять) принятые данные, связанные с упрощенным вебсайтом и т.п., в блоке 1123 памяти через блок 1162 записи-воспроизведения.
Кроме того, сотовый телефон 1100 может заставить основной управляющий блок 1150 анализировать двумерный код, снятый и полученный ПЗС-камерой 1116 для получения данных, кодированный в двумерном коде.
Далее сотовый телефон 1100 может связываться с внешним устройством в блоке 1181 инфракрасной связи с помощью инфракрасных лучей.
Сотовый телефон 1100 позволяет декодирующей стороне отображать изображение согласно намерению производителя контента с помощью метки смены обзора путем использования устройства, описанного выше со ссылкой на Фиг.1, 9, 14 или 18, в качестве кодера 1153 изображений.
Кроме того, сотовый телефон 1100 делает возможным отображение изображения согласно намерениям производителя контента, состоящего из множественных точек обзора данных изображения, путем использования декодирующего устройства, описанного выше со ссылкой на Фиг.5, 12, 16 или 21, в качестве декодера 1156 изображений.
Отметим, что до этого момента был описан сотовый телефон, использующий ПЗС-камеру 1116, но вместо этой ПЗС-камеры 1116 может быть использован формирователь изображений (КМОП формирователь изображений), использующий КМОП (комплементарные структуры «металл-оксид-полупроводник»).
Кроме того, до сих пор был описан сотовый телефон 1100, но описанные выше кодирующее и декодирующее устройства могут быть применены к любому типу устройств таким же образом, что и к сотовому телефону 1100, при условии, что это устройство выполняет те же функции формирования изображения и связи, что и сотовый телефон 1100, например, к таким устройствам, как КПК (карманный персональный компьютер), смартфон, УМПК (ультрамобильный персональный компьютер), нетбук, персональный компьютер типа ноутбука и т.п.
Фиг.26 является блок-схемой, иллюстрирующей пример принципиальной схемы устройства записи на жесткий диск, использующего кодирующее и декодирующее устройства, к которым применено настоящее изобретение.
Устройство 1200 записи на жесткий диск, показанное на Фиг.26, является устройством, которое сохраняет принятые тюнером аудиоданные и видеоданные вещательных программ, включенные в сигналы волнового вещания (телевизионные сигналы), которые передаются спутниковой или наземной антенной, на встроенный жесткий диск и предоставляет сохраненные данные пользователю в назначенный им момент.
Например, устройство 1200 записи на жесткий диск может быть запрограммировано так, чтобы извлекать аудиоданные и видеоданные из сигналов волнового вещания, при необходимости декодировать их и сохранять их на встроенном жестком диске. Кроме того, например, устройство 1200 записи на жесткий диск может быть запрограммировано так, чтобы получать аудиоданные и видеоданные с другого устройства через сеть, при необходимости декодировать их и сохранять их на встроенном жестком диске.
Далее, например, устройство 1200 записи на жесткий диск может быть запрограммировано так, чтобы декодировать аудио- и видеоданные, сохраненные на встроенном жестком диске, подавать на монитор 1260, отображать относящееся к ним изображение на экране монитора 1260 и выводить относящийся к ним звук с динамика монитора 1260. Кроме того, например, устройство 1200 записи на жесткий диск может быть запрограммировано так, чтобы декодировать аудио- и видеоданные, извлеченные из сигналов волнового вещания, полученных через тюнер, или аудио- и видеоданные, полученные с другого устройства через сеть, подавать на монитор 1260, отображать относящееся к ним изображение на экране монитора 1260 и выводить относящийся к ним звук с динамика монитора 1260.
Само собой разумеется, что могут быть доступны действия, отличные от этих. Как показано на Фиг.26, устройство 1200 записи на жесткий диск включает в себя принимающий блок 1221, демодулирующий блок 1222, демультиплексирующий блок 1223, аудиодекодер 1224, видеодекодер 1225 и блок 1126 управления записывающим устройством. Устройство 1200 записи на жесткий диск далее включает в себя память 1227 данных EPG, память 1228 программ, рабочую память 1229, преобразователь 1230 отображения, блок 1231 управления OSD (отображением дополнительной информации), блок 1232 управления отображением, блок 1233 записи/воспроизведения, цифроаналоговый преобразователь 1234 и блок 1235 связи.
Кроме того, преобразователь 1230 отображения включает в себя видеокодер 1241. Блок 1233 записи/воспроизведения включает в себя кодер 1251 и декодер 1252.
Принимающий блок 1221 принимает сигналы инфракрасного излучения с пульта дистанционного управления (не показан), преобразует их в электрические сигналы и выводит в блок 1226 управления записывающим устройством. Блок 1226 управления записывающим устройством выполнен из, например, микропроцессора и т.п. и выполняет различные типы операций в соответствии с программой, сохраненной в памяти 1228 программ. При этом моменте блок 1226 управления записывающим устройством использует рабочую память 1229 в соответствии с потребностью.
Блок 1235 связи подключен к сети и выполняет операцию связи с другим устройством через сеть. Например, блок 1235 связи, управляемый блоком 1226 управления записывающим устройством, связывается с тюнером (не показан) и преимущественно выводит сигнал управления выбором канала на тюнер.
Демодулирующий блок 1222 демодулирует сигнал, поданный с тюнера, и выводит на демультиплексор 1223. Демультиплексор 1223 разделяет данные, поданные с демодулирующего блока 1222, на аудиоданные, видеоданные и данные EPG и выводит на аудиодекодер 1224, видеодекодер 1225 и блок 1226 управления записывающим устройством соответственно.
Аудиодекодер 1224 декодирует введенные аудиоданные и выводит в блок 1233 записи-воспроизведения. Видеодекодер 1225 декодирует введенные видеоданные и выводит на преобразователь 1230 отображения. Блок 1226 управления записывающим устройством подает и сохраняет введенные данные EPG в памяти 1227 данных EPG.
Преобразователь 1230 отображения кодирует видеоданные, поданные с видеодекодера 1225 или блока 1226 управления записывающим устройством, в видеоданные, соответствующие, например, системе NTSC (Национального комитета по телевизионным стандартам), на видеокодере 1241 и выводит в блок 1233 записи/воспроизведения. Кроме того, преобразователь 1230 отображения преобразует размер экрана видеоданных, поданных из видеодекодера 1225 или блока 1226 управления записывающим устройством, в размер, соответствующий размеру монитора 1260, преобразует в видеоданные, соответствующие системе NTSC с помощью видеокодера 1241, преобразует в аналоговые сигналы и выводит в блок 1232 управления отображением.
Блок 1232 управления отображением, управляемый блоком 1226 управления записывающим устройством, накладывает сигналы OSD, которые выводит блок 1231 управления OSD (отображением дополнительной информации), на видеосигналы, введенные с преобразователя 1230 отображения, для вывода на дисплей монитора 1260 для отображения.
Кроме того, аудиоданные, которые выводит аудиодекодер 1224, преобразуются в аналоговые сигналы с помощью цифроаналогового преобразователя 1234 и подаются на монитор 1260. Монитор 1260 выводит аудиосигналы со встроенного динамика.
Блок 1233 записи/воспроизведения включает в себя жесткий диск в качестве носителя данных для записи видеоданных, аудиоданных и т.д.
Блок 1233 записи/воспроизведения кодирует, например, аудиоданные, поданные с аудиодекодера 1224, с помощью кодера 1251. Кроме того, блок 1233 записи-воспроизведения кодирует видеоданные, поданные с видеокодера 1241 преобразователя 1230 отображения, с помощью кодера 1251. Блок 1233 записи/воспроизведения синтезирует кодированные данные из этих аудио- и видеоданных, с помощью мультиплексора. Блок 1233 записи/воспроизведения подвергает эти синтезированные данные канальному кодированию, усиливает и записывает эти данные на жесткий диск с помощью записывающей головки.
Блок 1233 записи/воспроизведения воспроизводит данные, записанные на жесткий диск, с помощью воспроизводящей головки, усиливает и разделяет на аудио- и видеоданные с помощью демультиплексора. Блок 1233 записи/воспроизведения декодирует аудио- и видеоданные с помощью декодера 1252. Блок 1233 записи/воспроизведения подвергает декодированные аудиоданные цифроаналоговому преобразованию и выводит на динамик монитора 1260. Кроме того, блок 1233 записи/воспроизведения подвергает декодированные видеоданные цифроаналоговому преобразованию и выводит на дисплей монитора 1260.
Блок 1226 управления записывающим устройством считывает последние данные ЭТГ из памяти 1227 данных ЭТГ на основе команды пользователя, обозначенной сигналом инфракрасного излучения с пульта дистанционного управления, который принимается через принимающий блок 1221, и подает их в блок 1231 управления OSD. Блок 1231 управления OSD генерирует данные изображения, соответствующие введенным данным EPG, и выводит в блок 1232 управления отображением. Блок 1232 управления отображением выводит видеоданные, введенные из блока 1231 управления OSD, на дисплей монитора 1260 для отображения. Таким образом, EPG (электронный телегид) отображается на дисплее монитора 1260.
Кроме того, устройство 1200 записи на жесткий диск может получать различные типы данных, такие как видеоданные, аудиоданные, данные EPG и т.д., которые подаются с другого устройства через сеть, такую как Интернет и т.п.
Блок 1235 связи, управляемый блоком 1226 управления записывающим устройством, получает кодированные данные, такие как видеоданные, аудиоданные, данные ЭТГ и т.д., которые передаются с другого устройства через сеть, и подает в блок 1226 управления записывающим устройством. Блок 1226 управления записывающим устройством подает, например, кодированные данные полученных видео- и аудиоданных в блок 1233 записи/воспроизведения и сохраняет на жестком диске. При этом блок 1226 управления записывающим устройством и блок 1233 записи/воспроизведения могут при необходимости выполнить такую операцию, как повторное кодирование и т.п.
Кроме того, блок 1226 управления записывающим устройством декодирует кодированные данные полученных видео- и аудиоданных и подает полученные видеоданные на преобразователь 1230 отображения. Преобразователь 1230 отображения обрабатывает видеоданные, поданные из блока 1226 управления записывающим устройством, таким же образом, что и видеоданные, поданные с видеодекодера 1225, подает их на монитор 1260 через блок 1232 управления отображением и отображает относящееся к ним изображение.
Кроме того, синхронно с отображением этого изображения блок 1226 управления записывающим устройством может подать декодированные аудиоданные на монитор 1260 через цифроаналоговый преобразователь 1234 для вывода относящегося к ним звука из динамика.
Далее блок 1226 управления записывающим устройством декодирует кодированные данные полученных данных EPG и подает декодированные данные EPG в память 1227 данных EPG.
Устройство 1200 записи на жесткий диск, выполненное таким образом, использует декодирующее устройство, описанное выше со ссылкой на Фиг.5, 12, 16 или 21, в качестве видеодекодера 1225, декодера 1252 и декодера, находящегося в блоке 1226 управления записывающим устройством. А именно, видеодекодер 1225, декодер 1252 и декодер, находящийся в блоке 1226 управления записывающим устройством, выбирает и декодирует кодированные данные данных изображения, подлежащих отображению в качестве двумерного изображения, на основе метки смены обзора, или декодирует основные кодированные данные, полученные кодированием основных данных изображения, используемых для отображения двумерного изображения, которые выработало кодирующее устройство, сменив изображения на основе заданной метки смены обзора, таким же образом, что и эти декодирующие устройства. Таким образом, и видеодекодер 1225, и декодер 1252, и декодер, находящийся в блоке 1226 управления записывающим устройством, делают возможным отображение изображения согласно намерению производителя контента, состоящего из множества точек обзора данных изображения.
Таким образом, устройство 1200 записи на жесткий диск делает возможным отображение изображения согласно намерению производителя контента, состоящего из множества точек обзора данных изображения, в момент приема видеоданных (кодированных данных) тюнером или блоком 1235 связи или в момент воспроизведения видеоданных (кодированных данных) с жесткого диска с помощью блока 1233 записи/воспроизведения.
Кроме того, устройство 1200 записи на жесткий диск использует кодирующее устройство, описанное выше со ссылкой на Фиг.1, 9, 14 или 18 в качестве кодера 1251. Таким образом, кодер 1251 кодирует таким же образом, что и эти кодирующие устройства, каждую из множества точек обзора данных изображения и мультиплексирует эти кодированные данные с меткой смены обзора. Соответственно, устройство 1200 записи на жесткий диск позволяет, например, декодирующей стороне отображать изображение согласно намерению производителя контента с помощью метки смены обзора.
Отметим, что до сих пор было описано устройство 1200 записи на жесткий диск, которое записывает видео- и аудиоданные на жесткий диск, но, само собой разумеется, что носителем записи может являться носитель любого типа. Описанные выше кодирующее и декодирующее устройства могут быть применены даже к записывающему устройству, в котором используется носитель записи, отличный от жесткого диска, например, такой как флэш-память, оптический диск, видеокассета и т.п., таким же образом, что и к описанному выше устройству 1200 записи на жесткий диск.
Фиг.27 является блок-схемой, иллюстрирующей пример принципиальной схемы камеры, использующей кодирующее и декодирующее устройства, к которым применено настоящее изобретение.
Камера 1300, показанная на Фиг.27, формирует изображение объекта, отображает изображение объекта на ЖКД 1216 или записывает его на носитель 1333 записи в качестве данных изображения.
Линзовый блок 1311 пропускает свет (т.е. изображение объекта) на ПЗС/КМОП 1312. ПЗС/КМОП 1312, который является формирователем изображений, использующим ПЗС или КМОП, преобразует интенсивность принятого света в электрический сигнал и подает в блок 1313 обработки сигнала камеры.
Блок 1313 обработки сигнала камеры преобразует электрический сигнал, поданный с ПЗС/КМОП 1312, в цветоразностные сигналы Y, Cr и Cb и подает в блок 1314 обработки сигнала изображения. Блок 1314 обработки сигнала изображения под управлением управляющего устройства 1321 подвергает сигнал изображения, поданный из блока 1313 обработки сигнала камеры, заранее заданной обработке изображения или кодирует этот сигнал изображения с помощью кодера 1341. Блок 1314 обработки сигнала изображения подает кодированные данные, выработанные путем кодирования сигнала изображения, на декодер 1315. Далее блок 1314 обработки сигнала изображения получает данные для отображения, выработанные в блоке 1320 отображения дополнительной информации (OSD), и подает их на декодер 1315.
При описанной выше обработке блок 1313 обработки сигнала камеры при необходимости использует ДОЗУ (динамическое ОЗУ) 1318 с подключением через шину 1317 и хранит данные изображения, кодированные данные, полученные путем кодирования этих данных изображения, и т.д. в этом ДОЗУ 1318 при необходимости.
Декодер 1315 декодирует кодированные данные, поданные из блока 1314 обработки сигнала изображения, и подает полученные данные изображения (декодированные данные изображения) на ЖКД 1316. Кроме того, декодер 1315 подает данные для отображения, поданные из блока 1314 обработки сигнала изображения, на ЖКД 1316. ЖКД 1316 при необходимости синтезирует изображение из декодированных данных изображения, поданных из декодера 1315, и изображение из данных для отображения, и отображает их синтезированное изображение.
Блок 1320 отображения дополнительной информации под управлением управляющего устройства 1321 выводит данные для изображения, такие как экран меню или иконка и т.п., состоящие из символов, знаков и цифр, в блок 1314 обработки сигнала изображения через шину 1317.
Управляющее устройство 1321 выполняет различные типы операций на основе сигналов, указывающих контент команд пользователя, отданных им с помощью командного блока 1322, а также управляет блоком 1314 обработки сигнала изображения, ДОЗУ 1318, внешним интерфейсом 1319, блоком 1320 отображения дополнительной информации, приводом 1323 для носителей и т.д. через шину 1317. Программа, данные и т.п., необходимые для выполнения различных типов операций управляющим устройством 1321, сохраняются во флэш-ПЗУ 1324.
Например, управляющее устройство 1321 может кодировать данные изображения, сохраненные в ДОЗУ 1318, или декодировать кодированные данные, сохраненные в ДОЗУ 1318, вместо блока 1314 обработки сигнала изображения и декодера 1315. При этом моменте управляющее устройство 1321 может выполнять операции кодирования и декодирования по такой же системе, что и система кодирования и декодирования блока 1314 обработки сигнала изображения и декодера 1315, или может выполнять операции кодирования и декодирования по системе, отличной от систем, которыми могут оперировать блок 1314 обработки сигнала изображения и декодер 1315.
Кроме того, например, в случае, если с командного блока 1322 поступила команда начать печать изображения, управляющее устройство 1320 считывает данные изображения из ДОЗУ 1318 и подает их на принтер 1334, подключенный к внешнему интерфейсу 1319 через шину 1317, для печати.
Далее, например, в случае, если с командного блока 1322 поступила команда записать изображение, управляющее устройство 1321 считывает кодированные данные из ДОЗУ 1318 и подает их для сохранения на носитель 1333 записи, установленный в приводе 1323 для носителей.
Носитель 1333 записи является произвольным съемным носителем с возможностью считывания и записи, например, таким как магнитный диск, магнитооптический диск, оптический диск, полупроводниковая память и т.п. Относительно носителя 1333 записи само собой разумеется, что тип устройства, служащего съемным носителем, является произвольным, он может являться запоминающим устройством на ленте, диском или картой памяти. Само собой разумеется, что он может являться бесконтактной платой ИС и т.п.
Кроме того, привод 1323 для носителей и носитель 1323 записи могут быть объединены и выполнены в виде непереносного носителя записи, такого как встроенный жесткий диск, твердотельный диск (SSD, solid state drive) и т.п.
Внешний интерфейс 1319 выполнен в виде, например, USB-терминала ввода-вывода и т.п. и соединяется с принтером 1334 в случае выполнения печати изображения. Кроме того, привод 1331 при необходимости соединяется с внешним интерфейсом 1319, на котором при необходимости устанавливается съемный носитель, такой как магнитный диск, оптический диск, магнитооптический диск и т.п., и считываемая с него компьютерная программа при необходимости устанавливается во флэш-ПЗУ 1324.
Далее внешний интерфейс 1319 включает в себя сетевой интерфейс, соединяемый с заранее заданной сетью, такой как локальная сеть, Интернет и т.п. Управляющее устройство 1321 может быть запрограммировано так, чтобы считывать кодированные данные из ДОЗУ 1318 в соответствии с командой с командного блока 1322, например, и подавать их на другое устройство, подключаемое через сеть с внешнего интерфейса 1319.
Кроме того, управляющее устройство 1321 может быть запрограммировано так, чтобы через внешний интерфейс 1319 получать кодированные данные или данные изображения, поданные с другого устройства через сеть, и сохранять их в ДОЗУ 1318 или подавать их в блок 1314 обработки сигнала изображения.
Камера 1300, выполненная таким образом, использует декодирующее устройство, описанное выше со ссылкой на Фиг.5, 12, 16 или 21, в качестве декодера 1315. А именно, декодер 1315 выбирает и декодирует кодированные данные данных изображения, подлежащих отображению в качестве двумерного изображения, на основе метки смены обзора, или декодирует основные кодированные данные, полученные кодированием основных данных изображения, используемых для отображения двумерного изображения, которые выработало кодирующее устройство, переключив изображения на основе заданной метки смены обзора, таким же образом, что и эти декодирующие устройства. Таким образом, декодер 1315 делает возможным отображение изображения согласно намерению производителя контента, состоящего из множества точек обзора данных изображения.
Таким образом, камера 1300 делает возможным отображение изображения согласно намерению производителя контента, состоящего из множества точек обзора данных изображения, например, в момент считывания данных изображения, выработанных на ПЗС/КМОП 1312, или кодированных данных видеоданных из ДОЗУ 1318 или носителя 1333 записи, или в момент получения кодированных данных видеоданных через сеть.
Кроме того, камера 1300 позволяет декодирующей стороне, например, в момент записи кодированных данных в ДОЗУ 1318 или на носитель 1333 записи, или в момент предоставления кодированных данных другому устройству, отображать изображение согласно намерению производителя контента, используя метку смены обзора.
Отметим, что способ декодирования описанного выше декодирующего устройства может быть применен к операции декодирования, выполняемой управляющим устройством 1321. Аналогично, способ кодирования описанного выше кодирующего устройства может быть применен к операции кодирования, выполняемой управляющим устройством 1321.
Кроме того, данные изображения, формируемого камерой 1300, могут быть динамическим или неподвижным изображением.
Само собой разумеется, что описанные выше кодирующее и декодирующее устройства могут быть применены к устройству или системе, отличным от описанных выше устройств.
Расширенный макроблок
Кроме того, размер макроблока является произвольным. Настоящее изобретение может быть применено, например, ко всем размерам макроблоков, как показано на Фиг.28. Например, настоящее изобретение может быть применено не только к обычному макроблоку, такому как 16×16 пикселов, но также к расширенному макроблоку, такому как 32×32 пиксела.
В верхней части Фиг.28 последовательно показаны макроблоки, состоящие из 32×32 пиксела, разделенные на блоки (отделения), слева направо, по 32×32 пиксела, 32×16 пикселов, 16×32 пиксела и 16×16 пикселов. Кроме того, в средней части последовательно показаны макроблоки, состоящие из 16×16 пикселов, разделенные на блоки (отделения), слева направо, по 16×16 пикселов, 16×8 пикселов, 8×16 пикселов и 8×8 пикселов. Далее, в нижней части последовательно показаны макроблоки, состоящие из 8×8 пикселов, разделенные на блоки (отделения), слева направо, по 8×8 пикселов, 8×4 пиксела, 4×8 пикселов и 4×4 пиксела.
А именно, для макроблока 32×32 пиксела доступна обработка в блоках по 32×32 пиксела, 32×16 пикселов, 16×32 пиксела и 16×16 пикселов, показанных в верхней части.
Для блока 16×16 пикселов, показанного в верхней части справа, так же как в системе H.264/AVC, доступна обработка в блоках по 16×16 пикселов, 16×8 пикселов, 8×16 пикселов и 8×8 пикселов, показанных в средней части.
Для блока 8×8 пикселов, показанного в средней части справа, так же как в системе H.264/AVC, доступна обработка в блоках по 8×8 пикселов, 8×4 пиксела, 4×8 пикселов и 4×4 пиксела, показанных в нижней части.
Эти блоки могут быть распределены по следующим трем иерархическим шкалам. В частности, блоки по 32×32 пиксела, 32×16 пикселов и 16×32 пиксела, показанные в верхней части Фиг.28, будут отнесены к первой иерархической шкале. Блок 16×16 пикселов, показанный в верхней части справа, и блоки по 16×16 пикселов, 16×8 пикселов и 8×16 пикселов, показанные в средней части, будут отнесены ко второй иерархической шкале. Блок 8×8 пикселов, показанный в средней части справа, и блоки по 8×8 пикселов, 8×4 пиксела, 4×8 пикселов и 4×4 пиксела, показанные в нижней части, будут отнесены к третьей иерархической шкале.
За счет применения такой иерархической конфигурации больший блок может быть определен как надмножество блоков, равных или меньших, чем блок 16×16 пикселов, сохраняя совместимость с системой H.264/AVC.
Например, кодирующее и декодирующее устройства, к которым применено настоящее изобретение, могут вычислить коэффициент фильтрации для каждой иерархической шкалы. Кроме того, например, кодирующее и декодирующее устройства, к которым применено настоящее изобретение, могут установить коэффициент фильтрации, соответствующий первой иерархической шкале, размер блока в которой больше, чем размер блока во второй иерархической шкале, как вторую иерархическую шкалу. Далее, например, кодирующее и декодирующее устройства, к которым применено настоящее изобретение, могут установить коэффициент фильтрации относительно прошедшей иерархической шкалы.
Подобно первой и второй иерархическим шкалам, макроблок, в котором кодирование выполняется с использованием блоков относительно большого размера, относительно исключает высокочастотные элементы. С другой стороны, подобно третьей иерархической шкале, считается, что макроблок, в котором кодирование выполняется с использованием блоков относительно малого размера, относительно включает в себя высокочастотные элементы.
Следовательно, позволяет достичь улучшения качества кодирования, адаптированного к локальным свойствам изображения.
Отметим, что число отводов фильтра может различаться для каждой иерархической шкалы.
Список ссылочных позиций
111-11n - Кодирующий блок
12 - Блок установки метки
13 - Генерирующий блок
21 - Блок аналого-цифрового преобразования
22 - Буфер сортировки изображений
23 - Вычислительный блок
24 - Блок ортогонального преобразования
25 - Блок квантования
26 - Блок кодирования без потерь
27 - Накапливающий буфер
28 - Блок управления скоростью
29 - Блок обратного квантования
30 - Блок обратного ортогонального преобразования
31 - Вычислительный блок
32 - Кадровая память
33 - Блок внутреннего прогнозирования
34 - Блок прогнозирования/компенсации движения
41 - Извлекающий блок
421-42N - Декодирующий блок
43 - Блок преобразования изображения для стереоскопического восприятия
44 - Блок выбора
45 - Декодирующий блок
51 - Накапливающий буфер
52 - Блок декодирования данных, кодированных без потерь
53 - Блок обратного квантования
54 - Блок обратного ортогонального преобразования
55 - Вычислительный блок
56 - Кадровая память
57 - Блок внутреннего прогнозирования
58 - Блок прогнозирования/компенсации движения
59 - Буфер сортировки изображений
60 - Блок цифроаналогового преобразования
71 - Переключающий блок
81 - Восстанавливающий блок
101 - Шина
102 - ЦП
103 - ПЗУ
104 - ОЗУ
105 - Жесткий диск
106 - Блок вывода
107 - Блок ввода
108 - Блок связи
109 - Привод
110 - Интерфейс ввода-вывода
111 - Съемный носитель записи.
Изобретение относится к устройству и способу обработки изображений, в соответствии с которыми изображение согласно намерению производителя контента может быть отображено в случае, если контент стереоскопического изображения отображается в виде двумерного изображения. Техническим результатом является повышение эффективности кодирования двумерного изображения. Устройство содержит: средство преобразования, выполненное с возможностью преобразовывать N точек обзора данных изображения в основные данные изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и дополнительные данные изображения в соответствии с задающей информацией, задающей данные изображения, используемые для отображения двумерного изображения, из N точек обзора данных изображения; и передающее средство, выполненное с возможностью передавать основные данные изображения и упомянутые дополнительные данные изображения, преобразуемые упомянутым средством преобразования, и упомянутую задающую информацию. Преобразование осуществляют путем смены данных изображения части точек обзора из упомянутых N точек обзора данными изображения другой точки обзора. 4 н. и 8 з.п. ф-лы, 32 ил.
1. Устройство обработки изображений, содержащее:
средство преобразования, выполненное с возможностью преобразовывать - в соответствии с задающей информацией, задающей данные изображения, используемые для отображения двумерного изображения, из N точек обзора данных изображения - упомянутые N точек обзора данных изображения, путем смены данных изображения части точек обзора из упомянутых N точек обзора данными изображения другой точки обзора, в основные данные изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и дополнительные данные изображения; и
передающее средство, выполненное с возможностью передавать основные данные изображения и упомянутые дополнительные данные изображения, преобразуемые упомянутым средством преобразования, и упомянутую задающую информацию.
2. Устройство обработки изображений по п.1, дополнительно содержащее:
средство установки задающей информации, выполненное с возможностью устанавливать задающую информацию, задающую данные изображения, используемые для отображения двумерного изображения, из упомянутых N точек обзора данных изображения.
3. Устройство обработки изображений по п.2, в котором упомянутое передающее средство выполнено с возможностью передавать упомянутый цифровой поток и упомянутую задающую информацию путем их связывания.
4. Устройство обработки изображений по п.2, в котором упомянутое средство установки задающей информации выполнено с возможностью устанавливать упомянутую задающую информацию для каждого из одного или более последовательных кадров.
5. Устройство обработки изображений по п.1, в котором упомянутое средство преобразования выполнено с возможностью преобразовывать упомянутые N точек обзора данных изображения в один фрагмент основных данных изображения и N-1 фрагментов дополнительных данных изображения.
6. Устройство обработки изображений по п.1, в котором упомянутые N точек обзора данных изображения являются данными изображения точки обзора для левого глаза, подлежащими просмотру левым глазом, и данными изображения точки обзора для правого глаза, подлежащими просмотру правым глазом.
7. Устройство обработки изображений по п.1, дополнительно содержащее:
кодирующее средство, выполненное с возможностью кодировать N точек обзора данных изображения для генерирования цифрового потока.
8. Способ обработки изображений, содержащий:
этап преобразования, на котором преобразуют - в соответствии с задающей информацией, задающей данные изображения, используемые для отображения двумерного изображения, из N точек обзора данных изображения - упомянутые N точек обзора данных изображения, путем смены данных изображения части точек обзора из упомянутых N точек обзора данных изображения данными изображения другой точки обзора, в основные данные изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и дополнительные данные изображения; и
этап передачи, на котором передают основные данные изображения и дополнительные данные изображения, преобразованные на упомянутом этапе преобразования, и упомянутую задающую информацию.
9. Устройство обработки изображений, содержащее:
приемное средство, выполненное с возможностью принимать задающую информацию, задающую данные изображения, используемые для отображения двумерного изображения, из N точек обзора данных изображения, основные данные изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и дополнительные данные изображения, получаемые путем смены данных изображения части точек обзора из упомянутых N точек обзора данными изображения другой точки обзора данных изображения в соответствии с упомянутой задающей информацией; и
восстанавливающее средство, выполненное с возможностью восстанавливать основные данные изображения и дополнительные данные изображения, принимаемые упомянутым приемным средством, в N точек обзора данных изображения в соответствии с задающей информацией, принимаемой упомянутым приемным средством.
10. Устройство обработки изображений по п.9, дополнительно содержащее
средство преобразования изображения для стереоскопического восприятия, выполненное с возможностью преобразовывать упомянутые N точек обзора данных изображения в данные изображения стереоскопического восприятия для стереоскопического восприятия.
11. Устройство обработки изображения по п.9, в котором упомянутое приемное средство выполнено с возможностью принимать упомянутую задающую информацию, один фрагмент основных данных изображения и N-1 фрагментов дополнительных данных изображения, полученных из упомянутых N точек обзора данных изображения.
12. Способ обработки изображений, содержащий:
этап приема, на котором принимают задающую информацию, задающую данные изображения, используемые для отображения двумерного изображения, из N точек обзора данных изображения, основные данные изображения, которые являются данными изображения, используемыми для отображения двумерного изображения, и дополнительные данные изображения, полученные путем смены данных изображения части точек обзора из упомянутых N точек обзора данными изображения другой точки обзора в соответствии с упомянутой задающей информацией; и
этап восстановления, на котором восстанавливают из основных данных изображения и дополнительных данных изображения, принятых на упомянутом этапе приема, N точек обзора данных изображения в соответствии с задающей информацией, принятой на упомянутом этапе приема.
| Пресс для выдавливания из деревянных дисков заготовок для ниточных катушек | 1923 |
|
SU2007A1 |
| Пресс для выдавливания из деревянных дисков заготовок для ниточных катушек | 1923 |
|
SU2007A1 |
| Пресс для выдавливания из деревянных дисков заготовок для ниточных катушек | 1923 |
|
SU2007A1 |
| Приспособление к индикатору для определения момента вспышки в двигателях | 1927 |
|
SU10474A1 |
| RU 2000116340 A (СОНИ КОМПЬЮТЕР ЭНТЕРТЭЙТМЕНТ ИНК.), 27.07.2002 | |||
