Область техники
Настоящее изобретение относится к устройству формирования данных движущегося изображения, которое формирует данные движущегося изображения, устройству воспроизведения движущегося изображения, которое воспроизводит на экране движущееся изображение, а также к способу формирования данных движущегося изображения и способу воспроизведения движущегося изображения, реализуемых этими устройствами.
Известный уровень техники
Предложены домашние системы развлечений, которые могут не только исполнять игровые программы, но и воспроизводить на экране движущиеся изображения. В этих домашних развлекательных системах графический процессор формирует трехмерные изображения, используя многоугольники (см., например, патентный документ 1).
Безотносительно к тому, является ли изображение движущимся изображением или неподвижным изображением, постоянной и важной проблемой остается повышение эффективности воспроизведения этого изображения. В этом контексте были разработаны и введены в практику различные технологии по многим направлениям, таким как технология сжатия, технология передачи, технология обработки изображений и технология воспроизведения на экране данных изображения, которые обеспечивают эстетическое восприятие изображений высокой четкости в различных сценах и известным образом.
Список родственного уровня техники
Патентные документы
Патентный документ 1: Патент США 6563999
Краткое изложение изобретения
Проблемы, которые должны быть решены изобретением
Всегда существует необходимость воспроизведения изображений высокой четкости с высоким быстродействием изменений этих изображений в соответствии с требованиями пользователя. Например, реализация воспроизведения на экране изображения, при котором пользователь мог бы рассматривать изображение под произвольным углом, или когда пользователь из всего воспроизводимого изображения мог бы увеличивать ту область, которая представляет для него интерес, и перемещать воспроизводимую на экране область на другую область с высоким быстродействием изменений, станут возможными, если можно будет за короткое время обрабатывать большие объемы данных, обеспечивая при этом произвольный доступ к данным. Таким образом, неизбежно возникает необходимость в дальнейшем технологическом прогрессе.
Исходя из подобных обстоятельств, целью настоящего изобретения является предоставление технологии обработки изображений, позволяющей воспроизводить на экране движущиеся изображения высокой четкости с высоким быстродействием изменений при вводе пользователем операции по воспроизведению области изображения, ограничивая при этом объем обрабатываемых данных.
Средства решения этой проблемы
Один пример осуществления настоящего изобретения относится к устройству формирования данных движущихся изображений. Устройство формирования данных движущихся изображений формирует иерархические данные движущегося изображения, где иерархически организованы в порядке разрешения многие последовательности изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение при различных уровнях разрешения, для формирования воспроизводимого на экране изображения, переключая при этом используемый слой на другой слой в соответствии с уровнем разрешения, требуемым в устройстве обработки изображений, которое воспроизводит движущееся изображение, и содержит: блок формирования иерархических данных, который формирует данные изображения соответствующих слоев каждого кадра изображения ступенчатым уменьшением каждого кадра изображения, и в данные изображения по меньшей мере одного слоя включаются данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и тем самым образует иерархические данные движущегося изображения; и блок формирования сжатых данных, который сжимает и кодирует иерархические данные движущегося изображения, образованные упомянутым блоком формирования иерархических данных, и записывает сжатые и кодированные иерархические данные движущегося изображения в запоминающем устройстве.
Другой пример осуществления настоящего изобретения относится к устройству воспроизведения движущихся изображений. Устройство воспроизведения движущихся изображений содержит: блок памяти данных движущихся изображений, который хранит иерархические данные движущегося изображения, образованные иерархической организацией в порядке уровней разрешения многих последовательностей изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение с различными уровнями разрешения; блок получения входной информации, который последовательно получает сигналы требования на перемещение области воспроизведения в движущемся изображении, которое воспроизводится на экране; и блок обработки воспроизведения изображения, который обеспечивает воспроизведение изображения в соответствии с сигналом требования на перемещение каждого кадра изображения, переключая при этом используемый слой на другой слой из многих слоев, входящих в иерархические данные движущегося изображения, в соответствии с требуемым разрешением, определяемым сигналом требования на перемещение, переданным из блока получения входной информации, при этом, данные изображения по меньшей мере одного слоя из многих слоев, образующих иерархические данные движущегося изображения, содержат данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и при этом блок обработки воспроизведения изображения восстанавливает изображение увеличением и добавлением изображения на упомянутом другом слое в случае, когда данные, используемые при воспроизведении, являются данными разностного изображения.
Еще один пример осуществления настоящего изобретения относится к способу формирования данных движущихся изображений. Способ формирования данных движущихся изображений обеспечивает формирование иерархических данных движущегося изображения, представляющих собой иерархически организованные в порядке уровней разрешения многие последовательности изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение при различных уровнях разрешения, для формирования воспроизводимого изображения, переключая при этом используемый слой на другой слой в соответствии с уровнем разрешения, требуемым в устройстве обработки изображений, которое воспроизводит движущееся изображение. Этот способ формирования данных движущихся изображений содержит: этап, на котором считываются данные движущегося изображения, содержащие последовательности кадров изображения, представленные с одним уровнем разрешения, из запоминающего устройства; этап, на котором генерируются данные изображения соответствующих слоев каждого кадра изображения несколькими ступенчатыми уменьшениями каждого кадра изображения до нескольких размеров; этап, на котором в данные изображения по меньшей мере одного слоя включаются данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и тем самым образует иерархические данные движущегося изображения; и этап, на котором сжимаются и кодируются иерархические данные движущегося изображения, и упомянутые данные записываются в запоминающем устройстве.
Еще один пример осуществления настоящего изобретения относится к способу воспроизведения движущихся изображений. Способ воспроизведения движущихся изображений содержит: этап, на котором считывается из запоминающего устройства по меньшей мере часть иерархических данных движущегося изображения, представляющих собой иерархически организованные в порядке уровней разрешения многие последовательности изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение, при различных уровнях разрешения, и запуск воспроизведения движущегося изображения на дисплейном устройстве, используя по меньшей мере часть иерархических данных движущегося изображения; этап, на котором принимается сигнал требования на перемещение области воспроизведении в движущемся изображении, которое воспроизводится на экране; этап, на котором формируется воспроизводимое изображение в соответствии с сигналом требования на перемещение каждого кадра изображения, переключая при этом используемый слой на другой слой из многих слоев, входящих в иерархические данные движущегося изображения, в соответствии с требуемым разрешением, определяемым сигналом требования на перемещение; и этап, на котором сформированное изображение воспроизводится на экране дисплейного устройства, при этом данные изображения по меньшей мере одного слоя из многих слоев, образующих иерархические данные движущегося изображения, содержат данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и тем самым образует иерархические данные движущегося изображения; где этап, на котором формируется воспроизводимое изображение, содержит восстановление изображения увеличением и добавлением изображения на упомянутом другом слое в случае, когда данные, используемые при воспроизведении, являются данными разностного изображения.
Еще один пример осуществления настоящего изобретения относится к структуре данных файла движущихся изображений, которые должны воспроизводиться на дисплейном устройстве. В этой структуре данных установлено соответствие между: диапазоном уровней разрешения, определяемым вводимой пользователем операцией, касающейся области воспроизведения; и иерархическими данными движущегося изображения, которые создаются иерархической организацией в порядке разрешения многих последовательностей изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение при различных уровнях разрешения, и которые используются переключением в соответствии с диапазоном уровней разрешения, при этом данные изображения по меньшей мере одного слоя включают данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и при этом изображение на упомянутом другом слое увеличивается и добавляется, тем самым восстанавливая изображение при его воспроизведении на экране.
Произвольные комбинации упомянутых выше структурных компонентов, а также реализации изобретения в форме способов, приспособлений, систем, компьютерных программ и прочего, также могут быть использованы на практике в виде дополнительных форм настоящего изобретения.
Преимущественный эффект изобретения
В соответствии с настоящим изобретением, может быть реализовано плавное воспроизведение движущихся изображений с возможностью высокого быстродействия исполнения операций с воспроизводимой областью, вводимых пользователем.
Краткое описание фигур чертежей
Фиг. 1 - рисунок, иллюстрирующий среду, в которой может быть использована система обработки изображений, в соответствии с настоящим примером осуществления;
Фиг. 2 - показывает пример внешнего вида устройства ввода, которое может быть использовано для системы обработки изображений, показанной на Фиг.1;
Фиг. 3 - показывает на концептуальном уровне иерархические данные движущегося изображения, являющиеся объектом обработки, в соответствии с настоящим примером осуществления;
Фиг. 4 - показывает конфигурацию устройства обработки изображений, в соответствии с настоящим примером осуществления;
Фиг. 5 - показывает подробную конфигурацию блока управления, имеющего функцию воспроизведения движущегося изображения, используя данные движущегося изображения, которые имеют иерархическую структуру, в соответствии с настоящим примером осуществления;
Фиг. 6 - схематично показывает состояние, где некоторые слои данных движущегося изображения, имеющих иерархическую структуру, представлены разностными изображениями, в соответствии с настоящим примером осуществления;
Фиг. 7 - показывает рисунок, иллюстрирующий пример осуществления, где распределение слоя исходного изображения и слоя разностного изображения переключается между несколькими конфигурациями распределения, в соответствии с настоящим примером осуществления;
Фиг. 8 - показывает пример порядка распределения слоев исходного изображения и слоев разностного изображения, в соответствии с настоящим примером осуществления;
Фиг. 9 - показывает пример порядка распределения слоев исходного изображения и слоев разностного изображения, в соответствии с настоящим примером осуществления;
Фиг. 10 - показывает другой пример порядка распределения слоев исходного изображения и слоев разностного изображения, в соответствии с настоящим примером осуществления;
Фиг. 11 - показывает другой пример порядка распределения слоев исходного изображения и слоев разностного изображения, в соответствии с настоящим примером осуществления;
Фиг. 12 - показывает конфигурацию потока движущегося изображения в случае, когда порядок кадров движущегося изображения принимается точно таким, как порядок данных потока движущегося изображения, в соответствии с настоящим примером осуществления;
Фиг. 13 - показывает конфигурацию потока движущегося изображения в случае, когда из последовательности кадров выделяются, группируются и сжимаются одинаковые типы данных кадров, в соответствии с настоящим примером осуществления;
Фиг. 14 - показывает конфигурацию потока движущегося изображения в случае, когда данные мозаичных изображений, которые представляют одну и ту же область на многих слоях, группируются и сжимаются, в соответствии с настоящим примером осуществления;
Фиг. 15 - показывает подробную конфигурацию блока управления, имеющего функцию формирования сжатых данных движущегося изображения, и дисковода жесткого диска, в соответствии с настоящим примером осуществления;
Фиг. 16 - показывает блок-схему, описывающую процедуру обработки, где устройство формирования сжатых данных движущихся изображений формирует сжатые данные движущегося изображения, в соответствии с настоящим примером осуществления; и
Фиг. 17 - показывает блок-схему, описывающую процедуру обработки, где устройство воспроизведения воспроизводит движущееся изображение, в соответствии с настоящим примером осуществления.
Способ осуществления изобретения
В соответствии с настоящим примером осуществления, область воспроизведения изображения на экране может быть перемещена в соответствии с требованием пользователя, поступающим во время воспроизведения движущегося изображения, на перемещение точки обзора. В перемещение точки обзора входит перемещение точки обзора ближе или дальше от плоскости изображения, и, в соответствии с этим, движущееся изображение во время его воспроизведения на экране увеличивается или уменьшается. В таком примере осуществления, чем больше расширяется изменяемый диапазон уровней разрешения и чем больше становится размер изображения, тем более трудным становится плавное воспроизведение на экране движущегося изображения запрашиваемой области с высоким быстродействием исполнения операции, вводимой пользователем.
Поэтому, в соответствии с примером осуществления, данные воспроизводимого движущегося изображения конфигурируются в виде иерархической структуры, в которой кадр движущегося изображения представляется с несколькими уровнями разрешения и иерархически организуется в порядке уровней разрешения. Кроме того, из единиц блоков, полученных пространственной декомпозицией кадра в каждом слое иерархии, формируется поток движущегося изображения. Высокое быстродействие исполнения операции достигается переключением слоя, который должен использоваться для воспроизведения на экране, на другой слой, а потока движущегося изображения - на другой поток движущегося изображения в соответствии с перемещением области воспроизведения. В дальнейшем, данные движущегося изображения, имеющие такую иерархическую структуру, именуются также как "иерархические данные".
Сначала будет дано объяснение базового режима воспроизведения на экране таких иерархических данных. На Фиг. 1 иллюстрируется среда, в которой используется система обработки изображений 1 и к которой может быть применен настоящий пример осуществления. Система обработки изображений 1 содержит устройство обработки изображений 10, которое исполняет программы обработки изображений, и дисплейное устройство 12, которое выдает результат обработки, полученный устройством обработки изображений 10. Дисплейным устройством 12 может быть телевизионный приемник, имеющий экран для вывода изображения и громкоговоритель для вывода звука.
Дисплейное устройство 12 может быть подсоединено к устройству обработки изображений 10 посредством кабеля или беспроводным соединением посредством беспроводной локальной сети (LAN) или тому подобным средством. Устройство обработки изображений 10 в системе обработки изображений 1 может быть подсоединено к внешней сети, такой как Интернет или тому подобной, кабелем 14, через который осуществляется получение и загрузка данных движущихся изображений. Устройство обработки изображений 10 может быть подсоединено к внешней сети посредством беспроводного канала.
Устройство обработки изображений 10 может быть, например, игровым устройством или персональным компьютером, а функция обработки изображений может быть реализована загрузкой прикладной программы обработки изображений. Устройство обработки изображений 10 увеличивает или уменьшает движущееся изображение, воспроизводимое на экране дисплейного устройства 12, или прокручивает движущееся изображение вверх, вниз, налево или направо, в соответствии с поступающим от пользователя требованием на перемещение точки обзора. В дальнейшем, такое изменение области воспроизведения, включающее увеличение или уменьшение, именуется как "перемещение области воспроизведения". Когда пользователь работает с устройством ввода, глядя при этом на изображение, воспроизводимое на экране, устройство ввода передает на устройство обработки изображений 10 сигнал, который запрашивает перемещение области воспроизведения.
На Фиг. 2 показывается пример внешней конфигурации устройства ввода 20. Устройство ввода 20 содержит клавиши направления 21, аналоговые джойстики 27а и 27b и четыре типа управляющих кнопок 26, являющими операционными средствами, которыми может манипулировать пользователь. В состав этих четырех типов управляющих кнопок 26 входит круглая кнопка 22, крестообразная кнопка 23, квадратная кнопка 24 и треугольная кнопка 25.
Рабочим средствам устройства ввода 20 в системе обработки изображений 1 назначается функция ввода требования на увеличение или уменьшение изображения на экране и функция ввода требования на прокрутку изображения вверх, вниз, влево или вправо. Например, функция ввода требования на увеличение или уменьшение изображения на экране назначается правому аналоговому джойстику 27b. Пользователь может ввести требование на уменьшение изображения на экране, потянув аналоговый джойстик 27b по направлению к пользователю, и может ввести требование на увеличение области на экране, потянув аналоговый джойстик 27b по направлению от пользователя.
Функция ввода требования на прокрутку назначается на клавиши направления 21. При нажатии на клавиши направления 21 пользователь может ввести требование на прокрутку в направлении, в котором нажимается соответствующая клавиша направления 21. Функция ввода требования на перемещение области на экране может быть назначена на альтернативное средство управления. Например, функция ввода требования на прокрутку может быть назначено на аналоговый джойстик 27а.
Устройство ввода 20 имеет функцию передачи на устройство обработки изображений 10 сигнала, запрашивающего перемещение области на экране, которая была введена. В настоящем примере осуществления, устройство ввода 20 сконфигурировано так, что устройство ввода 20 может беспроводно сообщаться с устройством обработки изображений 10. Устройство ввода 20 и устройство обработки изображений 10 могут устанавливать беспроводное соединение между собой, используя протокол Bluetooth (зарегистрированная торговая марка), протокол IEEE 802.11 или аналогичные протоколы. Устройство ввода 20 может быть подсоединено к устройству обработки изображений 10 посредством кабеля, через который на устройство обработки изображений 10 пересылаются сигналы, запрашивающие перемещение области на экране.
Устройство ввода 20 не ограничено устройством, показанным на Фиг. 2. Устройство ввода 20 может быть клавиатурой, сенсорной панелью, кнопочным устройством и любым другим средством, которое обеспечивает реализацию манипуляции пользователя, камерой, которая снимает изображение указанного объекта, микрофоном, который воспринимает звук и пр., и может быть любым типом и/или любым видом интерфейса, лишь только бы этот интерфейс позволял воспринимать намерение пользователя, перемещение указанного объекта, или тому подобное, как информацию в электрическом виде.
На Фиг. 3 концептуально иллюстрируются иерархические данные движущегося изображения, которые должны обрабатываться в соответствии с настоящим примером осуществления. Эти данные имеют иерархическую структуру, содержащую в направлении оси ζ, то есть, на рисунке - в направлении сверху вниз, нулевой слой 30, первый слой 32, второй слой 34 и третий слой 36. Хотя на рисунке показываются только четыре слоя, число слоев не ограничивается. Как было описано выше, каждый слой составляется из данных одного движущегося изображения, представленного с различными уровнями разрешения, то есть, данными нескольких кадров изображения, организованных в порядке их следования по времени. На этом рисунке каждый слой символически представляется четырьмя кадрами изображения. Очевидно, что число кадров изображения изменяется в зависимости от длительности воспроизведения и частоты кадров движущегося изображения.
Иерархические данные имеют, например, иерархическую структуру квадрадерева; когда кадры изображения, которые образуют слои, разделяются на "мозаичные изображения", имеющие один и тот же размер, то нулевой слой 30 составляется из одного мозаичного изображения, первый слой 32 составляется из 2×2 мозаичных изображений, второй слой 34 составляется из 4×4 мозаичных изображения, а третий слой составляется из 8×8 мозаичных изображений и так далее. В этом случае, разрешение на Ν-м слое (Ν является целым числом, которое равно или большее, чем 0) составляет 1/2 разрешения (N+1)-го слоя как в горизонтальном направлении (ось X), так и в вертикальном направлении (ось Y) на плоскости изображения. Иерархические данные могут быть сформированы, например, уменьшением кадра изображения за несколько этапов (ступеней), базируясь на движущемся изображении в третьем слое 36, имеющем наивысший уровень разрешения.
Обе координаты точки обзора во время воспроизведения на экране движущегося изображения и обе координаты соответствующей области воспроизведения могут быть, как показывается на Фиг.3, представлены в виртуальном трехмерном пространстве, которое образуется осью x, проходящей по горизонтальному направлению изображения, осью y, проходящей по вертикальному направлению изображения, и осью z, представляющей уровень разрешения. Как было упомянуто выше, данные движущегося изображения, в которых последовательно представляются несколько кадров изображения, формируются в настоящем примере осуществления в виде слоя. Таким образом, изображение, которое в реальности воспроизводится на экране, зависит также от интервала времени, которое прошло после начала воспроизведения. Поэтому для каждого слоя на этом рисунке показана также ось времени t.
По своей сути, устройство обработки изображений 10 последовательно воспроизводит кадры изображения любого из слоев вдоль оси времени t при определенной кадровой частоте. Например, устройство обработки изображений 10 воспроизводит на экране движущееся изображение с уровнем разрешения нулевого слоя 30 в качестве эталонного изображения. Если в течение этого процесса от устройства ввода 20 поступает сигнал, запрашивающий перемещение области воспроизведения на экране, то устройство обработки изображений 10 определяет из этого сигнала величину изменения воспроизводимого изображения и выводит координаты четырех углов последующего кадра (координаты кадра) в виртуальном пространстве, используя для этого величину упомянутого определенного изменения. Устройство обработки изображений 10 воспроизводит затем кадр изображения, который соответствует таким координатам кадра. В этом случае, устройство обработки изображении 10 установлением границы переключения слоев вдоль оси z, надлежащим образом переключает слои данных движущегося изображения, используемые для рендеринга кадра, в соответствии со значением координаты z кадра.
Вместо координат кадра в виртуальном пространстве, устройство обработки изображений 10 может выводить как информацию, идентифицирующую слой, так и координаты текстуры (координаты UV) в этом слое. В последующем, комбинация информации, идентифицирующей слой, и координаты текстуры будут также именоваться, как координаты кадра.
Иерархические данные хранятся в сжатом состоянии в памяти устройства обработки изображений 10 в виде единиц мозаичных изображений. Затем данные, необходимые для рендеринга кадра, считываются из памяти устройства обработки изображений 10 и декодируются. На Фиг. 3 концептуально показываются иерархические данные, при этом порядок хранения или формат данных, хранимых в запоминающем устройстве, совсем не ограничиваются. Например, если будет установлено соответствие между положением иерархических данных в виртуальном пространстве и номером кадра с действительной областью хранения данных движущегося изображения, то данные движущегося изображения могут храниться в произвольной области.
На Фиг. 4 иллюстрируется конфигурация устройства обработки изображений 10. Устройство обработки изображений 10 содержит беспроводный интерфейс 40, переключатель 42, процессор воспроизведения 44, дисковод жесткого диска 50, блок загрузки носителя записи 52, дисковод 54, оперативную память 60, буферную память 70 и блок управления 100. Процессор воспроизведения 44 содержит память кадров для буферизации данных, которые воспроизводятся на экране дисплейного устройства 12.
Переключатель 42 является переключателем Ethernet (Ethernet - зарегистрированная торговая марка), и представляет собой устройство, которое подсоединяется кабелем или беспроводным каналом к внешним устройствам и осуществляет прием и передачу данных. Переключатель 42 подсоединяется кабелем 14 к внешней сети и сконфигурирован так, что может принимать иерархические данные от сервера изображений. Далее, переключатель 42 подсоединяется к беспроводному интерфейсу 40, а беспроводный интерфейс 40 подсоединяется к устройству ввода 20, используя заранее заданный протокол беспроводной связи. Сигнал, запрашивающий перемещение области воспроизведения, который вводится пользователем через устройство ввода 20, пересылается на блок управления 100 через беспроводный интерфейс 40 и переключатель 42.
Дисковод жесткого диска 50 функционирует как запоминающее устройство для хранения данных. В дисководе жесткого диска 50 могут также храниться данные движущихся изображений. Если устанавливается сменный носитель записи, такой как карта памяти, то блок загрузки носителя записи 52 считывает данные из этого сменного носителя записи. Когда устанавливается диск постоянного запоминающего устройства только чтение, то дисковод 54 распознает и инициирует диск ПЗУ, считывая затем с него данные. Диском ПЗУ может быть оптический диск, магнитооптический диск и другие носители записи. На этих носителях записи также могут храниться данные движущихся изображений.
Блок управления 100 содержит многоядерный ЦП. В одном ЦП содержится одно ядро универсального процессора и несколько простых процессорных ядер. Ядро универсального процессора будет именоваться как "мощный процессорный блок (МПБ)", а другие процессорные ядра будут именоваться как "синергетические процессорные блоки (СПБ)". Блок управления 100 может быть также оснащен графическим процессором (ГП).
Блок управления 100 содержит контроллер памяти, подсоединенный к оперативной памяти 60 и буферной памяти 70. МБП содержит регистры и центральный процессор, как компонент, который осуществляет вычисления. МБП эффективно распределяет задачи, как базовые единицы обработки в прикладных задачах, на соответствующие СПБ. МБП сам может исполнять задачу. СПБ содержит регистры, подпроцессор, как компонент, который исполняет вычисления, и локальную память, используемую в качестве локальной области хранения. Локальная память может использоваться в качестве буферной памяти 70.
Оперативная память 60 и буферная память 70 являются запоминающими устройствами и организованы в виде запоминающих устройств с произвольной выборкой (ЗУПВ). СПБ содержит специализированный контроллер прямого доступа к памяти (ПДП) и обеспечивает быстродействующий обмен данными между оперативной памятью 60 и буферной памятью 70. Высокоскоростной обмен данными осуществляется также между памятью кадров в процессоре воспроизведения 44 и буферной памятью 70. Блок управления 100, в соответствии с примером осуществления, реализует быстродействующую обработку изображений параллельной работой нескольких СПБ. Процессор воспроизведения 44 подсоединен к дисплейному устройству 12 и выдает результат обработки изображений в соответствии с требованием пользователя.
Устройство обработки изображений 10 заблаговременно последовательно загружает данные движущегося изображения, которые непосредственно привязаны по пространству и по времени к кадру, который в текущий момент загружается из дисковода жесткого диска 50 в оперативную память 60 для плавного выполнения процессов увеличения или уменьшения или прокрутки воспроизводимого на экране изображения. Далее, устройство обработки изображений 10 декодирует часть данных движущегося изображения, загруженных в оперативную память 60, и сохраняет декодированные данные в буферной памяти 70. За счет этого становится возможным постепенное прохождение движущегося изображения и тем самым - плавное перемещение области воспроизведения на экране. В этом случае данные, которые должны быть загружены или декодированы, могут быть определены заранее предсказанием области, которая будет необходима впоследствии, базируясь на более раннем направлении перемещения области воспроизведения на экране.
В иерархических данных, показанных на Фиг. 3, положение в направлении по оси z показывает уровень разрешения, и чем ближе будет положение к нулевому слою 30, тем ниже будет уровень разрешения, а чем ближе будет положение к третьему слою 36, тем уровень разрешения будет выше. В терминах размера изображения, воспроизводимого на дисплейном устройстве, положение в направлении по оси z представляет масштаб. Принимая, что коэффициент масштабирования воспроизведенного изображения в третьем слое 36 есть 1, коэффициент масштабирования во втором слое 34 будет составлять 1/4, коэффициент масштабирования в первом слое 32 будет составлять 1/16, а коэффициент масштабирования в нулевом слое 30 будет составлять 1/64 от изображения на третьем слое 36.
Следовательно, если изображение на дисплее изменяется в направлении оси z от нулевого слоя 30 к третьему слою 36, то воспроизводимое изображение увеличивается. Если воспроизводимое изображение изменяется в направлении от третьего слоя 36 по направлению к нулевому слою 30, то воспроизводимое изображение уменьшается. Например, когда коэффициент масштабирования воспроизводимого изображения близок к коэффициенту второго слоя 34, то воспроизводимое изображение генерируется с использованием данных изображения на втором слое 34.
Более конкретно, как было описано выше, границы переключения устанавливаются для соответствующего промежуточного коэффициента масштабирования каждого слоя. Например, в случае, когда коэффициент масштабирования воспроизводимого на экране изображения находится между границей переключения между первым слоем 32 и вторым слоем 34 и границей переключения между вторым слоем 34 и третьим слоем 36, то кадр воспроизводится с использованием данных изображения на втором слое 34. В этом случае, когда коэффициент масштабирования находится между вторым слоем 34, а граница переключения - между первым слоем 32 и вторым слоем 34, кадр изображения второго слоя 34 воспроизводится на экране с уменьшением. Когда коэффициент масштабирования находится между вторым слоем 34 и границей переключения - между вторым слоем 34 и третьим слоем 36, кадр изображения второго слоя 34 воспроизводится на экране с увеличением.
С другой стороны, в случае идентификации и декодирования области, которая станет необходима в будущем и которая предсказывается из сигнала, запрашивающего перемещение области воспроизведения на экране, коэффициент масштабирования каждого слоя задается предварительно, как граница предвыборки данных. Например, когда необходимый коэффициент масштабирования, определяемый сигналом требования на перемещение области воспроизведения, превышает коэффициент масштабирования второго слоя 34, то устройство обработки изображений 10 предварительно считывает из дисковода жесткого диска 50 или оперативной памяти 60 по меньшей мере часть данных изображения первого слоя 32, расположенных в направлении уменьшения, декодирует предварительно считанные данные изображения, и записывает декодированные данные изображения в буферную память 70.
То же самое справедливо для процесса предварительного считывания изображения в направлении вверх, вниз, вправо или влево. Более конкретно, предварительно задается граница предвыборки данных изображения, распределенных в буферной памяти 70, и в то время, когда положение области воспроизведения, определяемое сигналом требования на перемещение области воспроизведения, превышает границу предвыборки, то запускается процесс предвыборки. Тем самым, может быть реализован режим, когда постепенно ведется воспроизведение движущегося изображения с плавным изменением при этом уровня разрешения и положения области воспроизведения на экране в соответствии с требованием на перемещение области воспроизведения, поступившего от пользователя.
На Фиг. 5 подробно иллюстрируется конфигурация блока управления 100а, имеющего функцию воспроизведения движущегося изображения, используя данные движущегося изображения, которые имеют иерархическую структуру, в соответствии с настоящим примером осуществления. Блок управления 100а содержит блок получения входной информации 102, который получает информацию, вводимую пользователем через устройство ввода 20, блок определения координат кадра ПО, который определяет координаты кадра вновь воспроизводимой области, блок определения загружаемой области 106, который определяет сжатые данные движущегося изображения заново загружаемой области, и блок загрузки 108, который загружает из дисковода жесткого диска 50 данные движущегося изображения необходимой области. Блок управления 100а содержит также блок декодирования 112, который декодирует сжатые данные движущегося изображения, и блок обработки воспроизведения изображения 114, который осуществляет рендеринг кадра изображения.
На Фиг. 5 и Фиг. 15, описанном позднее, каждый из представленных элементов, являющихся функциональными блоками, осуществляющими самую разнообразную обработку, реализуются аппаратными средствами, которые могут состоять из центрального процессора (ЦП), памяти и различных других БИС, и программными средствами с использованием программ, загруженных в память. Как было установлено ранее, блок управления 100 имеет один МПБ и несколько СПБ, а функциональные блоки могут быть образованы только из МПБ, только из СПБ или комбинированием тех и других. Следовательно, специалистам в этой области техники будет очевидно, что функциональные блоки могут быть реализованы в самых различных формах, только аппаратными средствами, только программными средствами или их комбинациями, и каких либо ограничений здесь быть не может.
Блок получения входной информации 102 получает требование, вводимое пользователем через устройство ввода 20, на начало или окончание воспроизведения движущегося изображения, перемещение области воспроизведения на экране и пр., и пересылает сообщение об этом требовании на блок определения координат кадра ПО. Блок определения координат кадра ПО определяет координаты кадра области, которая должна быть заново воспроизведена, в соответствии с координатами кадра текущей области воспроизведения и сигналом, запрашивающим перемещение области воспроизведения, который введен пользователем, и пересылает сообщение об упомянутых определенных координатах кадра на блок определения загружаемой области 106, блок декодирования 112 и блок обработки воспроизведения изображения 114.
Блок определения загружаемой области 106, базируясь на координатах кадра, о которых получено сообщение от блока определения координат кадра ПО, специфицирует данные движущегося изображения, заново загружаемые из дисковода жесткого диска 50, и выдает требование на загрузку на блок загрузки 108. Как было описано выше, в соответствии с примером осуществления, последовательность кадров каждого слоя формируется в один или более независимых потоков движущегося изображения из мозаичных единиц изображения. В результате чего, в основном, формируются потоки движущихся изображений, число которых равно числу мозаичных изображений в каждом слое. Или же, как будет описано позднее, в одном потоке движущегося изображения могут совместно существовать данные, которые указывают на одну и ту же область многих слоев, или многие мозаичные изображения.
К данным движущегося изображения предварительно присоединяется информация, которая объединяет между собой идентификационный номер, указывающий слой и положение мозаичного изображения, и идентификационный номер данных потока движущегося изображения, и эта информация загружается в оперативную память 60, когда запускается процесс воспроизведения этого движущегося изображения. Базируясь на координатах кадра, блок определения загружаемой области 106 обращается к этой информации и получает идентификационный номер потока движущегося изображения необходимой области. Если данные соответствующего потока движущегося изображения еще не были загружены, то блок определения загружаемой области 106 выдает требование загрузки на блок загрузки 108. Кроме того, даже в случае, когда координаты кадра не изменяются, блок определения загружаемой области 106 последовательно, в соответствии с прохождением движущегося изображения, выдает требование на загрузку необходимых данных потока движущегося изображения. Поток движущегося изображения может быть предварительно разделен по времени на некоторые единицы, и поток может загружаться единицами, образованными после разделения.
Помимо потока движущегося изображения, который необходим для рендеринга кадра в данный момент, блок определения загружаемой области 106 может специфицировать поток движущегося изображения, который, как ожидается, будет запрошен позднее процессом предвыборки, который описан ранее, и может выдавать требование на загрузку на блок загрузки 108. В соответствии с требованием, выданным блоком определения загружаемой области 106, блок загрузки 108 исполняет процесс загрузки потока движущегося изображения из дисковода жесткого диска 50. Более конкретно, блок загрузки 108 из идентификационного номера потока движущегося изображения, который должен быть загружен, определяет область памяти в дисководе жесткого диска 50 и сохраняет данные, считанные из этой области памяти, в оперативной памяти 60.
Базируясь на координатах кадра в каждый момент времени, блок декодирования 112 считывает данные необходимого потока движущегося изображения из оперативной памяти 60, декодирует данные, которые были считаны, и последовательно записывает декодированные данные в буферной памяти 70. Объект декодирования может быть представлен в единицах потоков движущихся изображений. Когда область, заданная координатами кадра, которые были определены блоком определения координат кадра 110, располагается по нескольким потокам движущегося изображения, то блок декодирования 112 декодирует несколько потоков движущегося изображения.
В соответствии с примером осуществления, как это будет описано позднее, объем данных иерархического слоя понижается за счет того, что часть данных иерархического слоя из всех данных этого иерархического слоя хранится в виде разностного изображения, которое представляет собой величину разности между упомянутой частью и увеличенным изображением изображения на слое, более высоком, чем слой этой части. Потому в случае, когда декодированное изображение является разностным изображением, блок декодирования 112 декодирует также изображение иерархического слоя более высокого уровня, чем слой, который использовался при генерации разностного изображения, увеличивает изображение слоя более высокого уровня и прибавляет изображение более высокого слоя к декодированному разностному изображению, тем самым восстанавливая данные исходного изображения, и записывает данные исходного изображения в буферной памяти 70. Базируясь на координатах кадра в каждый момент времени, блок обработки воспроизведения изображения 114 считывает соответствующие данные из буферной памяти 70 и пересылает эти данные в память кадров процессора воспроизведения 44.
В примере осуществления, где в процессе воспроизведения одного движущегося изображения допускается перемещение области воспроизведения, включая увеличение или уменьшение, желательно, чтобы все потоки движущегося изображения проходили синхронно по времени и чтобы рендеринг кадра изображения осуществлялся плавно, безотносительно к тому, переключается или не переключается используемый поток движущегося изображения на другой поток. Поэтому, как было описано выше, область, запрашиваемая для воспроизведения во время и/или после того, как поток движущегося изображения, как ожидается, будет затребован, загружается и декодируется с высоким приоритетом, так что эффективность обработки, необходимой во время рендеринга кадра, улучшается. Далее, как будет описано позднее, надлежащим конфигурированием потока движущегося изображения воспроизведение кадра на экране начинается с низким запаздыванием, безотносительно к моменту времени, когда поток движущегося изображения, используемый для воспроизведения на экране, переключается на другой поток.
При конфигурации, описанной выше, может быть легко и плавно просмотрено все изображение целиком, может быть увеличена часть изображения и пр., даже при большом размере движущегося изображения, например, при движущемся изображении, размер кадра которого составляет величину порядка нескольких гигапикселей. Далее, за счет предварительной организации движущегося изображения в виде иерархической структуры движущееся изображение может, безотносительно к дисплейному устройству, быть воспроизведено в одном и том же виде за счет выбора надлежащего слоя в соответствии с такими, например, характеристиками, как уровень разрешения дисплея, размер экрана и производительность обработки.
Что касается изображений в один и тот же момент времени на различных слоях, содержащихся в иерархических данных движущегося изображения, то в данном случае содержание на этих слоях является одинаковым, хотя уровни разрешения изображения являются различными, поэтому для иерархических данных характерно то свойство, что между слоями всегда имеется избыточность. Поэтому, в соответствии с примером осуществления, как было описано выше, один или более слоев иерархических данных сконфигурированы как разностное изображение между данным слоем и увеличенным изображением изображения на слое более высокого уровня иерархии, чем данный слой. Учитывая свойства иерархических данных, описанных выше, размер данных может быть существенно уменьшен за счет использования такого различия между слоями.
На Фиг.6 схематически показывается состояние, где некоторые слои иерархии данных движущегося изображения, имеющего иерархическую структуру, показаны разностными изображениями. В примере, представленном на Фиг.6, нулевой слой 30 и второй слой 34 хранят данные исходного изображения, а первый слой 32 и третий слой 36 хранят данные разностного изображения. Исходные данные показываются белыми, не закрашенными частями, а данные разностного изображения показываются заштрихованными частями. В последующем объяснении слой, который хранит данные исходного изображения, именуется как "слой исходного изображения", а слой, который хранит данные разностного изображения, именуются как "слой разностного изображения".
Здесь в случае, когда область 120 должна воспроизводиться с разрешением третьего слоя 36, значение каждого пикселя изображения, соответствующего области 122, которая находится на втором слое 34, после увеличения этого изображения до уровня разрешения третьего слоя 36 добавляется к разностному изображению области 120, которое находится на третьем слое 36. В данном случае, показанном на этом рисунке, разрешение третьего слоя 36 больше в 2×2 раз, чем разрешение второго слоя 34, поэтому изображение области 122 увеличивается в 2×2 раз. Для увеличения могут быть использованы хорошо известные алгоритмы интерполяции, такой как алгоритм интерполяции по ближайшему соседу, билинейный алгоритм, бикубический алгоритм и пр.
Конфигурированием данных подобным образом может быть уменьшен полный объем данных. Кроме того, может быть ограничена необходимая ширина полосы пропускания тракта передачи, по которому данные проходят во время воспроизведения (то есть, внутренней шины в устройстве обработки изображений 10, сети, подсоединенной к серверу изображений и пр.). Это объясняется тем, что, объем суммы данных разностного изображения с желаемым разрешением и данных исходного изображения на слое, где разрешение ниже, чем желаемое разрешение, будет меньше по сравнению с объемом данных исходного изображения с требуемым разрешением, при котором предполагается воспроизводить исходное изображение.
В примере, показанном на Фиг. 6, распределение слоев исходного изображения и слоев разностного изображения фиксировано. В этом случае, битовая скорость при воспроизведении изображения с уровнем разрешения на слое разностного изображения будет ниже, поэтому ширина полосы пропускания, необходимая для передачи данных, может быть уменьшена. С другой стороны, в период, когда изображение воспроизводится с уровнем разрешения на слое исходного изображения, битовая скорость становится такой же самой, что и скорость в случае, когда слой разностного изображения не создается, и тем самым уменьшение ширины полосы пропускания не может оказывать влияния. Для того чтобы плавно, без рывков осуществлялось воспроизведение изображения с любым уровнем разрешения и какой бы ни был при этом слой, необходимо будет зарезервировать ширину полосы пропускания, сообразуясь с максимальной битовой скоростью, поэтому в таком примере осуществления будет трудно получить снижение ширины полосы пропускания, которую требуется зарезервировать.
Поэтому переключением распределения слоя исходного изображения и слоя разностного изображения на другую конфигурацию распределения в соответствии с заранее заданным правилом, битовая скорость усредняется, объем передаваемых данных ограничивается диапазоном более длительным, чем период переключения, и ширина полосы пропускания, требуемая для передачи, может быть уменьшена. На Фиг.7 показывается рисунок, иллюстрирующий пример осуществления, где распределение слоя исходного изображения и слоя разностного изображения переключается между некоторыми конфигурациями распределения. На этом рисунке по горизонтальной оси показывается ось времени движущегося изображения. На рисунке представлены конфигурации иерархических данных, составленных только из соответствующих кадров в моменты времени t1, t2 и t3, соответственно.
Сначала, в иерархических данных, которые представляют кадры в момент времени t1, нулевой слой 30 и второй слой 34 задаются как слои исходного изображения, а первый слой 32 и третий слой 36 задаются как слои разностного изображения. В этом случае, изображение с уровнем разрешением первого слоя 32 может быть получено суммированием разностного изображения первого слоя 32 и исходного изображения нулевого слоя 30. Далее, изображение с уровнем разрешением третьего слоя 36 может быть получено суммированием разностного изображения третьего слоя 36 и исходного изображения второго слоя 34.
В иерархических данных, которые представляют кадры в момент времени t2, который наступает позднее, чем момент времени t1, нулевой слой 30, первый слой 32 и третий слой 36 задаются как слои исходного изображения, а второй слой 34 задается как слой разностного изображения. В этом случае, изображение с уровнем разрешением второго слоя 34 может быть получено суммированием разностного изображения второго слоя 34 и исходного изображения первого слоя 32. Для иерархических данных, которые представляют кадры в момент времени t3, наступающий еще позднее, распределение является тем же самым, что и конфигурация распределения в момент времени t1.
Например, в случае, когда из числа всех кадров в момент t1 должна быть воспроизведена область 124а с уровнем разрешения третьего слоя 36, то требуются данные разностного изображения области 124а и данные изображения соответствующей области 126а, входящей в исходное изображение второго слоя 34. Принимается, что область воспроизведения перемещается одновременно с тем, как с течением времени продвигаются кадры, и из числа всех кадров в момент времени t2 должна быть воспроизведена область 124b с уровнем разрешения третьего слоя 36. В этом случае, требуются только данные одной области 124b, поскольку данные третьего слоя 36 являются данными исходного изображения. По мере дальнейшего прохождения времени и в случае, когда из числа всех кадров в момент времени t3 должна быть воспроизведена область 124с с уровнем разрешения третьего слоя 36, требуются данные разностного изображения области 124с и данные соответствующей области 126с, которая входит в исходное изображение второго слоя 34.
В результате, как показывается в нижней части этого рисунка, для воспроизведения области 124а, области 124b и области 124с с уровнем разрешения третьего слоя 36 из всех кадров в момент времени t1, t2 и t3 последовательно считываются данные 128а, данные 128b и данные 128 с, соответственно, при этом данные 128а состоят из совокупности разностного изображения третьего слоя 36 и исходного изображения второго слоя 36, данные 128b являются данными исходного изображения третьего слоя 36, а данные 128 с состоят из совокупности разностного изображения третьего слоя 36 и исходного изображения второго слоя 34.
Таким образом, конфигурацией, в которой слой исходного изображения и слой разностного изображения переключаются во времени, снижается возможность того, что данные большого объема, такие как данные 128b исходного изображения, будут непрерывно передаваться, и объем данных, которые должны передаваться в единицу времени (то есть, битовая скорость) может быть уменьшена. Для улучшения понимания, на соответствующих рисунках воспроизводимый объект фиксируется с разрешением третьего слоя 36, однако даже если слой воспроизводимого объекта изменяется на другой слой в середине, может быть получен подобный эффект.
На Фиг. 8 - Фиг. 11 показываются примеры порядков распределения иерархических слоев исходного изображения и слоев разностного изображения. На этих рисунках горизонтальная ось представляет время, а изменение по времени распределения иерархических данных, в которых нулевой слой, первый слой, второй слой обозначены как "Lv0", "Lv1", "Lv2",… представлено белыми прямоугольниками - для интервалов времени слоев исходного изображения, и заштрихованными прямоугольниками - для интервалов времени слоев разностного изображения, соответственно. В интервале времени, представленном одним прямоугольником, воспроизводятся один или более кадров.
На Фиг. 8 показывается случай, когда всеми целиком иерархическими данными используется общий момент времени переключения распределения. Нулевой слой Lv0 обычно представляется как слой исходного изображения 152, поскольку не существует никаких других слоев выше нулевого слоя. То же самое относится к последующим примерам. В примере, показанном на Фиг. 8, распределение слоев переключается на один или более слоев в моменты времени Т0, Τ1, Т2, Т3, Т4, Т5 и Т6. А именно, в течение периода от момента времени Т0 до момента времени Т1 нулевой слой Lv0 и второй слой Lv2 являются слоями исходного изображения 152 и 156, а первый слой Lv1, третий слой Lv3 и четвертый слой Lv4 являются слоями разностного изображения 154, 160 и 162, из числа которых в момент времени Т1 второй слой Lv2 переключается на слой разностного изображения 164, а третий слой Lv3 переключается на слой исходного изображения 166.
В момент времени Т2 первый слой Lv1 и четвертый слой Lv4 переключается на слои исходного изображения 168 и 170, соответственно, а третий слой Lv3 переключается на слой разностного изображения 172. В момент времени Т3 первый слой Lv1 и четвертый слой Lv4 переключаются на слои разностного изображения 174 и 176, соответственно, а второй слой Lv2 переключается на слой исходного изображения 178. Такие переключения повторяются также и после этого. Затем слой исходного изображения, за исключением нулевого слоя Lv0, переключается из первого слоя Lv1 → второй слой Lv2 → третий слой Lv3 → четвертый слой Lv4, а слои, отличные от этих слоев, задаются как слой разностного изображения.
В примере осуществления, показанном на Фиг. 8, число и расположение слоев, которые одновременно задаются как слои исходного изображения, и число и расположение слоев, которые одновременно задаются как слои разностного изображения, не ограничены числом и расположением, показанном на этом рисунке, а может быть принято любое число и любое расположение, поскольку лишь только комбинация слоя, который задается как слой исходного изображения, и слоя, который задается как слой разностного изображения, изменяются в один и тот же момент времени, общий для всех слоев. В примере, показанном на Фиг. 8, слои разностного изображения, каков бы ни был период времени, задаются как слои, следующие один за другим в вертикальном направлении. Например, в течение периода от момента времени Т2 до момента времени Т3 второй слой Lv2 и третий слой Lv3, которые следуют друг за другом в вертикальном направлении, являются слоями разностного изображения 179 и 172.
В случае такого расположения, когда более двух следующих один за другим слоев одновременно образуют слои разностного изображения, разностное изображение может быть сгенерировано вычитанием из слоя непосредственно выше него, или может быть сгенерировано поиском слоя исходного изображения и вычитанием из исходного изображения. В первом случае разностное изображение, полученное из разностного изображения, сохраняется до тех пор, пока слой, который находится непосредственно выше, является слоем исходного изображения, поэтому чем ниже будет расположен слой относительно слоя исходного изображения, тем большее число слоев и большее число процессов суммирования потребуется для восстановления изображения, однако объем данных при этом становится меньше.
В последнем случае, число слоев и количество процессов суммирования, требуемых для восстановления изображения, остается постоянным, однако чем ниже расположен слой относительно слоя исходного изображения, тем больше становится величина разности, и поэтому объем данных будет больше, по сравнению с объемом данных предыдущего случая. Какое именно из разностных изображений должно быть использовано, определяется исходя из содержимого движущегося изображения, обрабатывающих возможностей дисплейного устройства, ширины полосы частот, которую можно использовать при передаче, и прочего. Кроме того, порядок обработки можно определить так, что слои разностного изображения не будут располагаться на следующих один за другим слоях.
Моменты времени переключений Т0 - Т6 могут следовать через регулярные интервалы. В этом случае для каждого определенного числа кадров (например, для каждых восьми кадров) проводится переключение по меньшей мере на одном из слоев, и в этом случае для каждого кадра может быть предварительно определен слой разностного изображения. Поэтому при воспроизведении движущегося изображения может быть легко определен слой, который требуется для рендеринга, и/или легко может быть определено, требуется или не требуется процесс прибавления, что тем самым упрощает процесс управления.
В альтернативном варианте, по меньшей мере один из моментов времени переключения может быть определен, базируясь на характеристиках движущегося изображения. Например, обращаясь к информации изменения сцены, содержащейся в движущемся изображении, идентифицируется момент времени, когда сцена изменяется, и переключение проводится в момент времени между кадром перед изменением сцены и кадром после изменения сцены. Вместо информации об изменении сцены переключение может проводиться в момент времени между кадрами, которые сильно разнятся между собой. Как будет описано позднее, в случае, когда кадры сконфигурированы так, что имеют зависимость друг от друга, создаваемую кодированием со сжатием, таким, например, как кодирование с межкадровой предикацией, удобно проводить переключение между кадрами, имеющими низкую темпоральную избыточность.
В альтернативном варианте, момент времени, когда переключаются слои, может быть определен в соответствии с накопленной величиной объема данных. То есть, на одном из слоев, отличном от нулевого слоя Lv0, следующий момент времени переключения определяется как момент времени, когда накопленная величина объема данных кадров после текущего переключения достигает заранее заданной пороговой величины. Хотя размер изображения отличается в зависимости от слоев, объем реально переданных данных пропорционален числу мозаичных изображений, безотносительно к слоям, поэтому здесь принимается, что объем данных, используемых для вычисления накопленной величины, является величиной, приведенной к единичной поверхности, например, к поверхности мозаичного изображения. В этом случае, поскольку объем данных разностного изображения является небольшим, то моменты переключения определяются, по существу, объемом данных исходного изображения, хранимых одним или более слоями исходного изображения. Определив подобным образом моменты времени переключения на базе реального объема данных, обеспечивается возможность эффективного распределения данных с высокой битовой скоростью передачи.
Иначе говоря, определение моментов времени переключения подобным образом будет точно соответствовать заданию более высокой частоты переключения, как только скорость передачи битов исходного изображения возрастает. Поскольку непрерывная передача данных с высокой битовой скоростью приводит к длительному состоянию занятости, когда почти не доступен свободный диапазон частот, то требуется широкий диапазон частот, с тем чтобы в результате осуществлять непрерывную плавную передачу изображений. Более частым переключением на изображения с более высокой скоростью передачи битов, как описано выше, обеспечивается постоянное наличие запаса ширины полосы пропускания, а использование этого запаса ширины полосы пропускания позволяет передавать данные с высокой битовой скоростью.
Для изображения, битовая скорость которого не является слишком высокой, и для которого ширина полосы пропускания не становится ограничением даже в случае, когда передаются данные его исходного изображения, частота переключения процессов при воспроизведении изображения понижается за счет снижения частоты переключения, что приводит к более легкому управлению. Тем самым, ширина полосы пропускания, необходимая для передачи данных, может быть непосредственно и при этом более эффективно понижена.
На Фиг. 9 показывается случай, когда каждой группой, образованной декомпозицией слоев иерархических данных, совместно используется один и тот же момент времени переключения. В примере, показанном на этом рисунке, два следующих один за другим в вертикальном направлении слоя (то есть, первый слой Lv1 и второй слой Lv2, третий слой Lv3 и четвертый слой Lv4, и пятый слой Lv5 и шестой слой Lv6) собраны как одна группа (группы 180а, 180b и 180с), соответственно. Слоями в этой группе совместно используются моменты времени переключения. Слой исходного изображения и слой разностного изображения распределяются по двум слоям, которые попеременно принадлежат одной группе.
В каждый момент времени переключения переключается слой исходного изображения и слой разностного изображения. Например, в группе 180а в течение промежутка между моментом времени Т0 и моментом времени Т1 первый слой Lv1 является слоем исходного изображения 182, а второй слой Lv2 является слоем разностного изображения 184. В отличие от этого, в течение промежутка между моментом времени Т1 и моментом времени Т2 первый слой Lv1 является слоем разностного изображения 186, а второй слой Lv2 является слоем исходного изображения 188. Далее, в течение промежутка между моментом времени Т2 и моментом времени Т3 первый слой Lv1 является слоем исходного изображения 190, а второй слой Lv2 является слоем разностного изображения 192. То же самое справедливо для других групп 180b и 180 с. Однако моменты времени переключения для каждой группы могут различаться. Тем самым, слой исходного изображения, который требуется для восстановления исходного изображения из разностного изображения, существует в той группе, которая в любом промежутке времени непременно находится непосредственно выше.
В примере, показанном на этом рисунке, два слоя образуют одну группу, поэтому слой исходного изображения, который требуется для восстановления исходного изображения из разностного изображения, существует, как максимум, на втором верхнем слое. Подобным образом, ограничением числа слоев от слоя разностного изображения до слоя исходного изображения может быть снижена нагрузка, возникающая из-за процесса выборки данных, требуемых для восстановления исходного изображения, и/или процесса прибавления изображений.
Моменты времени переключения в каждой группе могут быть определены для каждой группы, выбрав одно из правил, как объяснялось на Фиг. 8. Например, моменты времени переключения для каждой группы могут быть определены в соответствии с накопленной величиной объема данных. В этом случае, поскольку объем данных на каждую единичную область имеет ту тенденцию, что чем меньше становится изображение, тем больше будет объем данных, то чем выше будет расположена группа в иерархии, тем раньше накопленная величина объема данных достигнет порогового значения.
Поэтому, как показывается на Фиг. 9, частота переключения группы 180а, состоящая из первого слоя Lv1 и второго слоя Lv2, является наивысшей, затем следует группа 180b, состоящая из третьего слоя Lv3 и четвертого слоя Lv4, а затем уже следует группа 180с, состоящая из пятого слоя Lv5 и шестого слоя Lv6, то есть, частота переключения группы более низкого слоя становится все более низкой. Тщательным заданием моментов переключения соответствующих слоев, одновременно принимая во внимание характеристики соответствующих слоев, может быть по тому же принципу, что был объяснен применительно к Фиг. 8, эффективно снижена необходимая ширина полосы частот.
Далее, пороговая величина для накопленной величины объема данных может изменяться конкретно для каждой группы. Например, иногда битовая скорость определенного слоя задается более высокой, чем скорость других слоев, в зависимости от содержимого движущегося изображения в момент кодирования со сжатием. Таким определенным слоем является, например, слой, который, как ожидается, будет использоваться для воспроизведения при более высокой частоте, чем другие слои, слоем, определенным пользователем и пр. В этом случае, если пороговая величина группы, содержащей такой определенный слой, задается меньшей величиной, в соответствии с задаваемой битовой скоростью, то частота переключения может быть настроена в соответствии с действительной битовой скоростью передачи данных.
На Фиг. 10 показывается другой пример случая, когда моменты времени переключения являются общими для каждой группы, создаваемой разбиением на слои иерархических данных. В примере, показанном на этом рисунке, первый слой Lv1 и второй слой Lv2, третий слой Lv3, четвертый слой Lv4 и пятый слой Lv5, и шестой слой Lv6 и седьмой слой Lv7 образуют соответственные группы (соответственно группа 194а, 194b и 194с). Число слоев, принадлежащих к одной группе, является различным. В этом случае моменты времени переключения каждой группы определяются аналогичным образом, как это было показано на Фиг. 9.
Далее, порядок распределения планируется надлежащим образом так, что число слоев от слоя разностного изображения (например, слой разностного изображения 198) до слоев исходного изображения (например, слои исходного изображения 196, 199) может быть ограничено, даже если группе принадлежат более двух слоев. Более конкретно, сначала внутри группы число слоев, следующих один за другим в одно и то же время и являющихся слоями разностного изображения, ограничено максимум 2N слоями. Далее, если в каждой группе число слоев, подсчитанных от границы группы, следующих один за другим в одно и то же время и являющихся слоями разностного изображения, ограничено так, что составляет максимум N, то число слоев, следующих один за другим в одно и то же время и являющихся слоями разностного изображения, становится равным максимум 2N, даже учитывая две группы, между которыми находится граница.
Например, в случае, показанном на Фиг. 10, совсем не бывает того, что внутри группы несколько следующих один за другим слоев являются в одно и то же время слоями разностного изображения. Далее, также не бывает того, что несколько следующих один за другим слоев, подсчитанных от границы группы, являются в одно и то же время слоями разностного изображения. Иными словами, N=1, и из этого следует, что число следующих один за другим слоев, являющихся слоями разностного изображения, составляет величину максимум 2N=2, даже рассматривая все целиком иерархические данные. Максимальная величина 2N числа слоев от слоя разностного изображения до слоя исходного изображения оказывает, как было сказано выше, влияние на вычислительную нагрузку в дисплейном устройстве. Следовательно, 2N определяется в соответствии с производительностью обработки дисплейного устройства, а в соответствии с этим определяется и порядок распределения слоев.
На Фиг. 11 показывается случай, когда группы, каждая из которых содержит несколько слоев и которые были образованы в соответствии с примерами осуществления, показанными на Фиг. 9 и Фиг. 10, сгруппированы далее для каждой области на изображении. Иными словами, изображения нескольких слоев разделяются по одинаковым позициям на изображениях, и для каждой области, представляющей одинаковую часть изображения, образуется группа. В примере, показанном на рисунке, изображение третьего слоя Lv3 разделяется на области Lv3_0, Lv3_1, и т.д., а изображение четвертого слоя Lv4 разделяется на области Lv4_0, Lv4_1,…, и т.д.
Далее, если область Lv3_0 третьего слоя Lv3 и область Lv_4 четвертого слоя Lv4, представляющие одинаковые части на изображениях, принять за нулевую область, а область Lv3_1 третьего слоя Lv3 и область Lv4_1 четвертого слоя Lv4, представляющие одинаковые части на изображениях, принять за первую область, то для каждой области образуются группы (группы 200b и 200с), то есть, нулевые области в третьем слое Lv3 и в четвертом слое Lv4, первые области в третьем слое Lv3 и в четвертом слое Lv4 и т.д., и моменты времени переключения в каждой группе будут одними и теми же.
Подобным образом, для всего целиком изображения образуются группы, в которых на каждую область приходится несколько слоев. Хотя на рисунке в качестве объекта декомпозиции показаны только третий слой Lv3 и четвертый слой Lv4, к одной группе могут принадлежать и более двух слоев. Моменты времени переключения в каждой группе могут быть определены выбором для каждой группы правила тем же самым образом, что показан на Фиг. 9. Далее, в момент времени переключения, определенный для каждой группы, область по меньшей мере одного слоя внутри группы переключается между слоем исходного изображения и слоем разностного изображения (например, от слоя исходного изображения 202 на слой разностного изображения 204).
Например, моменты времени переключения каждой группы могут быть определены в соответствии с накопленной величиной объема данных. Даже для одного изображения, если сложность изображения отличается в зависимости от областей на этом изображении, его битовая скорость также будет различной. Например, область синего неба, которая является почти однородной по цвету, и область дорожной трассы, по которой в обе стороны следуют автомобили, будут различаться по битовой скорости. Как было описано выше, для области, имеющей высокую битовую скорость, предпочтительно переключать распределение при более высокой частоте. В результате, в зависимости от области будут соответственно изменяться и частоты переключения. Поэтому определением моментов времени переключения каждой области можно будет регулировать эти моменты на более детальном уровне, и используемая ширина полосы частот может быть эффективно уменьшена в соответствии с содержимым изображения.
Аналогично тому, как было объяснено на Фиг. 9, пороговая величина, которая задается в соответствии с накопленный величиной объема данных, может быть определена так, что будет отличаться для каждой группы. С точки зрения регулирования моментов времени переключения, учитывая при этом разность битовых скоростей между областями из-за различия этих областей, тот слой, для которого выполняется группировка соответствующих областей, задается как слой относительно высокого разрешения, при котором битовые скорости различаются из-за различия между мозаичными изображениями. А именно, для изображения низкого разрешения может быть образована одна группа 200а без декомпозиции, как показано на Фиг. 11, на области, такие как нулевой слой Lv0, первый слой Lv1, второй слой Lv2, и т.д. В этом случае нулевая область и первая область, которые определены как отдельные группы 200b и 200с в третьем слое Lv3 и четвертом слое Lv4, соответственно, объединяются в одну группу во втором слое Lv2. В альтернативном варианте, в зависимости от содержимого изображения, группировка для каждой области может быть осуществлена для всех слоев, за исключением нулевого слоя Lv0.
Также в этом примере осуществления, как объяснено на Фиг. 10, допустимая верхняя граница 2N числа последовательных слоев, задаваемых как слои разностного изображения в один и тот же момент времени, определяется на базе обрабатывающих возможностей дисплейного устройства. Далее, порядок распределения устанавливается таким, что число последовательных слоев, которые задаются как слои разностного изображения в один и тот же момент времени, где это число вычисляется из границы группы, имеющей в иерархической структуре связи вверх и вниз (например, граница, где разделенные области объединены, как описано выше), принимает значение максимум N.
Как было описано выше, в соответствии с примером осуществления, кодирование со сжатием выполняется единицами областей, например, единицами мозаичных изображений, и формируются независимые потоки движущегося изображения. Во время воспроизведения отдельно декодируется только тот поток движущегося изображения, который включает область воспроизведения на экране, и соединением воспроизводимых мозаичных изображений осуществляется визуализация каждого кадра движущегося изображения. Сделав возможной произвольную выборку по времени потока движущегося изображения, то есть, сделав возможным то, что воспроизведение любого из потоков движущихся изображений будет начинаться в любой момент времени, можно будет произвольно перемещать область воспроизведения движущегося изображения.
В таком примере осуществления, в случае, когда в одном потоке движущегося изображения совместно существуют данные исходного изображения и данные разностного изображения, как было описано выше, конфигурированием потока движущегося изображения, учитывая при этом моменты времени переключения, может быть улучшена эффективность обработки во время воспроизведения. На Фиг. 12 - Фиг. 14 показываются примеры конфигурации потока движущегося изображения. На Фиг. 12 представлен случай, когда порядок кадров движущегося изображения используется без изменения, как порядок данных потока движущегося изображения. На этом рисунке верхние прямоугольники показывают последовательности мозаичных изображений, полученные в результате выделения области некоторого мозаичного изображения в последовательностях кадров перед кодированием со сжатием, а по горизонтальной оси показывается ось времени движущегося изображения. На нижней части рисунка показывается поток движущегося изображения после кодирования со сжатием, где левый конец является заголовком потока. Части, соответствующие данным исходного изображения, показываются как перед, так и после кодирования белыми прямоугольниками, а части, соответствующие данным разностного изображения, показываются заштрихованными прямоугольниками.
В последующем объяснении "мозаичное изображение", содержащееся в кадре, также иногда называется как "кадр", так что смысл изображений, расположенных в хронологическим порядке на движущемся изображении, может быть легко понят. В случае данного рисунка, сначала перед кодированием со сжатием попеременно расстанавливаются последовательности кадров исходного изображения i′1, последовательности кадров разностного изображения d′1, последовательности кадров исходного изображения i′2, последовательности кадров разностного изображения d′2,…. Сжатые данные i′1, d′1, i′2, d′2,…, которые являются сжатыми и закодированными соответствующими последовательностями кадров, формируются в этом же порядке, без изменения. В случае, когда кодирование со сжатием выполняется независимо для каждого кадра, то есть, в случае, когда все кадры рассматриваются как внутренний кадр, достаточно будет только простое соединение сжатых и закодированных данных в порядке кадров.
С другой стороны, в случае повышения коэффициента сжатия за счет использования темпоральной избыточности изображений, например, кодированием с предикацией между кадрами, предпочтительно, чтобы зависимость между данными не влияла бы на различные типы последовательностей кадров (то есть, на исходное изображение и на разностное изображение). Иными словами, данные конфигурируются так, что для декодирования сжатых данных d′1 разностного изображения не требуется использование сжатых данных i′1 исходного изображения перед сжатыми данными d′1. Аналогичным образом, данные конфигурируются так, что для декодирования сжатых данных i′2 исходного изображения не требуется использование сжатых данных d′1 разностного изображения перед сжатыми данными i′2.
При таких обстоятельствах, обработку по декодированию кадра можно будет проводить внутри одного и того же типа данных, в какой бы момент времени не происходило обращение к данным, и становится возможным подавление запаздывания обработки. Поэтому кадр, следующий сразу после того, как произошло переключение типов (то есть, данные кадра заголовка соответствующих сжатых данных i′1, d′1, i′2, d′2,…) задается как внутренний кадр, который может быть декодирован независимо. Подобным образом, восстанавливается зависимость данных между кадрами и поэтому сжатые данные i′1, d′1, i′2, d′2,…, которые разделены в зависимости от типа изображения, могут быть сформированы в отдельный поток движущегося изображения. Далее, поскольку характеристики изображений, такие, например, как частотная характеристика, у исходного изображения и разностного изображения являются различными, то могут использоваться и различные алгоритмы сжатия.
На Фиг. 13 показывается случай, где из последовательности кадров выделяется данные кадров одинакового типа, и их группировкой и сжатием образуется одна единица сжатых данных. Этот рисунок представлен, главным образом, в таком же самом виде, что и рисунок на Фиг. 12, однако последовательности кадров исходного изображения перед кодированием со сжатием и последовательности кадров разностного изображения перед кодированием со сжатием представлены на Фиг. 13 со сдвигом в вертикальном направлении. Ось времени для этих двух последовательностей кадров является общей. Из таких последовательностей кадров перед кодированием со сжатием выделяется несколько (пять на рисунке) блоков следующих одна за другой последовательностей кадров исходного изображения, начиная от заголовка, и выделенные блоки объединяются в последовательность кадров i3, имеющую новый порядок во времени. Затем, выделяется то же самое число блоков последовательностей кадра разностного изображения, расположенных, соответственно, непосредственно после выделенных блоков последовательности кадров исходного изображения, и выделенные блоки объединяются в последовательность кадров d3, имеющую новый порядок во времени.
Аналогичным образом, блоки комбинируются в последовательность кадров i4 исходного изображения, последовательность кадров d4 разностного изображения,… Каждое из сжатых данных i′3, d′3, i′4, d′4,…, которые являются сжатыми и закодированными последовательностями кадров i3, d3, i4, d4,…, выбранных и скомбинированных для каждого типа изображения, рассматриваются как одна единица сжатых данных. Сгенерированные сжатые данные могут быть сформированы в отдельный поток движущегося изображения каждой единицы, или могут быть соединены в порядке генерации и сформированы в поток движущегося изображения. Граница, до которой объединяются последовательности кадров, может быть задана тем моментом, когда накопленное число кадров или накопленная величина объема данных превысит заранее заданный порог. В альтернативном варианте, могут, например, сравниваться кадры заголовка, входящие в блоки последовательностей кадров, которые при выделении располагаются последовательно, а граница может быть задана тем моментом, когда разность между кадрами заголовка превосходит заданный порог. Это может произойти, например, в момент изменения сцены.
Как было объяснено на Фиг. 12, при декодировании кадра, к которому обращение является произвольным, предпочтительно, чтобы данные кадра заголовка различных типов данных в потоке движущегося изображения после сжатия и кодирования задавались как внутренний кадр, с тем чтобы данные, необходимые для декодирования, не переходили в последовательность кадров другого типа. Однако в случае переключения между исходным изображением и разностным изображением при высокой частоте, возникающего, например, из-за высокой битовой скорости изображения, число внутренних кадров будет увеличиваться и коэффициент сжатия будет уменьшаться, если все кадры сразу после переключения задаются как внутренний кадр.
Также в случае, когда избыточность по времени длится достаточно долго (например, в случае, когда воспроизводимый на экране объект не движется), скорость сжатия может быть существенно понижена за счет введения внутреннего кадра в тот момент, когда переключаются исходное изображение и разностное изображение. В подобном случае, как было описано выше, объединением последовательностей кадров одинакового типа, которые не следуют непрерывно по времени, и формированием из них одной единицы сжатых данных, уменьшив тем самым число кадров, задаваемых как внутренний кадр, можно будет совместить предотвращение зависимости от распространения на другой тип последовательностей кадров и улучшение коэффициента сжатия.
Далее, в этом примере осуществления, поскольку порядок следования данных после их сжатия и кодирования отличается от порядка следования кадров в исходном движущемся изображении, то к данным после сжатия и кодирования присоединяется информация, которая связывает между собой порядок следования исходных кадров и порядок появления данных в данных после сжатия и кодирования. Во время воспроизведения движущегося изображения декодированные кадры реорганизуются и восстанавливаются в исходном порядке, используя ссылку к этой информации.
На Фиг. 14 показывается случай, где данные мозаичных изображений, которые представляют одну и ту же область на многих слоях, группируются и сжимаются, образуя тем самым одну единицу сжатых данных. Хотя этот рисунок представлен, в основном, в таком же виде, что и Фиг. 12, последовательности кадров пяти слоев (то есть, нулевой слой Lv0, первый слой Lv1, второй слой Lv2, третий слой Lv3 и четвертый слой Lv4) показаны как последовательности кадров перед кодированием со сжатием с общей осью времени. Прямоугольник в каждом слое символически представляет одну или более последовательностей мозаичных изображений. Далее, данные после кодирования со сжатием показаны прямоугольниками с другим типом штриховки, чем штриховка у данных разностного изображения, поскольку данные после кодирования со сжатием, в соответствии с примером осуществления, содержат как данные исходного изображения, так и данные разностного изображения.
Если принять верхний слой всех многих слоев, которые объединяются в виде одной единицы сжатых данных, в качестве слоя исходного изображения, то не будет необходимости в считывании другого потока движущегося изображения для получения данных, требуемых для восстановления исходного изображения из разностного изображения, что обеспечивает высокую эффективность обработки, необходимой для воспроизведения изображения на экране. В результате этого, какой бы слой ни использовался для воспроизведения, время запаздывания до воспроизведения уменьшается, и, таким образом, данный пример осуществления особенно эффективен в случае, когда уровень разрешения в дисплейном устройстве выбирается, или в случае, когда уровень разрешения задается переменным.
Размеры изображения, которое представляется одной и той же областью на нескольких слоях, являются различными из-за различия уровней разрешения этих слоев. Следовательно, в случае, когда иерархические данные имеют слои, где данные каждого слоя увеличиваются в 2×2 раза по сравнению с данными непосредственно примыкающего к нему слоя, то при комбинировании данных двух слоев, как показано на рисунке, один мозаичный элемент изображения верхнего слоя и четыре мозаичных элемента изображения нижнего слоя комбинируются в одну единицу сжатых данных. Когда комбинируются данные трех слоев, то в одну единицу сжатых данных объединяются один мозаичный элемент изображения верхнего слоя, четыре мозаичных элемента изображения среднего слоя и шестнадцать мозаичных элементов изображения нижнего слоя. То же самое применимо в случае более трех слоев.
Хотя кадры, которые входят в одну единицу сжатых данных принадлежат к различным слоям, эти кадры относятся к тому же самому периоду движущегося изображения. Как показывается на этом рисунке, в комбинируемых слоях все кадры, которые содержатся в периоде, в течение которого не происходит переключения между слоем исходного изображения и слоем разностного изображения, могут быть объединены в одну единицу сжатых данных. В альтернативном варианте, в одну единицу сжатых данных могут быть объединены кадры, включенные в период более короткий, чем в период, когда переключение не происходит. В последнем случае кадры могут быть сгруппированы при наличии пороговой величины накопленного числа кадров и/или накопленной величины объема данных. Очередность данных в данных после сжатия и кодирования специально не ограничивается, лишь только бы данные перед кодированием со сжатием были бы связаны с номером кадра, слоем и областью.
Как было описано выше, пример осуществления, показанный на Фиг. 14, имеет то преимущество, что при необходимости восстановления исходного изображения из разностного изображения обеспечивается легкий доступ к данным слоя исходного изображения. С другой стороны, данные разностного изображения, не являющегося необходимым, также передаются вместе с этим, даже в случае воспроизведения изображения с уровнем разрешением слоя исходного изображения. Поэтому для предотвращения того, чтобы такая ситуация продолжалась длительное время, число кадров, включенных в одну единицу сжатых данных, регулируется например, увеличением частоты переключения между слоем исходного изображения и слоем разностного изображения.
Далее будет представлено объяснение устройства, которое формирует сжатые данные движущегося изображения, рассмотренные выше. Это устройство также может быть реализовано конфигурацией, подобной конфигурации устройства обработки изображений 10, показанного на Фиг. 4. Это объяснение будет далее дано с акцентом на конфигурацию блока управления 100. На Фиг. 15 показывается подробная конфигурация блока управления 100b, обеспечивающего функцию формирования сжатых данных движущегося изображения, и дисковода жесткого диска 50, в соответствии с настоящим примером осуществления.
Блок управления 100b содержит блок планирования 130, блок формирования иерархических данных 132 и блок формирования сжатых данных 134. Блок планирования 130 определяет порядок распределения слоя исходного изображения и слоя разностного изображения. Блок формирования иерархических данных 132 формирует данные каждого слоя в соответствии с определенным порядком распределения. Блок формирования сжатых данных 134 сжимает и кодирует иерархические данные в соответствии с определенным алгоритмом и формирует поток движущегося изображения. Дисковод жесткого диска 50 содержит блок памяти данных движущихся изображений 136, который хранит данные движущегося изображения, подлежащего обработке, и блок памяти сжатых данных 140, который хранит сжатые и кодированные данные движущегося изображения.
Данные движущегося изображения, являющиеся объектом обработки и хранящиеся в блоке памяти данных движущихся изображений 136, могут быть данными обычного движущегося изображения, состоящими из последовательности кадров, где кадры, представленные с одним уровнем разрешения в соответствующие моменты времени, расположены в хронологическом порядке. Блок планирования 130 определяет порядок распределения слоя исходного изображения и слоя разностного изображения на базе одной из политик распределения, которые объясняются со ссылками к Фиг. 8 - Фиг. 11. Число слоев определяется, базируясь на уровне разрешения кадра исходного движущегося изображения. Какая именно политика должна быть выбрана из различных политик распределения, описанных выше, может быть определено в устройстве управления предварительно, или устройство может быть сконфигурировано так, что пользователь может выбирать политику через устройство ввода 20. В альтернативном варианте, выбор политики может быть определен, базируясь на характеристике изображения и/или типа движущегося изображения, присоединенного к данным движущегося изображения в качестве метаданных.
Блок формирования иерархических данных 132 считывает данные подлежащего обработке движущегося изображения из блока памяти данных движущихся изображений 136 и ступенчато сжимает каждый кадр в соответствии с заданной совокупностью дискретных уровней разрешения, формируя тем самым иерархические данные, состоящие из исходного изображения. В соответствии с порядком распределения, определенным блоком планирования 130, блок формирования иерархических данных 132 специфицирует для каждого кадра слой, который должен быть задан в качестве слоя разностного изображения, и преобразует данные специфицированного слоя в данные разностного изображения вычитанием его из исходного изображения на слое исходного изображения или из разностного изображения, находящегося непосредственно выше. Далее, блок формирования иерархических данных 132 разделяет изображение каждого слоя в изображения заданного размера, формируя тем самым мозаичные изображения.
Блок формирования сжатых данных 134 выполняет кодирование со сжатием одним из алгоритмов, которые были упомянуты выше со ссылками на Фиг. 12 - Фиг. 14, генерируя тем самым поток движущегося изображения. Сформированные потоки движущегося изображения хранятся в блоке памяти сжатых данных 140. В этом процессе информация, касающаяся конфигурации потока движущегося изображения (например, информация, которая связывает между собой положения данных в потоке движущегося изображения и порядок кадров исходного движущегося изображения), присоединяется, например, к заголовку потока движущегося изображения. Далее, присоединяется также отношение соответствия между областью мозаичного изображения на плоскости изображения каждого слоя и потоком движущегося изображения, и информация, касающаяся порядка распределения слоев исходного изображения и слоев разностного изображения.
Затем будет дано объяснение работы соответствующих устройств, реализующих описанную выше конфигурацию. На Фиг. 16 показывается процедура обработки, где устройство формирования сжатых данных движущихся изображений формирует сжатые данные движущегося изображения. Сначала пользователь выбирает данные обрабатываемого движущегося изображения, которые хранятся в блоке памяти данных движущихся изображений 136 дисковода жесткого диска 50 (S10), а блок планирования 130 определяет начальные состояния, такие, например, как число слоев, которое должно быть сформировано, политику планирования, и определяет, соответственно, порядок распределения слоев исходного изображения и слоев разностного изображения, базируясь на этих начальных состояниях, (S12 и S14).
Далее, блок формирования иерархических данных 132 считывает данные движущегося изображения, подлежащего обработке, из блока памяти данных движущихся изображений 136, и формирует иерархические данные, ступенчато уменьшая каждый кадр до нескольких дискретных размеров. Затем, блок формирования иерархических данных 132 формирует разностные изображения на слоях разностного изображения, обновляет иерархические данные и разделяет изображения на всех иерархических слоях на мозаичные изображения. Формированием таких иерархических данных для каждого кадра в каждый момент времени создаются иерархические данные четырехмерной структуры, в которой, как показано на Фиг. 6, к трем виртуальным размерностям x, y и z добавляется ось времени (S16).
Далее, блок формирования сжатых данных 134 сжимает и кодирует данные изображения в порядке следования кадров, показанном на Фиг. 12 - Фиг. 14, и формирует поток движущегося изображения (S18). В этом процессе все мозаичные изображения могут быть представлены как внутренние кадры, а могут быть также представлены как смесь внутреннего кадра и предсказанного кадра или внутреннего кадра и предыдущего и последующего кадра, от которых могут зависеть другие кадры. В результате, в последнем случае, слой разностного изображения будет хранить данные, полученные как разность по времени между изображениями в направлении разрешения. Как было описано выше, кадр, следующий сразу после того, как в последовательности кадров переключился тип изображения, задается как внутренний кадр.
Далее, блок формирования сжатых данных 134 генерирует: отношение соответствия между областью мозаичных изображений на плоскости изображения каждого слоя и потоком движущегося изображения; информацию, относящуюся к порядку распределения слоя исходного изображения и слоя разностного изображения; и информацию, относящуюся к конфигурации потока движущегося изображения, а затем присоединяет эту информацию к группе потоков движущихся изображений для формирования окончательных сжатых данных движущихся изображений и сохраняет эти данные в дисководе жесткого диска 50 (S20).
На Фиг. 17 показывается процедура обработки, позволяющая устройству воспроизведения изображений воспроизводить на экране движущееся изображение. Сначала пользователь через устройство ввода 20 вводит команду начала воспроизведения движущегося изображения, а затем запускается воспроизведение движущегося изображения на дисплейном устройстве 12 совместным исполнения операций блоком загрузки 108, блоком декодирования 112, блоком обработки воспроизведения изображения 14 и процессором воспроизведения 44 (S30). Сжатые данные движущегося изображения могут быть данными, хранящимися в дисководе жесткого диска 50, или могут быть данными, получаемыми через сеть от сервера движущихся изображений.
Если пользователь запрашивает перемещение области воспроизведения вводом через устройство ввода 20 операции зуминга в определенной позиции воспроизводимого движущегося изображения, операции перемещения по вертикали или по горизонтали точки обзора или пр. (Υ в S32), то блок определения координат кадра ПО вычисляет перемещение вектора скорости области воспроизведения в виртуальном пространстве из сигнала, запрашивающего перемещение области воспроизведения, и последовательно определяет координаты кадра в соответствующие моменты времени воспроизведения кадра (S34).
Безотносительно к тому, перемещается или не перемещается область воспроизведения (S34 или N в S32), блок декодирования 112, исходя из координаты z координат следующего кадра, из всех слоев, входящих в иерархические данные движущегося изображения, определяет слой, который должен использоваться для воспроизведения, а затем блок декодирования 112 из координаты x и координаты y специфицирует поток движущегося изображения из мозаичных изображений, соответствующих области воспроизведения определенного перед этим слоя, считывает поток из оперативной памяти 60, декодирует этот поток и хранит декодированные данные в буферной памяти 70 (S36). Поток движущегося изображения загружается в оперативную память 60 совместными операциями блока определения загружаемой области 106 и блока загрузки 108. Аналогичная процедура декодирования используется безотносительно к тому, являются ли данные, подлежащие декодированию, данными исходного изображения или данными разностного изображения.
А именно, если кадр является внутренним кадром, то кадр декодируется независимо, а если кадр является кадром отличным от внутреннего кадра, то кадр декодируется с использованием эталонного кадра. В случае, когда порядок данных потока движущегося изображения отличается от последовательности кадров исходного движущегося изображения, то данные, являющиеся объектом обработки, специфицируются, базируясь на информации соответствия, присоединенной к потоку движущегося изображения.
Далее, блок декодирования проверяет, является или не является декодированное изображение разностным изображением (S38). Является или не является декодированное изображение разностным изображением, определяется обращением к информации о порядке распределения, присоединенной к сжатым данным движущегося изображения, как было описано выше. В примере осуществления, где переключение проводится регулярно (например, переключение проводится для каждого заранее определенного числа кадров), слой разностного изображения может быть специфицирован на базе, например, числа кадров и тут же может быть определено, является или не является декодированное изображение разностным изображением.
В случае, когда декодированное изображение является разностным изображением, изображение восстанавливается декодированием изображения верхнего слоя, который описывает ту же самую область, и добавлением соответствующих пикселей, после чего данные в буферной памяти 70 обновляются (S40). В случае, когда слой, находящийся непосредственно выше, также является разностным изображением, проводится послойный поиск вверх до исходного изображения. В этом процессе вопрос о том, суммировать ли последовательно разностные изображения или же прибавлять только изображение непосредственно на слое исходного изображения, может быть решен конкретно для каждого фрагмента данных движущегося изображения.
Затем изображение в соответствующий момент времени обновляются тем, что блок обработки воспроизведения изображения 114, используя данные мозаичных изображений, хранящиеся в буферной памяти 70, записывает их для визуализации изображения области воспроизведения в буфере кадров процессора воспроизведения 44, а процессор воспроизведения 44 выдает изображение на дисплейное устройство 12 (S42). Повторяя описанные выше процессы применительно к каждому кадру, последовательно реализуется воспроизведение движущегося изображения, обеспечивая при этом возможность перемещения области воспроизведения (Ν в S44, S32 - S42). Если воспроизведение движущегося изображения завершается или если пользователь прекращает воспроизведение, то процесс останавливается (Υ на S44).
В соответствии с примером осуществления, описанным выше, конфигурированием иерархических данных, где каждый кадр движущегося изображения представлен с несколькими уровнями разрешения, и формированием потока движущегося изображения из каждого мозаичного изображения иерархических данных, слой, используемый для воспроизведения, переключается на другой слой, а используемый поток движущегося изображения переключается на другой поток в соответствии с перемещением области воспроизведения, включая изменения в уровнях разрешения. В этом процессе по меньшей мере один слой иерархических данных образуется как разностное изображение из изображения на слое, более высоком, чем этот слой. Тем самым, может быть предотвращено увеличение объема данных, даже если движущееся изображение представлено в виде иерархически организованных данных.
Далее, распределение слоев исходного изображения, которые хранят данные исходного изображения, и слоев разностного изображения, которые хранят данные разностного изображения, переключается между слоями, образующими иерархические данные. Тем самым, даже и в том примере осуществления, где только часть данных движущегося изображения передается из дисковода жесткого диска или сервера изображений, битовая скорость, требуемая для передачи, может быть усреднена, и можно уменьшить ширину полосы пропускания, необходимой для передачи. В результате, даже при узкой полосе пропускания передача данных может быть проведена без влияния на быстродействие перемещения области воспроизведения, и даже изображение огромного размера, порядка гигапикселей, может быть воспроизведено при небольшой емкости памяти.
Далее, порядок распределения слоев исходного изображения и слоев разностного изображения и/или конфигурация потока движущегося изображения могут быть оптимизированы в соответствии, например, с характеристиками движущегося изображения, производительностью обработки, и поэтому данные движущегося изображения, в соответствии с примером осуществления, могут использоваться в самых разнообразных прикладных областях, от мобильных терминалов до универсальных компьютеров.
Представленное выше объяснение базируется на примерах осуществления. Эти примеры осуществления рассматриваются только как иллюстративные и специалисту в этой области техники будет очевидно, что могут быть разработаны различные модификации компонентов и процессов, и что такие модификации также находятся в объеме настоящего изобретения.
Например, в соответствии с примером осуществления, данные изображения некоторого слоя хранятся, в основном, в виде изображения разности увеличенного изображения и изображения на слое с уровнем разрешения меньшим, чем уровень разрешения этого некоторого слоя. С другой стороны, изображение того же самого слоя (то есть, изображение с единичным разрешением) может быть разделено в области и данные изображения некоторой области также могут храниться как изображение разности с изображением другой области. Упоминаемое здесь "изображение другой области" может быть исходным изображением или может быть разностным изображением, в котором за исходное изображение принимается изображение другого слоя или другой области. Также в этом случае, переключением во времени области, заданной как разностное изображение, и области, заданной как исходное изображение, может быть усреднена битовая скорость, а ширина полосы пропускания, требуемой для передачи, может быть уменьшена. Этот пример осуществления особенно эффективен для изображения, содержащего область, которая является почти монохромной и/или область с повторяющимися структурами.
Описание ссылочных цифр
1 - система обработки изображений, 10 - устройство обработки изображений, 12 - дисплейное устройство, 20 - устройство ввода, 30 - нулевой слой, 32 - первый слой, 34 - второй слой, 36 - третий слой, 44 - процессор воспроизведения, 50 - дисковод жесткого диска, 60 оперативная память, 70 - буферная память, 100 - блок управления, 100b - блок управления, 102 - блок получения входной информации, 106 - блок определения загружаемой области, 108 - блок загрузки, 110 - блок определения координат кадра, 112 - блок декодирования, 114 - блок обработки воспроизведения изображения, 130 - блок планирования, 132 - блок формирования иерархических данных, 134 - блок формирования сжатых данных, 136 - блок памяти данных движущихся изображений и 140 - блок памяти сжатых данных.
Промышленная применимость
Как описано выше, настоящее изобретение может быть применимо к устройству обработки информации и к системам обработки информации, таким как компьютер, игровое устройство, устройство формирования изображений, устройство визуализации изображений и проч.
Изобретение относится к устройству формирования и воспроизведения данных движущегося изображения. Техническим результатом является обеспечение обработки изображений, позволяющей воспроизводить на экране движущиеся изображения высокой четкости с высоким быстродействием изменений при вводе пользователем операции по воспроизведению области изображения, ограничивая объем обрабатываемых данных. Предложено кадры движущегося изображения конфигурировать в виде иерархической структуры, где каждый кадр представлен с множеством уровней разрешения, при этом разрешение становится выше в порядке следования нулевого слоя 30, первого слоя 32, второго слоя 34, третьего слоя 36, нулевой слой 30 и второй слой 34 задаются в качестве слоя исходного изображения, а первый слой 32 и третий слой 36 задаются в качестве слоя разностного изображения в иерархических данных, представляющих кадр в момент времени t1. В случае когда область 124а, которая должна воспроизводиться с разрешением третьего слоя 36, к значениям соответствующих пикселей разностного изображения области 124а, хранимой третьим слоем 36, добавляются значения соответствующих пикселей изображения соответствующей области 126а, хранимой вторым слоем 34, для получения изображения, увеличенного до разрешения третьего слоя 36. Блок формирования сжатых данных, сжимает и кодирует иерархические данные движущегося изображения и записывает сжатые и кодированные иерархические данные движущегося изображения в запоминающем устройстве. 6 н. и 13 з.п. ф-лы, 17 ил. 
1. Устройство формирования данных движущихся изображений, формирующее иерархические данные движущегося изображения, где иерархически организованы в порядке разрешения множества последовательности изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение при различных уровнях разрешения, для формирования воспроизводимого на экране изображения, переключая при этом используемый слой на другой слой в соответствии с уровнем разрешения, требуемым в устройстве обработки изображений, которое воспроизводит движущееся изображение, содержащее:
блок формирования иерархических данных, который формирует данные изображения соответствующих слоев каждого кадра изображения уменьшением размера каждого кадра изображения, и в данные изображения по меньшей мере одного слоя включаются данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и тем самым образует иерархические данные движущегося изображения;
блок формирования сжатых данных, который сжимает и кодирует иерархические данные движущегося изображения, образованные упомянутым блоком формирования иерархических данных, и записывает сжатые и кодированные иерархические данные движущегося изображения в запоминающем устройстве; и
блок планирования, который определяет порядок переключения слоя, содержащего данные разностного изображения в иерархических данных движущегося изображения, по мере прохождения времени, на другой слой,
при этом упомянутый блок формирования иерархических данных определяет слой и область, задаваемые как разностное изображение, для каждого кадра изображения, в соответствии с порядком переключения, определенным упомянутым блоком планирования, и образует иерархические данные движущегося изображения.
2. Устройство по п. 1, отличающееся тем, что упомянутый блок планирования переключает для каждой области и сохраняет или не сохраняет данные разностного изображения каждого слоя, и переключает комбинацию слоя, хранящего данные упомянутого разностного изображения, и слоя, отличного от этого слоя, на другую комбинацию в момент времени, общий для всех слоев, за исключением слоя с самым низким уровнем разрешения из числа слоев, образующих упомянутые иерархические данные движущегося изображения.
3. Устройство по п. 1, отличающееся тем, что блок планирования переключает для каждой области и сохраняет или не сохраняет данные разностного изображения каждого слоя, и переключает комбинацию слоя, хранящего данные упомянутого разностного изображения и слоя, отличного от этого слоя, на другую комбинацию в момент времени, общий для каждой из множества групп, образованных разбиением на разделы множества слоев, которые образуют иерархические данные движущегося изображения, за исключением слоя с самым низким разрешением из числа слоев, образующих упомянутые иерархические данные движущегося изображения.
4. Устройство по п. 1, отличающееся тем, что блок планирования переключает для каждой области внутри слоя и сохраняет или не сохраняет данные разностного изображения каждой области по меньшей мере в одном из слоев, и переключает комбинацию слоя, который хранит данные разностного изображения, и слоя, отличного от упомянутого слоя, на другую комбинацию в момент времени, общий для областей, представляющих одинаковую позицию во многих слоях, для которых проводится переключение единицами областей.
5. Устройство по любому из пп. 1-4, отличающееся тем, что блок планирования переключает комбинацию слоя, который хранит данные разностного изображения, и слоя, отличного от упомянутого слоя, на другую комбинацию для каждого заданного числа кадров изображения.
6. Устройство по любому из пп. 1-4, отличающееся тем, что блок планирования получает информацию о моментах времени изменения сцены в движущемся изображении, и переключает комбинацию слоя, который хранит данные разностного изображения, и слоя, отличного от упомянутого слоя, на другую комбинацию в момент времени изменения сцены.
7. Устройство по любому из пп. 1-4, отличающееся тем, что блок планирования переключает комбинацию слоя, который хранит данные разностного изображения, и слоя, отличного от упомянутого слоя, на другую комбинацию в момент времени, когда накопленная величина объема данных единиц переключения на единицу области достигает заданной пороговой величины.
8. Устройство по любому из пп. 1-4, отличающееся тем, что блок формирования сжатых данных:
классифицирует хронологические данные мозаичных изображений, формируемых разделением с определенным размером изображения каждого слоя в иерархических данных движущегося изображения, образованных блоком формирования иерархических данных, исходя из того, являются или не являются эти данные данными разностного изображения;
формирует новые хронологические последовательности данных объединением в соответствии с определенным правилом хронологических данных каждой группы классификации; и
сжимает и кодирует новые хронологические последовательности данных в порядке следования данных.
9. Устройство по любому из пп. 1-4, отличающееся тем, что блок формирования сжатых данных сжимает и кодирует иерархические данные движущегося изображения, которые формируются блоком формирования иерархических данных, для соответствующих хронологических последовательностей данных мозаичных изображений, которые образуются разделением с определенным размером изображения каждого слоя, независимо являются или не являются эти данные данными разностного изображения.
10. Устройство по п. 8, отличающееся тем, что блок формирования сжатых данных задает по меньшей мере данные самого первого мозаичного изображения после переключения на/из разностного изображения, и данные самого первого мозаичного изображения, содержащиеся в сжимаемых хронологических последовательностях данных, принимаются за внутренний кадр, который может быть декодирован независимо.
11. Устройство по любому из пп. 1-4, отличающееся тем, что блок формирования сжатых данных объединяет, сжимает и кодирует хронологические последовательности данных мозаичных изображений, которые образуются разделением с заранее заданным размером изображения каждого слоя в иерархических данных движущегося изображения, формируемых блоком формирования иерархических данных для каждой одинаковой области на движущемся изображении во многих слоях, и тем самым образует единицу сжатых данных;
при этом одна единица сжатых данных образуется так, что самый верхний слой из многих входящих в нее слоев, хранит данные необходимого исходного изображения для восстановления разностного изображения, которое хранит отличный от него слой.
12. Устройство воспроизведения движущихся изображений, содержащее:
блок памяти данных движущихся изображений, который хранит иерархические данные движущегося изображения, образованные иерархической организацией в порядке уровней разрешения многих последовательностей изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение с различными уровнями разрешения;
блок получения входной информации, который последовательно получает сигналы запроса на перемещение области воспроизведения в движущемся изображении, которое воспроизводится на экране; и
блок обработки воспроизведения изображения, который обеспечивает воспроизведение изображения в соответствии с сигналом запроса на перемещение каждого кадра изображения, переключая при этом используемый слой на другой слой из многих слоев, входящих в иерархические данные движущегося изображения, в соответствии с требуемым разрешением, определяемым сигналом запроса на перемещение, переданным из блока получения входной информации,
при этом, данные изображения по меньшей мере одного слоя из многих слоев, образующих иерархические данные движущегося изображения, содержат данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и слой, содержащий данные разностного изображения, по мере прохождения времени переключается на другой слой в иерархических данных движущегося изображения,
при этом блок обработки воспроизведения изображения получает информацию о порядке переключения слоя, содержащего данные разностного изображения, на другой слой, и определяет, основываясь на этих данных, являются или не являются данные, используемые для воспроизведения, данными разностного изображения, и восстанавливает изображение увеличением и добавлением изображения на упомянутом другом слое в случае, когда данные, используемые при воспроизведении, являются данными разностного изображения.
13. Устройство по п. 12, отличающееся тем, что слой в иерархических данных движущегося изображения, содержащий данные разностного изображения, переключается на другой слой для каждого заданного числа кадров, и
блок обработки воспроизведения изображения, основываясь на упомянутом заданном числе кадров, выводит, являются или не являются данные, используемые для воспроизведения, данными разностного изображения, определением слоя, содержащего данные разностного изображения, для каждого кадра изображения.
14. Устройство по п. 12, отличающееся тем, что блок памяти данных движущихся изображений хранит также информацию о порядке переключения, связывая при этом упомянутую информацию с иерархическими данными движущегося изображения, и
при этом блок обработки воспроизведения изображения определяет, являются или не являются данные, используемые для воспроизведения, данными разностного изображения, обращаясь к упомянутому порядку переключения.
15. Устройство по любому из пп. 12-14, отличающееся тем, что иерархические данные движущегося изображения содержат несколько единиц сжатых данных, которые являются сжатыми и кодированными данными в хронологическом порядке, отличном от хронологического порядка кадров в движущемся изображении, и которые классифицируются в зависимости от того, являются или не являются упомянутые данные данными разностного изображения,
где блок памяти данных движущихся изображений хранит также информацию соответствия, которая связывает между собой порядок кадров изображения в движущемся изображении и порядок данных в единице сжатых данных, связывая при этом упомянутую информацию с иерархическими данными движущегося изображения, и
при этом блок обработки воспроизведения изображения переупорядочивает декодированные данные в порядке кадров исходного изображения, основываясь на упомянутой информации соответствия.
16. Способ формирования данных движущихся изображений, формирующий иерархические данные движущегося изображения, представляющие собой иерархически организованные в порядке уровней разрешения множества последовательности изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение, при различных уровнях разрешения, для формирования воспроизводимого изображения, переключая при этом используемый слой на другой слой в соответствии с уровнем разрешения, требуемым в устройстве обработки изображений, которое воспроизводит движущееся изображение, включающий:
этап, на котором считываются данные движущегося изображения, содержащие последовательности кадров изображения, представленные с одним уровнем разрешения, из запоминающего устройства;
этап, на котором формируются данные изображения соответствующих слоев каждого кадра изображения несколькими уменьшениями размера каждого кадра изображения до нескольких размеров;
этап, на котором в данные изображения по меньшей мере одного слоя включаются данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и тем самым образует иерархические данные движущегося изображения; и
этап, на котором сжимаются и кодируются иерархические данные движущегося изображения, и упомянутые данные записываются в запоминающем устройстве,
при этом способ формирования данных движущихся изображений также включает этап, на котором определяется порядок переключения слоя, содержащего данные разностного изображения в иерархических данных движущегося изображения, по мере прохождения времени, на другой слой,
и этап включения данных разностного изображения, на котором определяются слой и область, задаваемые как разностное изображение, для каждого кадра изображения, в соответствии с порядком переключения и образуются иерархические данные движущегося изображения.
17. Способ воспроизведения движущихся изображений, содержащий:
этап, на котором считывается из запоминающего устройства по меньшей мере часть иерархических данных движущегося изображения, представляющих собой иерархически организованные в порядке уровней разрешения множества последовательности изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение, при различных уровнях разрешения, и запуск воспроизведения движущегося изображения на дисплейном устройстве, используя по меньшей мере часть иерархических данных движущегося изображения;
этап, на котором принимается сигнал запроса на перемещение области воспроизведении в движущемся изображении, которое воспроизводится на экране;
этап, на котором формируется воспроизводимое изображение в соответствии с сигналом запроса на перемещение каждого кадра изображения, переключая при этом используемый слой на другой слой из многих слоев, входящих в иерархические данные движущегося изображения, в соответствии с требуемым разрешением, определяемым сигналом запроса на перемещение; и
этап, на котором сформированное изображение воспроизводится на экране дисплейного устройства;
при этом данные изображения по меньшей мере одного слоя из многих слоев, образующих иерархические данные движущегося изображения, содержат данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и слой, содержащий данные разностного изображения, по мере прохождения времени переключается на другой слой в иерархических данных движущегося изображения,
где этап, на котором формируется воспроизводимое изображение, включает получение информации о порядке переключения слоя, содержащего данные разностного изображения, на другой слой, и определение, основываясь на этих данных, являются или не являются данные, используемые для воспроизведения, данными разностного изображения, и восстановление изображения увеличением и добавлением изображения на упомянутом другом слое в случае, когда данные, используемые при воспроизведении, являются данными разностного изображения.
18. Считываемый компьютером носитель записи, на котором записана компьютерная программа, обеспечивающий исполнение компьютером функции формирования иерархических данных движущихся изображений, где иерархически организованы в порядке разрешения множества последовательности изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение при различных уровнях разрешения, для формирования воспроизводимого на экране изображения, переключая при этом используемый слой на другой слой в соответствии с уровнем разрешения, требуемым в устройстве обработки изображений, которое воспроизводит движущееся изображение, включающий:
функцию, которая считывает из запоминающего устройства данные движущегося изображения, состоящие из последовательностей кадров изображения, представленного с одним уровнем разрешения;
функцию, которая формирует данные изображения соответствующих слоев каждого кадра изображения уменьшением размера каждого кадра изображения по многим размерам;
функцию, которая в данные изображения по меньшей мере одного слоя включает данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и тем самым образует иерархические данные движущегося изображения; и
функцию, которая сжимает и кодирует иерархические данные движущегося изображения, и записывает сжатые и кодированные иерархические данные движущегося изображения в запоминающем устройстве, при этом
компьютерная программа также содержит функцию, которая определяет порядок переключения слоя, содержащего данные разностного изображения в иерархических данных движущегося изображения, по мере прохождения времени, на другой слой.
и функцию, включающую данные разностного изображения, которая содержит функцию, которая определяет слой и область, задаваемые как разностное изображение, для каждого кадра изображения, в соответствии с порядком переключения, определенным упомянутым блоком планирования, и образует иерархические данные движущегося изображения.
19. Считываемый компьютером носитель записи, на котором записана компьютерная программа, обеспечивающая исполнение компьютером:
функции, которая считывает из запоминающего устройства иерархические данные движущегося изображения, образованные иерархической организацией в порядке уровней разрешения многих последовательностей изображений, которые являются представлениями кадров изображения, образующих одно движущееся изображение с различными уровнями разрешения, и запускает воспроизведение движущегося изображения на дисплейном устройстве использованием по меньшей мере части иерархических данных движущегося изображения;
функции, которая последовательно получает сигналы запроса на перемещение области воспроизведения в движущемся изображении, которое воспроизводится на экране;
функции, которая обеспечивает воспроизведение изображения в соответствии с сигналом запроса на перемещение каждого кадра изображения, переключая при этом используемый слой на другой слой из многих слоев, входящих в иерархические данные движущегося изображения, в соответствии с требуемым разрешением, определяемым сигналом запроса на перемещение; и
функции, которая воспроизводит сформированное воспроизводимое изображение на экране дисплейного устройства,
при этом, данные изображения по меньшей мере одного слоя из многих слоев, образующих иерархические данные движущегося изображения, содержат данные разностного изображения, представляющего собой разность между увеличенным изображением и изображением на другом слое, которое является представлением того же самого кадра изображения с уровнем разрешения меньшим, чем разрешение упомянутого одного слоя, и слой, содержащий данные разностного изображения, по мере прохождения времени переключается на другой слой в иерархических данных движущегося изображения,
при этом функция, которая формирует воспроизведение изображения, включает в себя функции, которые получают информацию о порядке переключения слоя, содержащего данные разностного изображения, на другой слой, и определяют, основываясь на этих данных, являются или не являются данные, используемые для воспроизведения, данными разностного изображения, и восстанавливают изображение увеличением и добавлением изображения на упомянутом другом слое в случае, когда данные, используемые при воспроизведении, являются данными разностного изображения.
| Вибрационная дробилка | 1976 |
|
SU627859A1 |
| Стенд для изготовления кольца сборно-монолитного резервуара | 1984 |
|
SU1249131A1 |
| СЫРЬЕВАЯ СМЕСЬ ДЛЯ ИЗГОТОВЛЕНИЯ СТРОИТЕЛЬНОГО МАТЕРИАЛА | 1991 |
|
RU2012545C1 |
| WO 2011013263 A1, 2011-02-03 | |||
| JP 2011060070 A, 2011-03-24 | |||
| JP 2002058028 A, 2002-02-22 | |||
| US 6681056 B1, 2004-01-20 | |||
| US 2007252834 A1, 2007-11-01 | |||
| СПОСОБ МАСШТАБИРУЕМОГО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ВИДЕОСИГНАЛА И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ | 2004 |
|
RU2329615C2 |
