Перекрестная ссылка на родственные заявки
Данная заявка испрашивает приоритет предварительной заявки на патент (США) порядковый номер 61/200725, озаглавленной "Methods and Systems for Presenting Three-Dimensional Motion pictures with Content adaptive Three-Dimensional Subtitles" и поданной 1 декабря 2008 года, все содержимое которой содержится в данном документе по ссылке.
Область техники, к которой относится изобретение
Данное раскрытие сущности, в общем, относится к обработке трехмерных изображений, а более конкретно, к обработке изображений, чтобы отображать дополнительную информацию, к примеру, субтитры, с трехмерным (3D) изображением на основе содержимого трехмерного изображения.
Уровень техники
Субтитры являются текстовыми представлениями звукового диалога, который переведен на язык, который типично отличается от оригинальной версии при представлении кинофильма. Субтитры могут быть заголовками, которые могут использоваться для того, чтобы описывать как звуковой диалог, так и звуковые описания, чтобы помогать в представлении зрителям с ослабленным слухом. Текст заголовка может отображаться на экране или отображаться отдельно. Термин "субтитр" означает любой текст или графику, отображаемую на экране представления изображения. Субтитр является типом "дополнительной информации", которая может отображаться в дополнение к изображению. Субтитры отображаются на экране, обычно внизу экрана, чтобы помогать аудитории не отставать от диалога в фильме, к примеру, диалога, произносимого на языке, который аудитория может не понимать, или помогать присутствующим, которые имеют трудности в прослушивании звуков.
Типично, субтитры принимаются как файл субтитров, который содержит элементы субтитров для кинофильма. Элемент субтитров может включать в себя текст субтитров и информацию синхронизации, указывающую, когда текст субтитров должен появляться и исчезать на экране. Зачастую, информация синхронизации основана на временном коде или другой эквивалентной информации, к примеру, метраже фильма (например, измеренном в футах и кадрах). Файл субтитров также может включать в себя другие атрибуты, к примеру, текстовые шрифты, цвет текста, размещение субтитров на экране и информацию совмещения на экране, которые описывают то, как субтитры должны появляться на экране. Система отображения традиционных субтитров интерпретирует информацию из файла субтитров, преобразует элементы субтитров в графическое представление и отображает субтитры на экране синхронно с изображениями и в соответствии с информацией в файле субтитров. Функция системы отображения традиционных субтитров может выполняться посредством сервера цифрового кинотеатра, который накладывает преобразованное представление субтитров на изображения, которые должны отображаться посредством цифрового проектора.
Представление трехмерного (3D) кинофильма выполняется посредством отображения стереоскопических трехмерных изображений в последовательности с использованием системы стереоскопического трехмерного отображения. Трехмерное изображение включает в себя изображение для левого глаза и соответствующее изображение для правого глаза, представляющие два немного отличающихся вида идентичной сцены, аналогично двум перспективам, воспринимаемым посредством обоих глаз человека-зрителя. Разности между изображениями для левого глаза и для правого глаза упоминаются как бинокулярная диспаратность, которая зачастую используется взаимозаменяемо с "диспаратностью". Диспаратность может означать разность горизонтальной позиции между пикселом в изображении для левого глаза и соответствующим пикселом в соответствующем изображении для правого глаза. Диспаратность может измеряться посредством числа пикселов. Аналогичным понятием является "параллакс", который означает расстояние для горизонтальных позиций между такой парой пикселов при отображении на экране. Параллакс может измеряться посредством показателя расстояния, к примеру, в дюймах. Значение параллакса может быть связано со значением пикселной диспаратности в данных трехмерных изображений, принимая во внимание размерность экрана дисплея. Трехмерный кинофильм включает в себя несколько последовательностей изображений для левого глаза и соответствующих последовательностей изображений для правого глаза. Система трехмерного отображения может обеспечивать то, что последовательность изображений для левого глаза представляется для левого глаза зрителя, а последовательность изображений для правого глаза представляется для правого глаза зрителя, формируя восприятие глубины. Воспринимаемая глубина пиксела в кадре трехмерного изображения может быть определена посредством величины параллакса между отображаемыми видами для правого глаза и для левого глаза соответствующей пары пикселов. Трехмерное изображение с сильным параллаксом или с большими значениями пикселной диспаратности кажется расположенным ближе к человеку-зрителю.
Один способ предоставления субтитров или любой дополнительной информации для трехмерного кинофильма включает в себя использование системы отображения традиционных субтитров, в которой моноскопическая версия изображений субтитров отображается на экране так, чтобы ее видели левый и правый глаз, фактически располагая субтитры в глубине экрана. Когда для трехмерных изображений с сильным параллаксом представляется моноскопическая версия субтитров, аудитория может иметь трудности в прочтении субтитров, которые кажутся расположенными позади глубины изображений, поскольку глаза присутствующих не могут совмещать изображения на одной глубине и субтитры на другой глубине одновременно.
Субтитр, отображаемый традиционно с трехмерным изображением, проиллюстрирован на фиг.1. Отображается трехмерное изображение, которое включает в себя основной объект 106, который имеет наблюдаемую глубину выхода за пределы экрана 102. Текст 108 моноскопических субтитров имеет наблюдаемую глубину на экране. Когда зритель, носящий трехмерные очки 104, фокусируется на основном объекте 106, зритель может воспринимать то, что субтитр 108 позади основного объекта 106 может быть воспринят как двойные изображения 110 и 112. Зрители могут испытывать трудности в прочтении текста субтитров при просмотре трехмерных изображений. Эта проблема, в частности, является неприятной для аудитории в трехмерном кинозале с большим экраном, к примеру, трехмерного кинотеатра IMAX®, в котором для трехмерных изображений представляется более сильный параллакс, и они кажутся более иммерсивными и расположенными ближе к аудитории, чем трехмерные изображения в меньшем трехмерном кинотеатре.
Хотя эта проблема представлена для субтитров, любая информация в дополнение к трехмерному изображению, которая должна отображаться с трехмерным изображением, может испытывать эти и другие проблемы, поясненные в данном документе.
Другой способ проецирования субтитров для трехмерного кинофильма с системой отображения традиционных субтитров состоит в том, чтобы располагать моноскопическую версию субтитров около верхней части экрана. Этот способ уменьшает дискомфорт при просмотре аудиторией, поскольку в большинстве трехмерных сцен содержимое изображений около верхней части кадров с изображениями зачастую имеет более удаленные значения глубины, чем содержимое изображений около нижней части кадров с изображениями. Например, содержимое изображений около верхней части изображения зачастую включает в себя небо, облака, крышу здания или возвышенности, которые кажутся расположенными на большом расстоянии от других объектов в сцене. Эти типы содержимого зачастую имеют глубину близко к экрану или позади глубины экрана. Зритель может находить, что проще читать моноскопическую версию субтитров в то время, когда близлежащее содержимое изображений располагается на большом расстоянии или даже позади глубины экрана. Тем не менее, зрители могут продолжать испытывать трудности, когда содержимое изображений около верхней части экрана имеет наблюдаемую глубину, которая находится близко к дальнему краю. Кроме того, зрители могут находить, что неудобно непрерывно фокусироваться на верхней части изображения, чтобы воспринимать субтитр или другую дополнительную информацию для изображения.
Соответственно, требуются системы и способы, которые могут приводить к отображению субтитров или другой дополнительной информации на приемлемой глубине или в другом местоположении на дисплее и с трехмерным изображением.
Кроме того, хотя некоторые существующие способы могут использоваться для того, чтобы определять глубину содержимого трехмерных изображений, такие существующие способы являются неподходящими для быстрого и динамического определения глубины содержимого трехмерных изображений. Традиционный способ стереосогласования не позволяет согласованно доставлять точные результаты диспаратности, поскольку он не может учитывать временное изменение содержимого изображений. Как результат, глубина трехмерных субтитров, вычисляемых на основе традиционного способа стереосогласования, не может быть согласована во времени и, таким образом, может приводить к дискомфорту при просмотре аудиторией. Кроме того, традиционный способ стереосогласования может не быть эффективным и достаточно надежным для приложений автоматизированных вычислений в реальном времени. Соответственно, также требуются системы и способы, которые могут использоваться для того, чтобы быстро и динамически определять глубину содержимого трехмерных изображений, так что глубина может использоваться для того, чтобы находить субтитр или другую информацию в дополнение к содержимому трехмерных изображений.
Сущность изобретения
Конкретные варианты осуществления касаются обработки и отображения субтитров в стереоскопическом трехмерном (3D) режиме при представлении трехмерного кинофильма, чтобы предоставлять возможность аудитории легко и комфортно читать изображения и субтитры. Стереоскопические трехмерные субтитры или трехмерные субтитры могут создаваться посредством отображения изображения субтитров для левого глаза и изображения субтитров для правого глаза с надлежащей диспаратностью или параллаксом.
В одном варианте осуществления, обрабатываются трехмерные субтитры, которые имеют адаптивную к содержимому глубину на основе трехмерных изображений с высокими уровнями эффективности вычислений и надежности вычислений.
В одном варианте осуществления, обрабатываются трехмерные субтитры, которые имеют адаптивную к содержимому глубину с высокими уровнями эффективности вычислений и надежности вычислений на основе сжатой версии трехмерных изображений, доступных в форме комплекта для цифровых кинотеатров (DCP).
В одном варианте осуществления, трехмерные субтитры, которые имеют адаптивную к содержимому глубину, обрабатываются и отображаются при поддержании согласованного воспринимаемого размера шрифта субтитров.
В одном варианте осуществления, предусмотрена трехмерная цифровая проекционная система для вычисления и отображения трехмерных субтитров с адаптивной к содержимому глубиной.
В одном варианте осуществления, трехмерные субтитры с адаптивной к содержимому глубиной, а также другие атрибуты адаптивных к содержимому субтитров, включающие в себя начертание шрифта, размер шрифта, цвет или яркость и позицию на экране, обрабатываются и отображаются.
В одном варианте осуществления, предусмотрена трехмерная цифровая проекционная система для вычисления и отображения трехмерных субтитров с адаптивной к содержимому глубиной, а также других атрибутов адаптивных к содержимому субтитров, включающих в себя начертание шрифта, размер шрифта, цвет или яркость и позицию на экране.
В варианте осуществления, последовательность трехмерных изображений и файл субтитров для последовательности трехмерных изображений принимаются. Файл субтитров включает в себя элемент субтитров и информацию синхронизации, ассоциированную с элементом субтитров. Элемент субтитров ассоциирован с сегментом последовательности трехмерных изображений на основе информации синхронизации. Карта абстрактной глубины вычисляется из сегмента, ассоциированного с элементом субтитров. Промежуточная глубина вычисляется на основе карты абстрактной глубины для элемента субтитров. Промежуточная глубина используется для того, чтобы определять атрибут рендеринга для элемента субтитров. Атрибут рендеринга выводится.
В варианте осуществления, предусмотрена среда для отображения изображений на ней. Среда для отображения включает в себя последовательность трехмерных изображений, которая имеет содержимое на переменных наблюдаемых глубинах. Среда для отображения также включает в себя элемент субтитров, который имеет наблюдаемую глубину, которая изменяется на основе переменных наблюдаемых глубин содержимого последовательности трехмерных изображений.
Эти иллюстративные варианты осуществления предназначены не для того, чтобы ограничивать или задавать раскрытие сущности, а для того, чтобы предоставлять примеры, чтобы помогать в их понимании. Дополнительные варианты осуществления поясняются в подробном описании, и дополнительное описание предусмотрено ниже. Преимущества, предлагаемые посредством одного или более различных вариантов осуществления, дополнительно могут пониматься посредством изучения данного подробного описания или посредством осуществления на практике одного или более представленных вариантов осуществления.
Краткое описание чертежей
Фиг.1 иллюстрирует представление предшествующего уровня техники трехмерного (3D) изображения с моноскопическими субтитрами, отображаемыми на экране.
Фиг.2 иллюстрирует представление трехмерного изображения со стереоскопическими субтитрами, отображаемыми на экране согласно одному варианту осуществления настоящего изобретения.
Фиг.3 иллюстрирует систему, которая допускает определение атрибутов рендеринга для стереоскопического субтитра, который должен отображаться на экране с трехмерным изображением согласно одному варианту осуществления настоящего изобретения.
Фиг.4 иллюстрирует блок-схему последовательности операций способа для вычисления стереоскопических субтитров, которые должны отображаться с трехмерным изображением согласно одному варианту осуществления настоящего изобретения.
Фиг.5 графически иллюстрирует абстракцию изображений согласно одному варианту осуществления настоящего изобретения.
Фиг.6 графически иллюстрирует проекцию на основе вертикальной дискретизации согласно одному варианту осуществления настоящего изобретения.
Фиг.7 графически иллюстрирует проекцию на основе многократной вертикальной дискретизации согласно одному варианту осуществления настоящего изобретения.
Фиг.8 графически иллюстрирует многозонную абстракцию изображений согласно одному варианту осуществления настоящего изобретения.
Фиг.9 графически иллюстрирует второй вариант осуществления многозонной абстракции изображений.
Фиг.10 графически иллюстрирует пару абстрактных изображений и карту абстрактной глубины согласно одному варианту осуществления настоящего изобретения.
Фиг.11 иллюстрирует функциональную блок-схему модуля определения промежуточной глубины согласно одному варианту осуществления настоящего изобретения.
Фиг.12 иллюстрирует распределение диспаратности сегмента трехмерного изображения согласно варианту осуществления настоящего изобретения.
Фиг.13 иллюстрирует дистограмму сегмента трехмерного изображения согласно одному варианту осуществления настоящего изобретения.
Фиг.14A является примером файла с текстом традиционных субтитров согласно одному варианту осуществления настоящего изобретения.
Фиг.14B является примером файла с текстом трехмерных субтитров с промежуточной глубиной согласно одному варианту осуществления настоящего изобретения.
Фиг.15 графически иллюстрирует выбор временного окна согласно варианту осуществления настоящего изобретения.
Фиг.16 графически иллюстрирует определение промежуточной глубины из дистограммы согласно одному варианту осуществления настоящего изобретения.
Фиг.17A и 17B графически иллюстрируют избирательное DCP-декодирование согласно одному варианту осуществления настоящего изобретения.
Фиг.18 графически иллюстрирует подполосы частот JPEG2K уровня 3 и соответствующие пакеты согласно одному варианту осуществления настоящего изобретения.
Фиг.19 является функциональной блок-схемой для системы вычислений адаптивных к содержимому трехмерных субтитров заранее согласно одному варианту осуществления настоящего изобретения.
Фиг.20 является функциональной блок-схемой для системы вычислений адаптивных к содержимому трехмерных субтитров в реальном времени согласно одному варианту осуществления настоящего изобретения.
Фиг.21 является блок-схемой последовательности операций способа для контроллера ввода субтитров согласно одному варианту осуществления настоящего изобретения.
Подробное описание изобретения
Определенные аспекты и варианты осуществления идей изобретения, раскрытых в данном документе, касаются способов и систем для отображения трехмерных (3D) изображений с дополнительной информацией, такой как субтитры, в местоположении и глубине на основе содержимого трехмерных изображений. Хотя раскрытые способы являются, в общем, подходящими для любого типа систем трехмерного стереоскопического отображения, они могут иметь конкретную применимость для трехмерных кинотеатров с иммерсивным окружением просмотра.
В некоторых вариантах осуществления, дополнительная информация, которая является субтитрами, отображается на глубине, которая является идентичной или иным образом основана на глубине содержимого в отображаемом трехмерном изображении. Фиг.2 иллюстрирует один вариант осуществления элемента 214 субтитров, отображаемого на глубине, которая основана на глубине основного изображаемого объекта 106 в трехмерном изображении. Посредством отображения элемента 214 субтитров на глубине, которая основана на содержимом трехмерного изображения, как трехмерное изображение, так и субтитр могут просматриваться одновременно и удобно для зрителя 104. Кроме того, если глубина основного изображаемого объекта 106 изменяется, глубина элемента 214 субтитров также может изменяться на основе изменения глубины основного изображаемого объекта 106.
Расположение по глубине элемента 214 субтитров может предоставляться в стереоскопическом способе посредством отображения вида для левого глаза и вида для правого глаза идентичного элемента субтитров с надлежащим параллаксом. Субтитр, отображаемый таким образом, может упоминаться как стереоскопический субтитр или быть иным образом известным как трехмерный субтитр. Величина параллакса, который может быть необходим для расположения по глубине субтитра, может быть определена посредством вычисления глубины основного изображаемого объекта 106 или эквивалентно посредством вычисления значений пикселной диспаратности основного изображаемого объекта 106.
Вид для левого глаза и вид для правого глаза трехмерного субтитра может быть создан посредством горизонтального сдвига элемента субтитров в позициях на экране. Например, текст субтитров вида для левого глаза может быть создан посредством горизонтального сдвига элемента субтитров вправо на десять пикселов, в то время как соответствующий вид для правого глаза текста субтитров может быть создан посредством сдвига элемента субтитров влево на десять пикселов. Результирующий трехмерный субтитр тем самым имеет диспаратность в двадцать пикселов между видами для правого глаза и для левого глаза. Фактическая воспринимаемая глубина элемента субтитров с такой диспаратностью зависит как от размера экрана дисплея, так и от разрешения изображений. Для изображения с разрешением в 2K с шириной изображения 2048 пикселов, которое отображается на экране шириной в семьдесят футов, элемент субтитров с диспаратностью в двадцать пикселов может казаться расположенным приблизительно на расстоянии четырнадцать футов от аудитории.
Субтитр может находиться впереди ближайшего объекта в трехмерном изображении в позиции элемента субтитров на фиксированную величину, которая может быть фиксированным числом дополнительной диспаратности. Например, если ближайший изображаемый объект находится в десяти футах от аудитории, элемент субтитров может быть расположен с четырьмя пикселами дополнительной диспаратности для каждого глаза, с полной дополнительной диспаратностью в восемь пикселов, что фактически располагает субтитр приблизительно на два фута ближе к аудитории, чем изображаемый объект. Поскольку изображения трехмерного кинофильма демонстрируют постоянно изменяющуюся глубину, глубина субтитра может изменяться согласно глубине содержимого изображений и может оставаться впереди ближайшего объекта в позиции элемента субтитров в изображении. В некоторых вариантах осуществления, дополнительная диспаратность может быть в диапазоне 1-20 пикселов для изображений с шириной в 2048 пикселов или в диапазоне 1-40 пикселов для изображений с шириной в 4096 пикселов. Глубина изображаемых объектов может вычисляться с использованием способа стереосогласования или других подходящих способов.
В некоторых вариантах осуществления, способы стереосогласования могут использоваться для того, чтобы вычислять пикселную диспаратность трехмерных изображений. Типично, элемент субтитров появляется на экране, когда пользователь начинает говорить или вскоре после этого, и исчезает, когда пользователь прекращает говорить. Средняя длительность отображения для элемента субтитров составляет несколько секунд, но она может быть намного более большей или меньшей при определенных обстоятельствах. В ходе отображения элемента субтитра множество кадров изображений проецируются на экране, и эти изображения могут содержать временное изменение содержимого, к примеру, движение объекта, изменение освещенности, исчезновение сцены и вырезки сцены.
Согласно некоторым вариантам осуществления настоящего изобретения, значение промежуточной глубины для элемента субтитров вычисляется посредством анализа всех кадров трехмерного изображения в пределах временного окна, которое соответствует длительности элемента субтитров. Значение промежуточной глубины для элемента субтитров может быть постоянным или может варьироваться между кадрами в течение длительности субтитра. Значение промежуточной глубины может быть ассоциировано с элементом субтитров и может быть характерным значением для этого элемента субтитров. Фактическое расположение по глубине элемента субтитров может быть определено на основе вычисляемого значения промежуточной глубины. Каждый элемент субтитров в трехмерном кинофильме может быть расположен на глубине, определенной посредством промежуточной глубины, которая является адаптивной к содержимому изображений.
Адаптивные к содержимому способы согласно некоторым вариантам осуществления могут быть дополнены для других атрибутов субтитров, включающих в себя, но не только, начертание шрифта субтитров, размер шрифта, цвет, яркость и позиции на экране. Любой тип атрибута может задаваться адаптивным к содержимому, чтобы улучшать впечатление от просмотра трехмерного кинофильма. Соответствующий способ или набор соответствующих способов анализа изображений может использоваться для того, чтобы определять задание каждого из упомянутых атрибутов субтитров.
Расположение по глубине элемента субтитров может быть сформировано посредством устройства посредством управления горизонтальными позициями вида для левого глаза и вида для правого глаза элемента субтитров, отображаемого на трехмерном экране. Расположение по глубине, сформированное посредством устройства, может или не может являться идентичным вычисляемой промежуточной глубине. Одним примером такого различия является то, что устройство может иметь ограниченный диапазон глубин и разрешение по глубине. Идентичное устройство также может управлять другими упомянутыми адаптивными к содержимому атрибутами субтитров.
Атрибуты традиционных субтитров могут предоставляться посредством текстового файла субтитров. Одним типом информации, предоставленной посредством файла субтитров, может быть начальное время и конечное время каждого элемента субтитров. Такая информация синхронизации может использоваться для того, чтобы определять временное окно для вычисления глубины и других адаптивных к содержимому атрибутов элемента субтитров.
Фиг.3 иллюстрирует один вариант осуществления системы, которая может использоваться для того, чтобы формировать трехмерные субтитры или другую информацию, которая должна отображаться с трехмерными изображениями. Система включает в себя вычислительное устройство 302, имеющее процессор 304, который может выполнять код, сохраненный на машиночитаемом носителе, к примеру, запоминающее устройство 306, чтобы инструктировать вычислительному устройству 302 вычислять атрибуты субтитров или другую информацию, которая должна отображаться с трехмерными изображениями. Вычислительное устройство 302 может быть любым устройством, которое может обрабатывать данные и выполнять код, который является набором инструкций, чтобы выполнять действия. Примеры вычислительного устройства 302 включают в себя настольный персональный компьютер, переносной персональный компьютер, серверное устройство, карманное вычислительное устройство и мобильное устройство.
Примеры процессора 304 включают в себя микропроцессор, специализированную интегральную схему (ASIC), конечный автомат или другой подходящий процессор. Процессор 304 может включать в себя один процессор или любое число процессоров. Процессор 304 может осуществлять доступ к коду, сохраненному в запоминающем устройстве 306, через шину 308. Запоминающее устройство 306 может быть любым материальным машиночитаемым носителем, допускающим сохранение кода. Запоминающее устройство 306 может включать в себя электронные, магнитные или оптические устройства, допускающие предоставление в процессор 304 исполняемый код. Примеры запоминающего устройства 306 включают в себя оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), гибкий диск, компакт-диск, цифровое видеоустройство, магнитный диск, ASIC, конфигурируемый процессор или другое устройство хранения данных, допускающее материальное осуществление кода. Шина 308 может быть любым устройством, допускающим передачу данных между компонентами вычислительного устройства 302. Шина 308 может включать в себя одно устройство или несколько устройств.
Вычислительное устройство 302 может совместно использовать данные с дополнительными компонентами через интерфейс 310 ввода-вывода (I/O). Интерфейс 310 ввода-вывода может включать в себя USB-порт, Ethernet-порт, интерфейс последовательной шины, интерфейс параллельной шины, интерфейс беспроводного подключения или любой подходящий интерфейс, допускающий предоставление возможности передач данных между вычислительным устройством и периферийными устройствами/сетями 312. Периферийные устройства/сети 312 могут включать в себя клавиатуру, дисплей, устройство мыши, интерфейс сенсорного экрана или другое пользовательское интерфейсное устройство/устройство вывода, допускающее прием команд от пользователя и предоставление команд в вычислительное устройство 302. Другие периферийные устройства/сети 312 включают в себя Интернет, сеть intranet, глобальную вычислительную сеть (WAN), локальную вычислительную сеть (LAN), виртуальную частную сеть (VPN) или любую подходящую сеть связи, которая дает возможность вычислительному устройству 302 обмениваться данными с другими компонентами.
Инструкции могут быть сохранены в запоминающем устройстве 306 как исполняемый код. Инструкции могут включать в себя конкретные для процессора инструкции, сформированные посредством компилятора и/или интерпретатора из кода, написанного на любом подходящем языке компьютерного программирования, к примеру, C, C++, C#, Visual Basic, Java, Python, Perl, JavaScript и ActionScript. Инструкции могут быть сформированы посредством программных модулей, которые сохраняются в запоминающем устройстве 306, и когда выполняются посредством процессора 304, могут инструктировать вычислительному устройству 302 выполнять действия.
Программные модули могут включать в себя модуль 314 декодирования изображений, модуль 316 выбора временного окна, модуль 318 абстракции изображений, модуль 320 вычисления абстрактной глубины, модуль 322 определения промежуточной глубины и модуль 324 вычисления атрибутов рендеринга. Модуль 314 декодирования изображений может использоваться для того, чтобы декодировать данные изображений для левого глаза и данные изображений для правого глаза, которые кодируются или шифруются в несжатый и незашифрованный формат. Модуль 316 выбора временного окна может выбирать сегмент данных трехмерных изображений для каждого элемента субтитров на основе информации синхронизации субтитров в файле субтитров. Модуль 318 абстракции изображений может упрощать каждый сегмент трехмерного изображения до пары левых и правых абстрактных изображений (например, одно изображение из последовательности изображений для левого глаза и одно изображение из последовательности изображений для правого глаза). Модуль 320 вычисления абстрактной глубины может вычислять карту абстрактной глубины из левых абстрактных изображений и правых абстрактных изображений. Модуль 322 определения промежуточной глубины может вычислять промежуточную глубину для элемента субтитров на основе карты абстрактной глубины. Модуль вычисления атрибутов рендеринга может определять атрибут рендеринга для элемента субтитров, например, на основе промежуточной глубины для элемента субтитров и другой информации изображений.
Эта конфигурация примерной системы предусмотрена просто для того, чтобы иллюстрировать потенциальную конфигурацию, которая может использоваться для того, чтобы реализовывать конкретные варианты осуществления. Другие конфигурации, конечно, могут быть использованы.
Фиг.4 иллюстрирует один вариант осуществления способа для вычисления атрибутов для элементов трехмерных субтитров на основе содержимого трехмерных изображений. Хотя способ, показанный на фиг.4, описывается как применяемый к субтитрам, способ может применяться к любому типу информации в дополнение к трехмерным изображениям. Кроме того, фиг.4 описывается в отношении системы по фиг.3, но возможны другие реализации.
На этапе 402, последовательность трехмерных изображений принимается посредством вычислительного устройства 302. Последовательность трехмерных изображений может включать в себя последовательность изображений для левого глаза и последовательность изображений для правого глаза, которая ассоциирована с последовательностью изображений для левого глаза. В некоторых вариантах осуществления, последовательность трехмерных изображений принимается как кодированный файл, к примеру, файл в формате комплекта для цифровых кинотеатров (DCP) или видеофайл MPEG2. Модуль 314 декодирования изображений может декодировать кодированный файл в формат несжатого и незашифрованного файла.
На этапе 404, вычислительное устройство 302 принимает файл субтитров, который включает в себя, по меньшей мере, один элемент субтитров, ассоциированный с информацией синхронизации. Информация синхронизации может соответствовать информации синхронизации трехмерного кинофильма. Элемент субтитров может включать в себя текст или другие атрибуты или любую другую дополнительную информацию для отображения с помощью последовательности трехмерных изображений.
На этапе 406, вычислительное устройство 302 может ассоциировать элемент субтитров с сегментом последовательности трехмерных изображений на основе информации синхронизации. Модуль 316 выбора временного окна может выбирать сегмент изображений из трехмерной последовательности на основе информации синхронизации элемента субтитров. В некоторых вариантах осуществления, модуль 316 выбора временного окна может экономить время вычисления посредством пропуска секций последовательностей изображений, которые не ассоциированы с субтитрами, при обработке оставшихся секций. Последовательности изображений также могут быть секционированы на сегменты на основе ограничения на длину последовательности изображений. Каждый сегмент может быть ассоциирован с элементом субтитров с использованием информации синхронизации. Например, каждый сегмент изображения ассоциирован с временным окном и может быть ассоциирован с элементами субтитров, имеющими информацию синхронизации, которая находится в пределах временного окна.
На этапе 408, вычислительное устройство 302 вычисляет карту абстрактной глубины из сегмента изображения, ассоциированного с элементом субтитров. Карта абстрактной глубины может быть представлением значений глубины или значений пикселной диспаратности для кадров с изображениями или определенных кадров с изображениями сегмента. В некоторых вариантах осуществления, модуль 318 абстракции изображений может упрощать сегмент до пары левых и правых абстрактных изображений, одно из последовательности изображений для левого глаза сегмента и одно из последовательности изображений для правого глаза сегмента. Абстрактное изображение может быть упрощенной версией сегмента изображения, в котором каждый кадр с изображением сегмента уменьшается до одной строки абстрактного изображения посредством проецирования каждого столбца пикселов кадра с изображением в один пиксел. Левое абстрактное изображение, которое проецируется таким образом от сегмента изображения для левого глаза, и правое абстрактное изображение, которое проецируется от соответствующего сегмента изображения для правого глаза, формируют пару абстрактных изображений. Модуль 320 вычисления абстрактной глубины может вычислять значения глубины или значения пикселной диспаратности для пары абстрактных изображений и сохранять результирующую информацию глубины в карте абстрактной глубины. Карта абстрактной глубины может включать в себя значения глубины или значения пикселной диспаратности для всех пикселов или определенных пикселов пары абстрактных изображений.
На этапе 410, вычислительное устройство 302 вычисляет промежуточную глубину на основе карты абстрактной глубины для элемента субтитров. Промежуточная глубина может быть характерной глубиной для элемента субтитров, и она может быть постоянным или переменным значением в течение длительности элемента субтитров. Промежуточная глубина может представлять изменения глубины со временем в последовательностях трехмерных изображений. В некоторых вариантах осуществления, модуль 322 определения промежуточной глубины вычисляет промежуточную глубину для элемента субтитров, которая является постоянным значением или значением, которое изменяется в течение длительности элемента субтитров.
На этапе 412, вычислительное устройство 302 использует промежуточную глубину для того, чтобы определять атрибут рендеринга для элемента субтитров. Примеры атрибутов рендеринга включают в себя расположение по глубине, размер шрифта, цвет шрифта, позицию на экране и начертание шрифта трехмерных субтитров, а также цвет, размер, позицию и начертание дополнительной информации, к примеру, изображения. В некоторых вариантах осуществления, модуль 324 вычисления атрибутов рендеринга использует промежуточную глубину, которая основана, по меньшей мере, частично на глубине содержимого ассоциированной последовательности трехмерных изображений, чтобы определять атрибут рендеринга, который включает в себя, по меньшей мере, одну инструкцию для рендеринга элемента субтитров. Например, промежуточная глубина может быть определена как атрибут рендеринга глубины для элемента субтитров или использована для того, чтобы определять атрибут рендеринга глубины для элемента субтитров.
На этапе 414, вычислительное устройство 302 выводит атрибут рендеринга для элемента субтитров. Атрибут рендеринга может использоваться для того, чтобы подготавливать посредством рендеринга элемент субтитров, которые должны отображаться с последовательностью трехмерных изображений.
Далее описываются дополнительные варианты осуществления модулей и признаков, поясненных выше.
Абстракция изображений
Варианты осуществления модуля 318 абстракции изображений могут выполнять различные функции, к примеру, упрощение последовательности трехмерных изображений до пары абстрактных изображений, одно для левого глаза и одно для правого глаза, через проекцию изображений. Проекция может выполняться вертикально так, что каждый столбец пикселов в кадре с изображением проецируется в один пиксел, и каждый кадр проецируется в одну строку. Спроецированные строки от каждого из кадров с изображениями последовательности трехмерных изображений могут формировать пару абстрактных изображений.
Графическая иллюстрация варианта осуществления процесса абстракции изображений проиллюстрирована на фиг.5. Показана последовательность 502 изображений для левого глаза, которая включает в себя N кадров, и каждый кадр включает в себя H строк. Каждая строка включает в себя W пикселов. Последовательность 502 изображений для левого глаза может проецироваться в левое абстрактное изображение 506 с N строк, причем каждая строка включает в себя W пикселов. Первая строка левого абстрактного изображения 506 может проецироваться от первого кадра последовательности изображений для левого глаза, и вторая строка левого абстрактного изображения 506 может проецироваться от второго кадра последовательности изображений для левого глаза и т.д. Спроецированные строки могут формировать левое абстрактное изображение 506 W×N. Аналогично, последовательность изображений для правого глаза 504 может проецироваться в правое абстрактное изображение 508 с N строк и W пикселов в каждой строке. Как левое абстрактное изображение 506, так и правое абстрактное изображение 508 формируют пару абстрактных изображений.
В некоторых вариантах осуществления, проекция выполняется на основе алгоритма проекции на основе вертикальной дискретизации, вариант осуществления которого проиллюстрирован на фиг.6. Позиция элемента субтитров может предварительно задаваться или указываться в файле субтитров. Элементы субтитров могут центрироваться около нижней части кадра с изображением, но другие позиции также возможны. Фиг.6 показывает элемент субтитров, содержащийся в области 604 субтитров W-того кадра 602 с левым изображением из последовательности изображений. Строка 606 для дискретизации может выбираться рядом или в центре области 604 субтитров. Пикселы каждого столбца M-того 602 кадра с левым изображением могут проецироваться в один пиксел в направлении строки 606 для дискретизации, чтобы формировать левое абстрактное изображение 610. Например, все или практически все пикселы столбца m 608 изображений могут проецироваться к точке A на строке для дискретизации, и проекция может выполняться так, что пикселы выше строки для дискретизации проецируются вниз, а пикселы ниже строки для дискретизации проецируются вверх. Результат проекции может формировать пиксел B в левом абстрактном изображении 610, в местоположении (m, k).
Значение спроецированного пиксела B может быть определено посредством выбранной функции проекции. Функция проекции может выбираться так, чтобы сжимать исходные последовательности трехмерных изображений в пару абстрактных изображений при сохранении как информации глубины, так и информации изменений глубины. В одном варианте осуществления, функция проекции основана на математическом среднем. В другом варианте осуществления, функция проекции является средним взвешенным с более высокими весовыми коэффициентами, назначаемыми пикселам ближе к строке для дискретизации. Процесс проекции может повторяться для каждого столбца кадра k с изображением, и результатом является k-тая строка 612 в левом абстрактном изображении 610. Аналогичный способ проекции может применяться к кадру с изображением для правого глаза, чтобы формировать правое абстрактное изображение (не показано на фиг.6).
Другой вариант осуществления алгоритма проекции на основе вертикальной дискретизации использует строки многократной дискретизации, которые могут быть алгоритмом проекции на основе многократной вертикальной дискретизации. Пример такого алгоритма проиллюстрирован на фиг.7, на котором k-тый кадр с левым изображением 702 разделяется на три области: (i) первичную область 716, содержащую область 704 субтитров, и две дополнительных области, (ii) верхнюю область 720 и (iii) центральную область 718.
Строка для дискретизации может выбираться для каждой области. Строка для дискретизации, выбранная для первичной области 716, может быть первичной строкой 706 для дискретизации, которая может выбираться рядом или в центре области 704 субтитров. Первичной строке для дискретизации может назначаться первичная роль в алгоритме проекции через соответствующие весовые коэффициенты в функции проекции. В одном варианте осуществления, пикселам ближе к первичной строке для дискретизации назначаются более высокие весовые коэффициенты, чем пикселам ближе к дополнительным строкам для дискретизации. Строка для дискретизации, выбранная для дополнительной области, может быть дополнительной строкой для дискретизации, которая может находиться, но не только, в центре области. В примере, показанном на фиг.7, дополнительная строка 710 для дискретизации представляет изменение глубины в первой дополнительной области 720 кадра с изображением, а дополнительная строка 708 для дискретизации представляет изменение глубины в центральной дополнительной области 718 кадра с изображением. Проекция на основе вертикальной дискретизации может выполняться в пределах каждой области так, что пикселы вертикально проецируются в направлении строки для дискретизации области.
В примере, показанном на фиг.7, пикселы m-того столбца 722 в пределах первичной области 716 проецируются к точке A на первичной строке 706 для дискретизации; пикселы идентичного столбца в пределах области 718 проецируются к точке B на дополнительной строке 708 для дискретизации, и оставшиеся пикселы столбца m в пределах верхней области 720 проецируются к точке C на дополнительной строке 710 для дискретизации. В некоторых вариантах осуществления, число разделенных областей и местоположение строк для дискретизации определяются на основе ряда факторов, включающих в себя позицию области субтитров, соотношение сторон трехмерных изображений и геометрию зрительного зала. Например, большее число позиций дискретизации может использоваться для формата изображений IMAX® 15perf/70mm с соотношением сторон при проекции 1,43:1, чем для формата изображений Scope с соотношением сторон при проекции 2,40:1. Спроецированные значения могут быть дополнительно комбинированы в формат среднего взвешенного, чтобы формировать значение в точке D строки k 714 левого абстрактного изображения 712. Аналогичный способ проекции может применяться к кадру с изображением для правого глаза, чтобы формировать правое абстрактное изображение (не показано на фиг.7).
В другом варианте осуществления, кадр с левым или правым изображением разделяется на несколько областей, и каждая область проецируется в отличительную пару абстрактных изображений, как проиллюстрировано на фиг.8 для последовательности изображений для левого глаза. Алгоритмы проекции на основе вертикальной дискретизации могут применяться к каждой области последовательности левых изображений, и пара абстрактных изображений может быть сформирована из каждой области, приводя к нескольким парам абстрактных изображений, которые формируют стек 812 пар абстрактных изображений. Позиция строки для дискретизации для каждой области может выбираться на основе принципов, поясненных ранее. Область, которая включает в себя субтитры, может назначаться как первичная область 804 и может формировать пару 816 первичных абстрактных изображений (правое абстрактное изображение не показано на фиг.8). Другие области могут рассматриваться в качестве дополнительных областей 806, 808, и каждая из них формирует пару 818, 820 дополнительных абстрактных изображений (правое абстрактное изображение не показано на фиг.8). Как результат, пара 816 первичных абстрактных изображений может описывать изменения глубины около субтитров, в то время как другие пары 818, 820 дополнительных абстрактных изображений могут описывать изменения глубины в обозначенных областях. Аналогичный способ проекции может применяться к кадру с изображением для правого глаза, чтобы формировать несколько правых абстрактных изображений (не показаны на фиг.8).
В другом варианте осуществления, пара абстрактных изображений проецируется от выбранной области кадра с изображением так, что она может не иметь полную ширину кадра с изображением. Пример проиллюстрирован на фиг.9. Две выбранных области W-того кадра с изображением могут быть идентифицированы для последовательности левых изображений, одна из которых может быть первичной областью 906, которая содержит область 904 субтитров, а вторая может быть дополнительной областью 908 рядом с верхней частью изображений. Проиллюстрированная область 904 субтитров имеет ширину W1<W, а дополнительная область 908 имеет ширину W2<W. Пара 910 первичных абстрактных изображений (правое абстрактное изображение не показано на фиг.9) может проецироваться от первичной области 906, а пара 912 дополнительных абстрактных изображений (правое абстрактное изображение не показано на фиг.9) может проецироваться от области 908. В некоторых вариантах осуществления, пикселы вне выбранных областей не используются на проекции. Результирующее первичное абстрактное изображение 910 может быть изображением W1×N, а дополнительное абстрактное изображение 912 является изображением W2×N. Этот способ может давать возможность фокусирования анализа глубины на ключевых частях изображений.
Анализ абстрактной глубины
Конкретные варианты осуществления алгоритма проекции на основе вертикальной дискретизации могут обеспечивать вычисление информации изменений глубины в сегменте трехмерного изображения и, в некоторых вариантах осуществления, относительно быстрое вычисление. Фиг.10 показывает пример пары (1002, 1004) абстрактных изображений, сформированной из сегмента трехмерного изображения в 1450 кадров. Результирующая пара абстрактных изображений может представлять информацию о движении объекта последовательности трехмерных изображений. Перемещение основных объектов в последовательности может использоваться для последующего анализа. Пример пары (1002, 1004) абстрактных изображений, которая может вычисляться из сегмента трехмерного изображения в 1450 кадров, проиллюстрирован на фиг.10. Пара (1002, 1004) абстрактных изображений может представлять перемещение двух основных объектов 1006 и 1008 в сегменте, входящем и уходящем с переднего плана изображений относительно друг друга. Изменение глубины в результате такого движения объекта может записываться посредством карты 1010 абстрактной глубины, которая может быть сформирована посредством оценки пикселной диспаратности между левым абстрактным изображением 1002 и правым абстрактным изображением 1004. В некоторых вариантах осуществления, вычисление карт абстрактной глубины может выполняться посредством модуля 320 вычисления абстрактной глубины.
Конкретные варианты осуществления модуля 320 вычисления абстрактной глубины дают возможность быстрого вычисления информации глубины в сегменте трехмерного изображения. Традиционные способы вычисления пикселной диспаратности последовательности трехмерных изображений могут быть очень длительными и ненадежными. Посредством упрощения сегмента трехмерного изображения до пары абстрактных изображений вычисление глубины может радикально ускоряться в некоторых случаях, и результирующая глубина (или диспаратность) может быть более надежной и согласованной по времени.
В одном варианте осуществления, диспаратность вычисляется непосредственно из пары (1002, 1004) абстрактных изображений. В другом варианте осуществления, диспаратность вычисляется с использованием грубо-точного байесовского метода, при котором левые и правые абстрактные изображения сначала преобразуются в пирамидальное представление с несколькими уровнями детализации. Вычисление начинается на самом приблизительном уровне (верхнем уровне), и диспаратность каждого пиксела между парой абстрактных изображений может быть оценена посредством минимизации специальной энергетической функции, состоящей из показателя затрат на данные и показателя затрат на связанность. Результирующие значения диспаратности дополнительно могут классифицироваться на ограниченное число групп через способ кластеризации, каждая из которых представляет вариант объекта с характерной глубиной (или диспаратностью). Результаты из верхнего уровня могут использоваться в качестве начальной оценки для вычисления на нижнем уровне, и глубина варианта объекта может уточняться с помощью дополнительных деталей, оцененных на этом уровне. Этот процесс может повторяться до тех пор, пока глубина вариантов объектов не уточняется с полной детальностью, оцененной из наименьшего уровня (точного уровня). Набор результирующей глубины (или диспаратности) формирует изображение, которое может быть картой абстрактной глубины. Пример карты 1010 абстрактной глубины показан на фиг.10. Карта 1010 абстрактной глубины может иметь разрешение в пикселах, идентичное разрешению в пикселах (1002, 1004) абстрактных изображений, но она содержит значения глубины (или диспаратности) вместо интенсивности цвета или силы света. Если несколько пар абстрактных изображений формируются, отдельная карта абстрактной глубины может быть сформирована из каждой пары абстрактных изображений.
Определение промежуточной глубины
Конкретные варианты осуществления модуля 322 определения промежуточной глубины могут определять промежуточную глубину элемента субтитров на основе карт абстрактной глубины, сформированных посредством модуля 320 вычисления абстрактной глубины. Как раскрыто выше, промежуточная глубина элемента субтитров является характерным значением глубины, которое может использоваться для того, чтобы определять расположение по глубине элемента субтитров. Промежуточная глубина может иметь постоянное или переменное значение в течение длительности элемента субтитров.
Вариант осуществления функциональной блок-схемы для модуля 322 определения промежуточной глубины проиллюстрирован на фиг.11. В некоторых вариантах осуществления, вычисление промежуточной глубины основано на надежном анализе временных и статистических распределений пикселной диспаратности (или пикселной глубины) сегмента трехмерного изображения с использованием дистограммы. Такие вычисления могут предоставлять точное и надежное представление промежуточной глубины. Дистограмма является графической иллюстрацией распределения вероятностей пикселной глубины (или диспаратности) во время сегмента трехмерного изображения. На фиг.11 вычисление дистограмм может выполняться посредством вычислительного модуля 1108. Вычисление начальной промежуточной глубины может выполняться посредством вычислительного модуля 1112 на основе дистограмм.
В некоторых вариантах осуществления, начальные значения промежуточной глубины могут иметь резкий переход между смежными элементами субтитров, что может формировать резкие изменения в расположении по глубине субтитров и приводить к дискомфорту при просмотре. Модуль 1114 временной согласованности может использоваться для того, чтобы сглаживать переход значений промежуточной глубины между смежными элементами субтитров. Результирующие значения промежуточной глубины могут быть кодированы в указанном формате данных посредством вычислительного модуля 1116. Примером формата 1118 данных промежуточной глубины является файл в текстовом формате, содержащий как информацию синхронизации, так и информацию промежуточной глубины.
В некоторых вариантах осуществления, промежуточная глубина субтитров может вычисляться с использованием надежных способов статистического анализа. Статистическое распределение глубины трехмерных изображений может быть собрано из карты абстрактной глубины в форме распределения диспаратности, как проиллюстрировано на фиг.12. Распределение Bk(i) 1206 диспаратности может представлять распределение вероятностей диспаратности k-того кадра с изображением в диапазоне между dmin и dmax, представляющими минимальные и максимальные значения диспаратности последовательности изображений. Значение такого распределения диспаратности может вычисляться из k-той строки 1204 карты абстрактной глубины. Как результат, распределение диспаратности может содержать dmax-dmin+1 элементов выборки, и значение i-того элемента Bk(i) выборки (dmin<=i<=dmax) может записывать вероятность пикселов k-того кадра с изображением, который имеет значение диспаратности в i. На фиг.12 показан пример такого распределения 1206 диспаратности, которое собрано из W-той строки 1204 карты абстрактной глубины 1202.
Распределения диспаратности всех кадров с изображениями в сегменте трехмерного изображения могут использоваться для того, чтобы формировать дистограмму. Пример дистограммы проиллюстрирован на фиг.13. В примерной дистограмме 1302 горизонтальная ось представляет интервал кадра (ассоциированный со временем), а вертикальная ось представляет значение диспаратности (ассоциированное с глубиной). Для сегмента изображения в N кадров, результирующая дистограмма может быть графической иллюстрацией с dmax-dmin+1 строк и N столбцов. K-тый столбец дистограммы записывает распределение диспаратности W-того кадра, и интенсивность точки на k-том столбце представляет вероятность пикселов в W-том кадре с изображением, которые имеют определенное значение глубины (или диспаратности). Пример дистограммы по фиг.13 вычисляется из примера карты 1010 абстрактной глубины по фиг.10.
Дистограмма может описывать процесс изменения статистического распределения глубины (в форме диспаратности) в течение временной длительности последовательности изображений. Она может использоваться для того, чтобы отделять изменение глубины первичных объектов в сцене от других относительно незначительных деталей сцены. Интенсивность дистограммы может представлять распределение пикселов изображений в определенном диапазоне глубин, и большое значение интенсивности представляет концентрацию пикселов на определенной глубине. Как результат, заметный объект относительно большого размера может отличаться посредством пути движения по глубине с относительно более яркими значениями интенсивности. На фиг.13 дистограмма 1302 показывает путь движения по глубине трех первичных объектов. Первый первичный объект 1304 начинается справа на переднем плане в начале сегмента изображения, но для него возникает преграда в виде второго первичного объекта 1306, который перемещается от заднего плана на передний план. Путь движения по глубине этих двух объектов пересекается определенное число раз, указывая то, что они сменяются, чтобы казаться расположенными на переднем плане сцены. Между тем, третий первичный объект 1308 остается позади других двух первичных объектов для всей последовательности изображений, которая может быть фоном сцены. Туманные плотные области точек между этими первичными объектами могут представлять меньшие объекты или другие незначительные детали 1312, глубина которых может не представлять такую важность для определения промежуточной глубины, как для первичных объектов. Отличительные пути могут быть извлечены из дистограммы как надежная мера процесса изменения глубины заметных объектов в сцене с использованием статистических способов. Разрывы в пути могут указывать на серьезные преграды между объектами, к примеру, преграды 1310 на фиг.13.
Вычисление промежуточной глубины трехмерного субтитра может использовать информацию синхронизации, которая задает временное окно для элемента субтитров. Элементы субтитров могут указываться в файле субтитров, например, текстовом файле в конкретном формате. Пример файла традиционных субтитров в формате текстового XML-файла показан на фиг.14A. Информация синхронизации каждого элемента субтитров, включающая в себя начальное время (TimeIn) и конечное время (TimeOut), может быть задана в файле. Пример файла субтитров на фиг.14A также включает в себя атрибуты субтитров, к примеру, информацию расположения текста по позициям на экране, включающую в себя выравнивание по горизонтали (HAlign), выравнивание по вертикали (VAlign), горизонтальную позицию (HPosition) и вертикальную позицию (VPosition). Позиция на экране может быть задана посредством числа пикселов или посредством процента от высоты экрана. Информация, заданная для файла субтитров, может использоваться посредством системы субтитров, чтобы формировать изображения субтитров, которые должны накладываться на изображения кинофильма.
Информация синхронизации в файле субтитров может использоваться для выбора временных окон для элемента субтитров, выполняемого посредством модуля 316 выбора временного окна по фиг.3. В некоторых вариантах осуществления, когда определенное число последовательных элементов субтитров идут близко друг другу, они могут совместно использовать одну промежуточную глубину, чтобы минимизировать резкие переходы в глубине. В таком случае, временное окно может включать в себя определенное число элементов субтитров. В примере, иллюстрированном на фиг.15, первый элемент 1502 субтитров начинается во время ts01 и завершается во время te01 последовательности изображений. Начальное время ts01 соответствует кадру 0002, а конечное время te01 соответствует кадру 0026. Промежуточная глубина первого элемента 1502 субтитров может быть определена в пределах диапазона 0002-0026 кадров, так что временное окно 1512 имеет длину в 25 кадров с началом в кадре 0002. В другом примере на фиг.15, элемент 1504 субтитров начинается в кадре 0033 и завершается в кадре 0081. Следующий элемент 1506 субтитров следует после элемента 1504 субтитров близко так, что элемент 1506 начинается в кадре 0082 сразу после конечного кадра 0081 элемента 1504 субтитров. Элементы 1504 и 1506 субтитров могут совместно использовать идентичную промежуточную глубину, так что они включаются в идентичное временное окно 1514, которое начинается в кадре 0033 и завершается в кадре 0152 с длиной 120 кадров. Каждое временное окно может содержать кадры с изображениями как из изображений 1508 для левого глаза, так и из изображений 1510 для правого глаза. В некоторых вариантах осуществления, длина временного окна может выбираться так, чтобы превышать длительность элемента субтитров.
После того, как временное окно выбирается, сегмент трехмерного изображения может быть секционирован из последовательности трехмерных изображений. Промежуточная глубина может вычисляться из дистограммы для каждого временного окна. Промежуточная глубина может быть изменяющейся во времени функцией в течение длины временного окна, и она может иметь постоянное значение. На фиг.16, постоянная промежуточная глубина может назначаться для временного окна 1602, в то время как изменяющаяся во времени промежуточная глубина может назначаться для другого временного окна 1604. В примере по фиг.16, промежуточная глубина для временного окна 1602 определяется посредством усреднения каждого из столбцов дистограммы 1610, которые принадлежат окну 1602, в одно распределение 1612 диспаратности. Распределение 1612 диспаратности может отображать два доминирующих кластера глубины, один из которых центрирован вокруг глубины, эквивалентной диспаратности в 30 пикселов, а второй центрирован на глубине, эквивалентной диспаратности приблизительно в 50 пикселов. Эти кластеры могут указывать присутствие доминирующих объектов в сцене. Алгоритм кластеризации, к примеру, фильтрация на основе сдвига среднего, может применяться к распределению 1612 диспаратности, чтобы обнаруживать доминирующие режимы. Результат проиллюстрирован на графике 1614 с двумя доминирующими режимами, один с диспаратностью 32 пикселов, а второй с диспаратностью 49 пикселов. Постоянная промежуточная глубина может быть определена на основе присутствия самого влиятельного доминирующего режима в 49 пикселов. Изменяющаяся во времени промежуточная глубина, например, 1608, может быть определена посредством следующего изменения глубины доминирующих режимов в пределах временного окна. Раскрытый способ вычисления промежуточной глубины может иметь другие варьирования.
На вычисление промежуточной глубины также могут оказывать влияние другие факторы, включающие в себя расположение трехмерных мозаичных субфрагментов при представлении кинофильма. Трехмерный субтитр может накладываться в нижней части изображений, но он также может быть расположен в другой части изображений. Помимо этого, субтитры также могут быть расположены вне кадра с изображением, к примеру, расположены ниже изображений. Позиция субтитров может регулироваться после того, как промежуточная глубина вычисляется. Вычисление переменной промежуточной глубины на основе дистограммы может быть основано на аналогичных способах, описанных выше.
Декодирование изображений
Вычисление промежуточной глубины может включать в себя доступ к цифровой форме содержимого изображений. Для кинофильма, выпущенного в фильмокопиях, вычисление промежуточной глубины может выполняться до выпуска фильма на стадии постпроизводства. Трехмерные субтитры могут быть "записаны в" фильмокопиях для правого глаза и для левого глаза с соответствующими сдвигами диспаратности. Трехмерные субтитры также могут проецироваться на экран посредством проекционной системы для ввода субтитров, которая формирует левые и правые изображения субтитров с соответствующей диспаратностью. Для кинофильма, выпущенного в цифровом формате, субтитры могут накладываться на изображения посредством сервера цифрового кинотеатра или трехмерного устройства ввода субтитров до проецирования на экране. Вычисление промежуточной глубины может выполняться на стадии постпроизводства, но оно также может выполняться на месте в кинотеатре или даже в реальном времени во время кинопроекции. Цифровая форма кинофильма, распространяемого в кинотеатры, зачастую имеет форму комплекта для цифровых кинотеатров (DCP), который может включать в себя каждый из элементов для подготовленного представления в кинотеатре, в том числе файлы цифровых изображений и файлы субтитров. Файлы изображений в DCP-формате обычно сжимаются и шифруются. Электронный ключ может использоваться для того, чтобы расшифровывать сжатые файлы изображений, которые затем распаковываются перед проекцией. Расшифровка и распаковка могут выполняться в реальном времени посредством устройства блокировки мультимедиа, которое может быть компонентом в сервере цифрового кинотеатра или в проекционной системе, или в системе управления кинотеатра. Функции расшифровки и распаковки согласно некоторым вариантам осуществления могут быть реализованы посредством модуля 314 декодирования изображений на фиг.3.
Схемой сжатия, применяемой к DCP, может быть JPEG2000 или J2K (ISO/IEC 15444-1), которая может выполняться в области вейвлет-преобразования. J2K является способом внутрикадрового сжатия, в котором пикселные значения каждого кадра с изображением могут представляться как коэффициенты многоуровневых вейвлет-подполос частот. Подполоса частот может быть набором вейвлет-коэффициентов, которые представляют аспекты кадра с изображением, ассоциированного с определенным частотным диапазоном, а также с пространственной областью изображения. Вейвлет-коэффициенты каждой подполосы частот могут быть дополнительно организованы в пакеты и могут быть сжато кодированы с использованием энтропийного кодирования. Каждый пакет может быть смежным сегментом вейвлет-коэффициентов, представляющих конкретный мозаичный фрагмент, который должен быть передан в конкретном порядке по мере того, как он появляется в кодовом потоке. Одним примером такого порядка является порядок выполнения "компонент-выделенная зона-разрешение-слой" (CPRL), который указывается посредством DCI. В порядке выполнения CPRL пакет представляет мозаичный фрагмент с указанным компонентом, выделенной зоной, разрешением и слоем, как проиллюстрировано на фиг.17A и 17B. Для кадра с изображением с полным разрешением в 2048×1080 пикселов, разложенного с использованием 5-уровневого вейвлета, результирующие подполосы частот могут включать в себя подполосу 1702 частот верхнего уровня (уровня 0) размера 64×34, подполосу 1704 частот уровня 1 размера 128×68, подполосу 1706 частот уровня 2 размера 256×135, подполосу 1708 частот уровня 3 размера 512×270, подполосу 1710 частот уровня 4 размера 1024×540 и подполосу 1712 частот уровня 5 размера 2048×1080. Эти подполосы частот проиллюстрированы на фиг.17A. Фиг.17A также показывает, что подполоса частот каждого уровня разделяется, по меньшей мере, на одну выделенную зону. Например, подполоса 1710 частот уровня 4 разделяется на 12 выделенных зон. J2K диктует то, что каждая выделенная зона кодируется в одну неделимую единицу. Поскольку кадр с изображением имеет три цветовых канала, результирующий J2K-поток битов содержит 177 пакетов.
Пакеты являются ключом к масштабируемости J2K-сжатия. Версия с уменьшенным размером кадра с изображением может быть декодирована из относительно меньшего числа пакетов, которые представляют подполосы частот верхнего уровня. Например, только семь пакетов требуются для того, чтобы полностью восстанавливать каждый цветовой канал версии с уменьшенным размером 512×270 кадра с изображением 1726 на уровне 3. Способ избирательного DCP-декодирования может использоваться для того, чтобы декодировать, по меньшей мере, частично, версию с уменьшенным размером изображений с использованием масштабируемости J2K-потока битов. Достаточная информация глубины может быть извлечена из частично декодированного кадра с изображением, представленного посредством меньшего числа пакетов в трехмерном DCP-потоке битов. Как результат, вычисления для промежуточной глубины могут уменьшаться с использованием избирательного декодирования. Функции избирательного декодирования могут быть реализованы посредством модуля 314 декодирования изображений на фиг.3.
Один вариант осуществления способа избирательного декодирования дополнительно описывается на фиг.17B. Пакеты J2K-потока битов, представляющие вейвлет-подполосы частот верхних четырех уровней (уровня 0-3), проиллюстрированы. Каждый из верхних трех уровней подполос частот может иметь один пакет для каждого цветового канала. Как результат, для каждого отдельного цветового канала, изображение 1720 64×34 может быть декодировано из приема первого пакета 1714. Изображение 1722 128×68 может быть декодировано посредством добавления следующего пакета 1716, и большее изображение 1724 256×135 может быть декодировано посредством приема еще одного пакета 1718. Посредством декодирования только первых трех пакетов (из общего числа в 177 пакетов в DCP-потоке битов кадра с изображением, например), изображение с уменьшенным размером с разрешением 256×135 может быть восстановлено, хотя только с одним цветовым каналом. Такое изображение с уменьшенным размером может быть достаточным для оценки промежуточной глубины. Для простоты, пример, иллюстрированный на фиг.17B, показывает процесс для одного цветового канала, но идентичный процесс может быть дополнен для других цветовых каналов в случае необходимости.
Более точная промежуточная глубина может вычисляться посредством декодирования изображения на уровне 3 с разрешением в 512×270 пикселов, которое может использовать дополнительные четыре пакета уровня 3, к примеру, пакеты 3-6 (1728 на фиг.17B). На основе порядка выполнения CPRL, указываемого посредством DCI, пакеты 3, 6, 4, 5 (1728), также показанные на фиг.18, могут быть пакетами 3, 10, 45, 52 в порядке кодового потока. Каждый пакет уровня 3 может представлять конкретные группы вейвлет-коэффициентов с различными степенями важности для информации глубины. Как показано на фиг.18, уровень 3 может предоставлять три дополнительных подполосы частот: HL, LH и HH. Подполоса 1808 частот HL может содержать информацию горизонтальной разрывности (т.е. вертикальные края) и может быть важной для записи информации глубины. Подполоса 1810 частот LH может содержать горизонтальные края, а подполоса 1812 частот HH может записывать детали более высоких частот. В некоторых вариантах осуществления, стереосогласование может выполняться без подполосы частот LH и HH. Например, вейвлет-коэффициенты в подполосе 1808 частот HL могут использоваться для вычисления промежуточной глубины, чтобы дополнительно повышать вычислительную эффективность.
Пример кодирования подполос частот уровня 3 в четыре пакета показан на фиг.18. Пакет 3 (1814) и пакет 6 (1816) представляют одну часть подполосы 1808 частот HL, чтобы способствовать упрощенному декодированию изображений уровня 3 посредством использования этих двух пакетов в дополнение к трем пакетам, используемым для декодирования изображения уровня 2. В некоторых вариантах осуществления, пакет 4 (1818) и пакет 5 (1820) опускаются посредством обнуления соответствующих групп коэффициентов. Изображение уровня 3 может быть декодировано с использованием пяти пакетов: пакетов 0-2 (1802, 1804, 1006), пакета 3 (1814) и пакета 6 (1816). Результатом может быть изображение с уменьшенным размером с разрешением в 512×135 пикселов, которое может составлять половину высоты полного изображения уровня 3. Подполосы частот LH и HH могут быть отброшены в некоторых вариантах осуществления, чтобы не тратить ресурсы на вычисление и буферизацию посредством, например, отказа от вычисления вертикального обратного вейвлет-преобразования на уровне 3.
Декодирование JPEG2K-пакета может включать в себя два процесса: декодирование уровня 1 и декодирование уровня 2. Декодирование уровня 2 может использоваться для того, чтобы декодировать заголовок пакета и разделять поток битов на кодовые блоки. Декодирование уровня 1 может использоваться для того, чтобы декодировать каждый из кодовых блоков в пакете. Декодирование уровня 1 может использовать больший объем вычислений, чем декодирование уровня 2. Посредством отказа от декодирования подполос частот LH и HH, декодирование уровня 1 может использоваться посредством подполосы частот HL, чтобы уменьшать вычисление приблизительно на 2/3 по сравнению с полным декодированием семи пакетов. Как результат, конкретные варианты осуществления избирательного DCP-декодирования могут уменьшать вычисления следующими способами: использование канала яркости, выбор достаточного уровня декодирования, декодирование выбранных пакетов в версию изображений с уменьшенным размером и вычисление промежуточной глубины на основе изображений с уменьшенным размером.
Выбор пакетов также может зависеть от расположения субтитров на экране. Как показано на фиг.14A, позиция совмещения на экране элемента субтитров может быть глобально фиксированной в файле с текстом субтитров. Одна общая позиция совмещения на экране находится внизу экрана. Для трехмерных субтитров, тем не менее, фиксированная позиция может быть проблематичной при определенных обстоятельствах. Например, для сцены с изображениями, которая имеет очень близкую глубину около нижней части экрана, расположение субтитров внизу экрана может быть неудобным для аудитории. В таком случае, субтитры могут находиться в альтернативной позиции на экране, чтобы поддерживать комфорт при просмотре. Как пояснено ранее, вычисление промежуточной глубины может зависеть от позиции на экране субтитров. Например, в алгоритме проекции на основе многократной вертикальной дискретизации, используемом посредством модуля абстракции изображений, как проиллюстрировано на фиг.7, позиция первичной строки 706 для дискретизации может быть определена посредством местоположения субтитров на экране. Если позиция субтитров на экране изменяется, область 704 субтитров может повторно выделяться, и первичная строка для дискретизации также может пересчитываться. Результирующее левое абстрактное изображение 712, используемое для вычисления промежуточной глубины элемента субтитров, также может отличаться.
Глубина субтитров и вертикальная позиция на экране могут записываться в файл трехмерных субтитров, к примеру, примерный файл, показанный на фиг.14B. Глубина элемента субтитров может описываться посредством сдвига параллакса на экране (PShift), который может равномерно разделять требуемую величину горизонтального сдвига между изображениями субтитров для левого глаза и правого глаза. Сдвиг параллакса может быть задан в абсолютном показателе посредством числа пикселов или в относительном показателе посредством процента от ширины экрана. Помимо этого, величина сдвига параллакса для левого и для правого глаза может не разделяться равномерно. В таком случае, величина горизонтальных сдвигов параллакса для изображений левых и правых субтитров может указываться отдельно в файле трехмерных субтитров. Примерный текстовый файл на фиг.14B также может давать возможность адаптивного изменения других атрибутов элемента субтитров согласно содержимому изображений с целью обеспечения большего творчества при выборе для создателей содержимого и, в конечном счете, усиления визуального впечатления от трехмерного кинофильма. Примеры других атрибутов включают в себя начертание текстового шрифта, размер текстового шрифта и цвет текста субтитров.
В другом варианте осуществления, размер текстового шрифта субтитра изменяется адаптивно на основе расположения по глубине элемента субтитров. Одна цель адаптивного изменения размера шрифта может включать в себя поддержание согласованного размера субтитров, воспринимаемых зрителем. На воспринимаемый размер объекта в стереоскопических трехмерных изображениях влияет расположение по глубине объекта. Например, трехмерный объект кажется меньшим по мере того, как он приближается к зрителю, даже когда его фактический размер не изменяется. Это может упоминаться как миниатюризация, которая может вытекать из законов зависимости размера от расстояния, которые управляют стереоскопическим зрением. Обратная миниатюризация также может осуществляться, когда объект кажется большим, когда он отдаляется от зрителя. Эффект миниатюризации также может применяться к воспринимаемому размеру элемента трехмерных субтитров. Как результат, текст субтитров может казаться меньшим, когда он располагается ближе к зрителю, чем когда он находится на большом расстоянии зрителя, что может быть приемлемым или нет. В некоторых вариантах осуществления, размер шрифта субтитров адаптивно масштабируется, чтобы предкомпенсировать эффект миниатюризации так, что воспринимаемый размер субтитров является согласованным во всем кинофильме. Коэффициент масштабирования размера для предкомпенсации может вычисляться на основе оцененного уровня миниатюризации посредством применения законов зависимости размера от расстояния.
В другом варианте осуществления, начертание и/или цвет шрифта текста субтитров изменяется адаптивно на основе содержимого изображений. Одна цель для адаптивного изменения начертания шрифта и/или цвета шрифта может включать в себя обеспечение большего творчества при выборе для создателей содержимого и, в конечном счете, усиления визуального впечатления от трехмерного кинофильма. Другая цель для изменения цвета текста субтитров может включать в себя повышение удобочитаемости, чтобы не допускать подмешивания текста субтитров в фоновые изображения с аналогичным диапазоном цветов. Другая цель для изменения начертания и цвета шрифта субтитров может включать в себя выражение определенного настроения говорящего или рассказчика.
Адаптивные к содержимому атрибуты трехмерных субтитров могут записываться в файл трехмерных субтитров, как в примере, показанном на фиг.14B. Примерный файл показывает новые информационные поля, которые создаются для записи информации размера шрифта (Size), информации начертания шрифта (FontID и Weight) и информации цвета шрифта (Color). Эти информационные поля могут задаваться по-разному для каждого элемента субтитров.
Примерные реализации отображения
Различные системы и способы могут использоваться для того, чтобы отображать трехмерные изображения с адаптивными к содержимому трехмерными субтитрами с использованием одного или более атрибутов рендеринга, вычисляемых для элементов субтитров. Примеры систем, которые могут использоваться для таких дисплеев, включают в себя систему отображения нереального времени и систему отображения в реальном времени. В системе отображения нереального времени атрибуты рендеринга субтитра вычисляются в первый момент времени и сохраняются в файле данных, к примеру, файле субтитров или метаданных. В последующий второй момент времени сохраненные атрибуты рендеринга используются посредством сервера кинотеатра или другого сервера отображения, поддерживающего связь с дисплейным устройством, чтобы отображать элементы субтитров с последовательностью трехмерных изображений. Примером дисплейного устройства является проектор.
Вычисление атрибутов адаптивных к содержимому субтитров для системы отображения нереального времени может быть частью процесса постпроизводства трехмерного кинофильма. Результирующая информация глубины субтитров и другие атрибуты могут доставляться в трехмерную проекционную систему в формате комплекта для цифровых кинотеатров (DCP). DCP-формат является цифровым представлением кинофильма, который должен распространяться в цифровые кинотеатры. DCP-формат содержит файлы дорожек, которые представляют данные изображений, аудиоданные, данные субтитров, метаданные или другие данные. Эти файлы дорожек шифруются для безопасности распространения. Способы и технические требования для комплектования DCP-файлов описываются в определенных документах по стандартизации, включающих в себя "Digital Cinema System Specification (Version 1.2)", опубликованный посредством Digital Cinema Initiatives, LLC, а также в определенном числе документов по стандартизации, которые в настоящий момент находятся в разработке посредством SMPTE (Общество инженеров кино и телевидения).
В системе отображения в реальном времени атрибуты рендеринга могут быть определены в реальном времени или, по меньшей мере, практически в реальном времени с отображением субтитров с использованием атрибутов рендеринга с последовательностью трехмерных изображений. Например, система может принимать кодированную или некодированную последовательность трехмерных изображений и файл субтитров. Система может определять атрибуты рендеринга и конфигурировать последовательность трехмерных изображений и субтитры для отображения посредством проектора, например, с использованием атрибутов рендеринга.
Фиг.19 иллюстрирует функциональную блок-схему системы отображения нереального времени согласно одному варианту осуществления настоящего изобретения. Система может использоваться для того, чтобы вычислять трехмерные атрибуты рендеринга ввода субтитров, и может быть реализована, по меньшей мере, частично как программный модуль или программные модули с предварительным процессом постпроизводства. Например, определенные модули проиллюстрированы на фиг.19 и которые могут быть реализованы как исполняемый код, сохраненный на машиночитаемом носителе, или как аппаратная конфигурация.
Система может включать в себя серверное устройство 1900, которое может принимать последовательность 1906 трехмерных изображений и файлы 1908 трехмерных субтитров/метаданные. Файлы трехмерных субтитров/метаданные могут включать в себя атрибуты рендеринга, в дополнение к другой информации, к такой как информация синхронизации, текст субтитров, начало и окончание синхронизации, вертикальная позиция, горизонтальная позиция, глубина или смещение, текстовые шрифты и языковое направление (слева направо, справа налево и т.д.). Файлы 1908 трехмерных субтитров/метаданные могут сохраняться на носителях хранения данных до предоставления в серверное устройство 1900. Последовательность 1906 трехмерных изображений может быть DCP-комплектом, который включает в себя файлы дорожек, которые должны распространяться в кинотеатры. В некоторых вариантах осуществления, файлы 1908 трехмерных субтитров/метаданные распространяются с последовательностью 1906 трехмерных изображений в серверное устройство 1900. В других вариантах осуществления, файлы 1908 трехмерных субтитров/метаданные распространяются в серверное устройство 1900 отдельно от последовательности 1906 трехмерных изображений.
Серверное устройство 1900 может быть процессорным устройством, которое может выполнять код, сохраненный на машиночитаемом носителе. Оно может включать в себя процессор и машиночитаемый носитель, который может материально осуществлять исполняемый код. Серверное устройство 1900 может быть сервером кинотеатра, который допускает наложение субтитров на последовательность трехмерных изображений с использованием атрибутов рендеринга. В некоторых вариантах осуществления, серверное устройство 1900 принимает последовательность 1906 трехмерных изображений и файлы 1908 трехмерных субтитров/метаданные по сети, к примеру, по Интернету или сети intranet. В других вариантах осуществления, последовательность 1906 трехмерных изображений и файлы 1908 трехмерных субтитров/метаданные сохраняются на портативном устройстве хранения данных, к примеру, оптическом устройстве хранения данных или полупроводниковом устройстве хранения данных, которое принимается физически посредством серверного устройства 1900.
Серверное устройство 1900 может включать в себя контроллер 1910 субтитров, который использует такую информацию, как атрибуты рендеринга и субтитр, из файлов трехмерных метаданных/субтитров 1908, чтобы управлять модулем 1912 рендеринга субтитров. Модуль 1912 рендеринга субтитров допускает рендеринг субтитров с использованием атрибутов рендеринга и наложение субтитров на последовательность трехмерных изображений. Например, контроллер 1910 субтитров может формировать команды управления на основе трехмерных файлов/метаданных субтитра и предоставлять команды управления в модуль 1912 рендеринга субтитров. Команды управления могут включать в себя команды, чтобы формировать изображения с текстом субтитров в нужные моменты времени и в корректных позициях на экране для каждого элемента субтитров. Эти команды могут быть инициированы посредством текущего времени показа от декодера 1914 изображений. После каждой команды от контроллера 1910 субтитров модуль 1912 рендеринга субтитров может формировать изображения с текстом субтитров с корректными шрифтами и комбинировать изображения субтитров с левыми и правыми изображениями в корректных позициях и со смещением, синхронизированном с текущими изображениями для левого и правого глаза.
Последовательность 1906 трехмерных изображений может быть в кодированном формате и может приниматься посредством декодера 1914 изображений, чтобы расшифровывать последовательность 1906 трехмерных изображений до того, как она принимается посредством модуля 1912 рендеринга субтитров. В других вариантах осуществления, последовательность 1906 трехмерных изображений находится в некодированном формате, который предоставляется в модуль 1912 рендеринга субтитров без декодирования посредством декодера 1914 изображений. Например, последовательность 1906 трехмерных изображений может быть декодирована до приема посредством серверного устройства 1900. Модуль 1912 рендеринга субтитров может накладывать элементы субтитров на последовательность трехмерных изображений на основе атрибутов рендеринга.
Последовательность трехмерных изображений с субтитром, наложенным на последовательность трехмерных изображений с использованием атрибутов рендеринга, предоставляется из серверного устройства 1900 на дисплейное устройство 1916. Дисплейное устройство 1916 допускает отображение последовательности трехмерных изображений с трехмерным субтитром для аудитории. Примеры дисплейного устройства 1916 включают в себя кинопроектор, жидкокристаллическое дисплейное устройство, плазменное дисплейное устройство или другое дисплейное устройство высокой четкости.
Фиг.20 иллюстрирует функциональную блок-схему системы обработки на месте, которая является системой отображения в реальном времени, расположенной, например, в зрительном зале. Последовательность 2002 трехмерных изображений и файл 2006 субтитров принимаются в зрительном зале. Последовательность 2002 трехмерных изображений может приниматься с файлом 2006 субтитров или отдельно от файла 2006 субтитров. Файл 2006 субтитров может включать в себя информацию субтитров, к примеру, текст субтитров и информацию синхронизации.
Серверное устройство 2000 может находиться в зрительном зале. Серверное устройство 2000 может быть процессорным устройством, которое может выполнять код, сохраненный на машиночитаемом носителе. Оно может включать в себя процессор и машиночитаемый носитель, который может материально осуществлять исполняемый код. Серверное устройство 2000 может включать в себя декодер 2004 изображений, сохраненный на машиночитаемом носителе. Декодер 2004 изображений может декодировать последовательность 2002 трехмерных изображений, если требуется, в незашифрованный и несжатый формат. В некоторых вариантах осуществления, серверное устройство 2000 не включает в себя декодер 2004 изображений, или декодер 2004 изображений не декодирует последовательность 2002 трехмерных изображений. Например, последовательность 2002 трехмерных изображений может быть в незашифрованном и несжатом формате, или модуль 314 декодирования изображений может быть включен в вычислительное устройство 302, которое находится в серверном устройстве 2000. Вычислительное устройство 302 может принимать последовательность 2002 трехмерных изображений и файл 2006 субтитров и выполнять функции, как описано, например, относительно фиг.3, в реальном времени, чтобы выводить атрибуты 2008 рендеринга. Атрибуты рендеринга могут использоваться посредством модуля 2010 рендеринга субтитров, который может принимать последовательность 2002 трехмерных изображений или незашифрованная последовательность трехмерных изображений, чтобы подготавливать посредством рендеринга изображения с текстом субтитров и накладывать субтитры на последовательность 2002 трехмерных изображений. Вывод модуля 2010 рендеринга субтитров может предоставляться в дисплейное устройство 2012. Дисплейное устройство 2012, которое может быть проектором, может допускать отображение субтитров, наложенных на последовательность 2002 трехмерных изображений, для зрительской аудитории.
В некоторых вариантах осуществления, вычислительное устройство 302 включает в себя контроллер субтитров, который может выводить команды управления в модуль 2010 рендеринга субтитров, чтобы инструктировать модулю 2010 рендеринга субтитров подготавливать посредством рендеринга и корректно накладывать субтитры на последовательность трехмерных изображений. Команды управления могут включать в себя, например, команду, указывающую глубину или смещение, посредством которого субтитр должен подготавливаться посредством рендеринга, наряду с информацией синхронизации для ассоциирования с глубиной и элементом субтитров.
Определенные конкретные функции вариантов осуществления контроллеров ввода субтитров зависят от характеристик устройства ввода и вывода. Например, если информация глубины вычисляется заранее и распространяется через DCP, вводом в контроллер ввода субтитров могут быть декодированные файлы дорожек, к примеру, файлы трехмерных субтитров или метаданные с предварительно определенным форматом текстового файла. Контроллер ввода субтитров может интерпретировать текстовые файлы и извлекать информацию глубины наряду с другой информацией субтитров. В другом варианте осуществления, если информация глубины доставляется через отдельный канал, файлы входных данных могут или должны иметь формат текстового файла, и контроллер ввода субтитров может интерпретировать входную информацию глубины различным способом. В другом варианте осуществления, если информация глубины субтитров вычисляется в реальном времени от DCP, информация глубины может быть непосредственно доступной для контроллера ввода субтитров, в то время как другая информация субтитров может извлекаться из обычных файлов субтитров.
Фиг.21 показывает способ, который может выполняться посредством контроллера ввода субтитров, который принимает файлы DCP-дорожек в качестве ввода и выводит инструкции, которые управляют адаптивной к содержимому глубиной, в модуль рендеринга субтитров согласно одному варианту осуществления. Первый этап на фиг.21 состоит в том, чтобы принимать файл DCP-дорожки от DCP-декодера 2102. Контроллер ввода субтитров затем может выполнять поиск в файле дорожки на предмет первого элемента субтитров и извлекать информацию 2106 глубины. Информация глубины может быть в диапазоне от нескольких футов от аудитории до бесконечности, или она может описываться посредством эквивалентной пикселной диспаратности. Возможно то, что устройство вывода, модуль рендеринга субтитров, может иметь ограниченный диапазон глубин и фиксированное число разрешенных шагов глубины. Например, модуль рендеринга субтитров может допускать вывод глубины в диапазоне от 10 футов до 100 футов с ограниченным числом разрешенных шагов глубины. В таком случае, контроллер ввода субтитров может преобразовывать значение глубины субтитров в один из ближайших разрешенных шагов глубины, сохраненных в запоминающем устройстве контроллера. Такой процесс описывается на фиг.21 как квантование 2108 по глубине. Контроллер ввода субтитров также может извлекать информацию синхронизации из файла дорожки, чтобы выдавать инструкцию для устройства вывода, модуля рендеринга субтитров, с надлежащей синхронизацией, так что отображаемый текст субтитров может быть синхронным с изображениями и аудиодорожкой, а также без перехода, когда он показывается на экране 2110. В зависимости от реализации определенное количество времени может быть необходимо от того, когда инструкция выдается посредством контроллера ввода субтитров, до тех пор, пока модуль рендеринга субтитров не выполняет это. Модуль рендеринга субтитров может допускать выполнение инструкции в определенное время интервала. Чтобы поддерживать синхронизацию субтитров с аудио и изображениями, задержки и интервалы могут определять время инициирования инструкции, чтобы не допускать ошибок синхронизации. Такой процесс может быть квантованием 2112 по времени.
Система может выполнять поиск другой информации, ассоциированной с текущим элементом 2114 субтитров. Когда глубина и синхронизация определены, наряду с другой ассоциированной информацией, контроллер ввода субтитров формирует инструкцию 2116 в модуль 2122 рендеринга субтитров, чтобы формировать изображения трехмерного субтитра в корректное время и с корректной глубиной, шрифтами и позициями на экране. Контроллер ввода субтитров повторяет вышеуказанные этапы для каждого элемента субтитров, перечисленного в файлах 2118, 2120 DCP-дорожек.
В некоторых вариантах осуществления, последовательность операций контроллера ввода субтитров по фиг.21 может быть дополнена так, чтобы она управляла другими атрибутами адаптивных к содержимому субтитров. Контроллер ввода субтитров затем может искать и извлекать каждый из релевантных атрибутов субтитров из файла дорожки, выполнять необходимые функции, чтобы преобразовывать эти значения атрибутов субтитров в соответствующие инструкции, совместимые с аппаратными и программными ограничениями модуля рендеринга субтитров.
Вышеизложенное предоставлено для целей иллюстрирования, пояснения и описания вариантов осуществления настоящего изобретения. Дополнительные модификации и адаптации в эти варианты осуществления должны быть очевидными для специалистов в данной области техники и могут осуществляться без отступления от объема или сущности изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| СПОСОБ И УСТРОЙСТВО ДЛЯ ОБРАБОТКИ СИГНАЛА ДЛЯ ТРЕХМЕРНОГО ВОСПРОИЗВЕДЕНИЯ ДОПОЛНИТЕЛЬНЫХ ДАННЫХ | 2010 |
|
RU2510081C2 |
| УСТРОЙСТВО ВОСПРОИЗВЕДЕНИЯ, СПОСОБ ВОСПРОИЗВЕДЕНИЯ И ПРОГРАММА ДЛЯ СТЕРЕОСКОПИЧЕСКОГО ВОСПРОИЗВЕДЕНИЯ | 2009 |
|
RU2512135C2 |
| НОСИТЕЛЬ ЗАПИСИ, УСТРОЙСТВО ВОСПРОИЗВЕДЕНИЯ И ИНТЕГРАЛЬНАЯ СХЕМА | 2010 |
|
RU2525750C2 |
| ОБРАБОТКА 3D ОТОБРАЖЕНИЯ СУБТИТРОВ | 2009 |
|
RU2517402C2 |
| ПЕРЕДАЧА ДАННЫХ 3D-ИЗОБРАЖЕНИЯ | 2011 |
|
RU2589870C2 |
| НОСИТЕЛЬ ЗАПИСИ, УСТРОЙСТВО ВОСПРОИЗВЕДЕНИЯ, УСТРОЙСТВО КОДИРОВАНИЯ, ИНТЕГРАЛЬНАЯ СХЕМА И УСТРОЙСТВО ВЫВОДА ДЛЯ ВОСПРОИЗВЕДЕНИЯ | 2010 |
|
RU2533300C2 |
| УСТРОЙСТВО ВОСПРОИЗВЕДЕНИЯ, СПОСОБ ЗАПИСИ, СИСТЕМА ВОСПРОИЗВЕДЕНИЯ НОСИТЕЛЯ ЗАПИСИ | 2010 |
|
RU2522304C2 |
| СПОСОБ И УСТРОЙСТВО ДЛЯ ФОРМИРОВАНИЯ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ | 2015 |
|
RU2692432C2 |
| ВСПОМОГАТЕЛЬНЫЕ ДАННЫЕ В ТРАНСЛЯЦИИ 3D ИЗОБРАЖЕНИЯ | 2011 |
|
RU2589307C2 |
| НОСИТЕЛЬ ЗАПИСИ, УСТРОЙСТВО ВОСПРОИЗВЕДЕНИЯ И ИНТЕГРАЛЬНАЯ СХЕМА | 2010 |
|
RU2541128C2 |
Изобретение относится к средствам формирования субтитров трехмерного фильма. Техническим результатом является обеспечение оптимизации формирования субтитров на отображаемом трехмерном изображении с сильным параллаксом. В способе принимают последовательность трехмерных (3D) изображений; принимают файл субтитров для указанной последовательности, содержащий элемент субтитров и информацию синхронизации, ассоциируют элемент субтитров с сегментом кадров изображения на основании информации синхронизации, формируют абстрактное изображение для правого и левого глаза из сегментов, вычисляют вычислительным устройством карту абстрактной глубины из указанных абстрактных изображений, вычисляют промежуточную глубину на основе карты абстрактной глубины для элемента субтитров, используют промежуточную глубину, чтобы определять атрибут рендеринга для элемента субтитров, выводят атрибут рендеринга. 3 н. и 31 з.п. ф-лы, 21 ил.
1. Способ получения субтитров для трехмерного фильма, содержащий этапы, на которых:
- принимают последовательность трехмерных (3D) изображений;
- принимают файл субтитров для последовательности трехмерных изображений, причем файл субтитров содержит элемент субтитров и информацию синхронизации, ассоциированную с элементом субтитров;
- ассоциируют элемент субтитров с сегментом кадров изображения временной длительности последовательности трехмерных изображений, при этом ассоциирование элемента субтитров с сегментом последовательности трехмерных изображений основано на информации синхронизации;
- формируют абстрактное изображение для правого глаза из сегмента и формируют абстрактное изображение для левого глаза из сегмента, причем абстрактное изображение для правого глаза представляет собой множество изображений сегмента для правого глаза, при этом абстрактное изображение для левого глаза представляет собой множество изображений сегмента для левого глаза,
- вычисляют, посредством вычислительного устройства, карту абстрактной глубины из абстрактного изображения для правого глаза и абстрактного изображения для левого глаза, причем вычислительное устройство содержит процессор, выполненный с возможностью побуждать вычислительное устройство вычислять карту абстрактной глубины;
- вычисляют, посредством вычислительного устройства, промежуточную глубину на основе карты абстрактной глубины для элемента субтитров;
- используют промежуточную глубину для того, чтобы определять атрибут рендеринга для элемента субтитров; и
- выводят атрибут рендеринга.
2. Способ по п. 1, в котором вычисление, посредством вычислительного устройства, карты абстрактной глубины из абстрактного изображения для правого глаза и абстрактного изображения для левого глаза, содержат этап, на котором вычисляют абстрактную карту глубины из пары абстрактных изображений, которая формируется с использованием проекции на основе вертикальной дискретизации,
- при этом пара абстрактных изображений содержит абстрактное изображение для левого глаза, сформированное из последовательности изображений для левого глаза, и абстрактное изображение для правого глаза, сформированное из последовательности изображений для правого глаза.
3. Способ по п. 2, в котором проекция на основе вертикальной дискретизации содержит этапы, на которых:
- выбирают строку для дискретизации в последовательности трехмерных изображений; и
- создают новый пиксел посредством проецирования, по меньшей мере, одного пиксела вертикального столбца пикселов изображений к точке на строке для дискретизации, при этом новый пиксел содержит значение, определенное посредством выбранной функции проекции.
4. Способ по п. 2, в котором вычисление абстрактной карты глубины из пары абстрактных изображений содержит этап, на котором оценивают горизонтальную пикселную диспаратность.
5. Способ по п. 1, в котором вычисление, посредством вычислительного устройства, промежуточной глубины на основе карты абстрактной глубины для элемента субтитров содержит этап, на котором:
- определяют промежуточную глубину на основе временного и статистического распределения пикселной диспаратности из карты абстрактной глубины.
6. Способ по п. 1, в котором промежуточная глубина является постоянной в течение длительности элемента субтитров.
7. Способ по п. 1, в котором промежуточная глубина варьируется в течение длительности элемента субтитров.
8. Способ по п. 1, дополнительно содержащий этап, на котором:
- изменяют, по меньшей мере, одно из размера текстового шрифта или цвета текстового шрифта элемента субтитров на основе содержимого последовательности трехмерных изображений.
9. Способ по п. 1, дополнительно содержащий этапы, на которых:
идентифицируют, что изменение глубины между смежными элементами субтитров имеет значение, превышающее предварительно установленное пороговое значение; и
- модифицируют значения глубины в ответ на идентификацию.
10. Способ по п. 1, в котором атрибут рендеринга содержит по меньшей мере одно из следующего:
- глубина для элемента субтитров;
- цвет для элемента субтитров;
- начертание шрифта для элемента субтитров;
- размер шрифта для элемента субтитров; или
- позиция на экране для элемента субтитров.
11. Способ по п. 10, в котором атрибутом рендеринга является цвет для элемента субтитров, при этом цвет модифицируется на основе содержимого последовательности трехмерных изображений, чтобы отличать элемент субтитров от содержимого последовательности трехмерных изображений.
12. Способ по п. 1, в котором промежуточная глубина содержит значение диспаратности, которое превышает максимальную диспаратность, по меньшей мере, части содержимого последовательности трехмерных изображений, с которой должен отображаться элемент субтитров.
13. Способ по п. 1, в котором последовательность трехмерных изображений является кодированной последовательностью трехмерных изображений.
14. Способ по п. 13, дополнительно содержащий этап, на котором:
декодируют кодированную последовательность трехмерных изображений, чтобы вычислять промежуточную глубину.
15. Способ по п. 13, в котором кодированной последовательностью трехмерных изображений является одно из формата комплекта для цифровых кинотеатров (DCP) или видеоформата.
16. Способ по п. 15, в котором кодированная последовательность трехмерных изображений является последовательностью трехмерных изображений в DCP-формате, которая, по меньшей мере, частично декодируется с использованием части пакетов в информации кодирования на основе JPEG, чтобы вычислять промежуточную глубину.
17. Способ по п. 1, дополнительно содержащий этапы, на которых:
- сохраняют атрибут рендеринга как файл трехмерных субтитров; и
- предоставляют файл трехмерных субтитров отдельно от последовательности трехмерных изображений.
18. Способ по п. 1, дополнительно содержащий этапы, на которых:
- сохраняют атрибут рендеринга и последовательность трехмерных изображений в одном комплекте файлов данных и предоставляют комплект файлов данных.
19. Способ по п. 1, в котором формирование абстрактного изображения для правого глаза включает в себя формирование одного абстрактного изображения для правого глаза, при этом формирование абстрактного изображения для левого глаза включает в себя формирование одного абстрактного изображения для левого глаза,
причем абстрактное изображение для правого глаза и абстрактное изображение для левого глаза представляют перемещение объекта во всех изображениях сегмента.
20. Способ по п. 1, в котором формирование абстрактного изображения для правого глаза и формирование абстрактного изображения для левого глаза включает в себя формирование абстрактного изображения для правого глаза и формирование абстрактного изображения для левого глаза, которые представляют собой перемещение объекта во множестве изображений сегмента.
21. Способ по п. 20, в котором карта абстрактной глубины включает в себя изменения глубины объекта относительно переднего фона во множестве изображений сегмента.
22. Система получения субтитров для трехмерного фильма, содержащая:
- вычислительное устройство, содержащее (i) машиночитаемый носитель с сохраненными на нем модулями, и (ii) процессор, выполненный с возможностью исполнения модулей, сохраненных на машиночитаемом носителе, причем модули выполняются посредством процессора, чтобы инструктировать вычислительному устройству выполнять действия, при этом модули содержат:
- модуль выбора временного окна, выполненный с возможностью ассоциировать элемент субтитров с сегментом кадров изображения временной длительности последовательности трехмерных изображений на основе информации синхронизации, причем элемент субтитров ассоциирован с информацией синхронизации;
- модуль вычисления абстрактной глубины, выполненный с возможностью вычислять карту абстрактной глубины из сегмента, ассоциированного с элементом субтитров посредством формирования абстрактного изображения для правого глаза из сегмента и формирования абстрактного изображения для левого глаза из сегмента, причем абстрактное изображение для правого глаза представляет собой множество изображений сегмента для правого глаза, при этом абстрактное изображение для левого глаза представляет собой множество изображений сегмента для левого глаза,
- модуль определения промежуточной глубины, выполненный с возможностью вычислять промежуточную глубину на основе карты абстрактной глубины для элемента субтитров; и
- модуль вычисления атрибутов рендеринга, выполненный с возможностью использовать карту промежуточной глубины, чтобы определять атрибут рендеринга для элемента субтитров.
23. Система по п. 22, в которой модуль вычисления абстрактной глубины выполнен с возможностью вычислять карту абстрактной глубины из сегмента, ассоциированного с элементом субтитров, посредством вычисления абстрактной карты глубины из пары абстрактных изображений с использованием проекции на основе вертикальной дискретизации, при этом пара абстрактных изображений содержит абстрактное изображение для левого глаза, сформированное из последовательности изображений для левого глаза, и абстрактное изображение для правого глаза, сформированное из последовательности изображений для правого глаза.
24. Система по п. 22, дополнительно содержащая:
- серверное устройство, поддерживающее связь с вычислительным устройством, причем серверное устройство выполнено с возможностью подготавливать посредством рендеринга элемент субтитров с последовательностью трехмерных изображений с использованием атрибута рендеринга для элемента субтитров; и
- дисплейное устройство, поддерживающее связь с серверным устройством, причем дисплейное устройство выполнено с возможностью отображать элемент субтитров с использованием атрибута рендеринга и отображать элемент субтитров с последовательностью трехмерных изображений.
25. Система по п. 24, в которой серверное устройство содержит вычислительное устройство.
26. Система по п. 24, в которой серверное устройство содержит декодер изображений, выполненный с возможностью декодировать последовательность трехмерных изображений перед рендерингом элемента субтитров с последовательностью трехмерных изображений.
27. Система по п. 24, в которой вычислительное устройство выполнено с возможностью сохранять атрибут рендеринга как файл трехмерных субтитров или как метаданные,
- при этом серверное устройство содержит контроллер субтитров, который выполнен с возможностью формировать команду управления из атрибута рендеринга, сохраненного как файл трехмерных субтитров или как метаданные, причем команда управления используется посредством модуля рендеринга субтитров для того, чтобы накладывать элемент субтитров на последовательность трехмерных изображений.
28. Система по п. 22, в которой последовательность трехмерных изображений находится в кодированном формате, при этом модули дополнительно содержат:
- модуль декодирования изображений, выполненный с возможностью декодировать последовательность трехмерных изображений в кодированном формате.
29. Система по п. 22, в которой атрибут рендеринга содержит по меньшей мере одно из следующего:
- глубина для элемента субтитров;
- цвет для элемента субтитров;
- начертание шрифта для элемента субтитров;
- размер шрифта для элемента субтитров; или
- позиция на экране для элемента субтитров.
30. Машиночитаемый носитель, содержащий программный код, сохраненный на нем, причем программный код исполняется посредством процессора, чтобы побуждать компьютер на выполнение действия для получения субтитров для трехмерного фильма, при этом программный код содержит:
- программный код для ассоциирования элемента субтитров с сегментом кадров изображения временной длительности последовательности трехмерных изображений на основе информации синхронизации для элемента субтитров;
- программный код для вычисления атрибута рендеринга для элемента субтитров на основе глубины, по меньшей мере, части содержимого в сегменте последовательности трехмерных изображений, ассоциированной с элементом субтитров посредством формирования абстрактного изображения для правого глаза из сегмента и формирования абстрактного изображения для левого глаза из сегмента, причем абстрактное изображение для правого глаза представляет собой множество изображений сегмента для правого глаза, при этом абстрактное изображение для левого глаза представляет собой множество изображений сегмента для левого глаза,
- программный код для вывода атрибута рендеринга.
31. Машиночитаемый носитель по п. 30, дополнительно содержащий:
- программный код для рендеринга элемента субтитров с последовательностью трехмерных изображений с использованием атрибута рендеринга для элемента субтитров.
32. Машиночитаемый носитель по п. 31, в котором программный код для рендеринга элемента субтитров с последовательностью трехмерных изображений с использованием атрибута рендеринга для элемента субтитров содержит:
- программный код для наложения элемента субтитров на последовательность трехмерных изображений на наблюдаемой глубине в соответствии с атрибутом рендеринга.
33. Машиночитаемый носитель по п. 30, дополнительно содержащий:
- программный код для предоставления команды управления на основе атрибута рендеринга для элемента субтитров; и
- программный код для, в ответ на прием команды управления, рендеринга элемента субтитров с последовательностью трехмерных изображений.
34. Машиночитаемый носитель по п. 30, в котором атрибут рендеринга содержит по меньшей мере одно из следующего:
- глубина для элемента субтитров;
- цвет для элемента субтитров;
- начертание шрифта для элемента субтитров;
- размер шрифта для элемента субтитров; или
- позиция на экране для элемента субтитров.
| WO 2008115222 A1, 25.09.2008 | |||
| US 20070288844 A1, 13.12.2007 | |||
| JP 2004274 A, 30.09.2004 | |||
| JP 2008236257 A, 02.10.2008 | |||
| МЕХАНИЗМ ГАЗОРАСПРЕДЕЛЕНИЯ | 2004 |
|
RU2268373C1 |
| RU 2006101818 A, 10.08.2007 | |||
| RU 2007110904 A, 10.10.2008 | |||
