СПОСОБ ВЫЧИСЛЕНИЯ ЦИФРОВЫХ ВИДЕОГОЛОГРАММ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2011 года по МПК G03H1/08 

Область техники, к которой относится изобретение

Настоящее изобретение относится к методу вычисления цифровых голограмм (ЦГ), и, в частности, касается голограмм в реальном времени или почти реальном времени, например видеоголограмм, которые составлены из индивидуально контролируемых ячеек голограмм, каждая ячейка состоит из комплексных данных. Кроме фотоснимков, видеоголограммы в реальном времени представляют особый интерес. Электроголография стремится к реализации видеоголограмм в реальном времени. Демонстрация электроголограммы является, на деле, Пространственным Модулятором Света (ПМС) с управляемыми пикселями, восстанавливающим точки объекта пространственной модуляцией опорным светом. Повсюду в этом документе мы будем ссылаться на голограммы в реальном времени, как на видеоголограммы. Как понятно специалистам в данной области техники, термин видеоголограмма также охватывает оптически адресуемые ПМС, акустооптические световые модуляторы (АОМ) или подобные устройства, не показывающие отдельно расположенных ячеек.

В отличие от классических голограмм, которые хранятся фотографически или другим подходящим способом в форме интерференционных образцов, видеоголограммы существуют как результат вычисления дискретных голографических данных из ряда трехмерных изображений. В процессе вычислений, промежуточные данные хранятся, например, электронными средствами, такими как электронная среда памяти компьютера, графический процессор, графический адаптер или другая аппаратура. Данные трехмерного изображения могут генерироваться любым способом, например интерференционными образцами или трехмерным преобразованием двухмерных данных.

Основные концепции

Пространственные модуляторы света (ПМС) - это устройства для пространственного управления комплексными данными, т.е. величиной и фазой амплитуды каждого цветового компонента света. Цвет может кодироваться пространственным или временным мультиплексированием. ПМС может содержать управляемые программные ячейки, каждая из которых отдельно адресуема и управляема дискретным набором значений голографических данных. ПМС могут также быть непрерывными и не содержать дискретных ячеек. Чтобы достичь кодирования света пространственным мультиплексированием в ПМС, основанным на ячейках, каждый пиксель в ячейке должен содержать цветные подпиксели, каждый из которых раскрывает один из трех или более основных цветов. В зависимости от используемого типа кодирования видеоголограммы могут использовать дополнительные подпиксели для кодирования каждого из основных цветов. Например, кодирование обходной фазой, как известное кодирование Буркхардта, требует организации трех подпикселей для каждой цветовой компоненты. Принимая во внимание три цветовых компонента, число подпикселей достигает 9 для ячейки голограммы (т.е. имеется три основных цвета, и три подпикселя для каждого из этих трех основных цветов, составляя в сумме девять подпикселей). Для сравнения, известное кодирование Ли требует четырех подпикселей и двухфазное кодирование требует двух подпикселей для каждого цвета в ячейке голограммы.

Каждая ячейка голограммы кодируется одним дискретным набором данных голограммы, содержащим, по меньшей мере, амплитудную и фазовую информацию для данных цветовых компонент, указанные данные могут быть нулевыми или иметь стандартное значение, или быть произвольно выбранными. Данные голограммы видеоголограммы непрерывно изменяются в соответствии со схемой, управляющей ПМС. Так как целая голограмма состоит из тысяч ячеек, имеются тысячи дискретных наборов данных голограммы.

Набор данных голограммы содержит всю информацию, необходимую для кодирования одной ячейки видеоголограммы, как части временной последовательности, требуемой для восстановления трехмерного изображения.

Выделенный драйвер использует наборы дискретных данных голограммы для формирования специальных управляющих сигналов для управления соответствующими подпикселями ПМС. Драйвер и обеспечение управляющими сигналами зависят от типа используемого ПМС и не являются предметом настоящего изобретения. Многие виды ПМС, такие как пропускающие или отражающие жидкокристаллические индикаторы, микрооптические и электромеханические микросистемы или непрерывно оптически адресуемые ПМС и акустооптические модуляторы могут использоваться в вариантах осуществления настоящего изобретения.

Модулированный свет появляется из голограммы с амплитудой и фазой, управляемыми подходящим образом, и распространяется через свободное пространство к наблюдателю в форме фронта световой волны для образования трехмерной картины. Кодирование ПМС с набором данных голограммы заставляет волновое поле, излучаемое от источника, должным образом восстанавливать трехмерное изображение, создавая интерференционную картину в пространстве наблюдения.

Настоящее изобретение предоставляет в реальном времени или почти в реальном времени управляющие данные для каждой ячейки голограммы, чтобы обеспечить требуемую модуляцию волны, путем вычисления амплитуды и/или фазы для требуемой длины волны.

Уровень техники

Общей проблемой при восстановлении трехмерной картины является низкое разрешение пикселей и малое число пикселей, осуществимые с существующими ПМС. Для восстановления 50-сантиметровых ПМС, доступных сегодня, требуется размер пикселя порядка 1 микрона. Учитывая три подпикселя для кодирования каждого из трех основных цветов в ячейке голограммы, потребуется более 10⁹ пикселей. Это требует дорогостоящего оборудования и больших вычислительных мощностей для вычисления видеоголограммы. Подходящие по средствам индикаторы в реальном времени и устройства с достаточной скоростью вычислений, удовлетворяющие этим требованиям, в настоящее время коммерчески недоступны.

Для вычисления видеоголограмм не является необходимым, чтобы трехмерные картины действительно существовали. Это делает возможным восстановление виртуальных трехмерных изображений в различных областях применения, таких как технология, развлечения и реклама, где движущиеся трехмерные изображения синтезируются и редактируются компьютером.

Цифровые видеоголограммы могут, например, восстанавливаться с использованием голографического индикатора, как описано заявителем в документе WO 2004/044659, содержание голограмм объединяется по ссылке. Наблюдатель смотрит на экран индикатора, по меньшей мере, через одно виртуальное окно наблюдателя, которое больше зрачка глаза. Окна наблюдателя расположены около глаз наблюдателя и могут прокручиваться в порядке положения наблюдателя с помощью известных устройств определения положения и прослеживания. Плоскость изображения источников света - это Фурье-плоскость голограммы. Так как окно наблюдателя является Фурье-плоскостью голограммы, оно расположено в плоскости изображения источника света.

Окна наблюдателя могут, поэтому, быть предпочтительно ограничены размером, лишь немного превышающим размер зрачка человека. Это значительно сокращает требования к разрешению пикселя и числу пикселей в ПМС и сокращает объем вычислений. Следовательно, скорость передачи данных и требуемые вычислительные мощности могут быть значительно сокращены, и может использоваться матрица модулятора с низким разрешением. Одним из недостатков способа кодирования, описанного в данном приложении, является то, что он основан на интенсивных вычислительных операциях, выполняемых в каждой точке восстанавливаемого объекта.

Видеоголограммы, вычисляемые согласно этому изобретению, могут восстанавливаться, например, с использованием массивов пикселей размером 3 миллиона пикселей.

WO 03/025680 описывает способ вычисления видеоголограмм с ограниченной серой шкалой. Целевая голограмма разделена в частичные голограммы и отдельное их восстановление используется для итеративного вычисления оптимизированных подголограмм, таким образом, уменьшая требуемые вычислительные мощности. Итеративный процесс повторяется до тех пор, пока не будут составлены подголограммы с узким диапазоном серой шкалы, достаточные для формирования общей голограммы с узким диапазоном серой шкалы. Чтобы преобразовать последовательную обработку данных в вычислительные шаги, которые можно выполнить одновременно, отдельное восстановление каждой подголограммы оптимизируется независимо друг от друга, пока не будет достигнут желаемый результат для общей голограммы. После формирования целевого волнового фронта для каждого набора данных составляются подголограммы. Однако, хотя параллельная обработка при вычислении оптимизированных подголограмм увеличивает скорость обработки, требуемые вычислительные мощности не уменьшаются.

WO 00/34834 описывает способ вычисления трехмерных изображений и их восстановления в реальном времени из данных цифровых изображений с использованием жидкокристаллических индикаторов. Данные изображения описывают реальное или виртуальное трехмерное изображение путем распределения их интенсивности в пространстве. Основными шагами являются: деление трехмерного изображения на несколько параллельных слоев сечения (расслоение) с соответствующими границами сечений изображения, вычисление голограммы сечения для каждого слоя сечения, и последовательное восстановление вычисляемых голограмм сечений с использованием матрицы модулятора света. Для каждой голограммы сечения данное двухмерное изображение, определяемое распределением интенсивности, преобразуется в промежуточное двухмерное изображение, определяемое комплексной матрицей. Разрешение трехмерного восстановления увеличивается путем наложения изображений. Затем фиктивное дифракционное изображение вычисляется для каждого сечения изображения в опорном слое, расположенном на расстоянии от слоя сечения, и дифракционное изображение накладывается с помощью комплексной опорной волны. Это заканчивается созданием двухмерных голограмм в форме интерференционных образцов для опорного слоя, указанные образцы, предоставляющие дискретные управляющие значения для драйвера, кодирующего матрицу модулятора света. Матрица модулятора света расположена в опорном слое согласно этому известному решению.

Дифракционные изображения слоев сечения вычисляются умножением комплексных значений амплитуд пикселей на математическое выражение сферической волны на расстоянии между слоем сечения и опорным слоем, и интегрированием по всем пикселям сечения изображения (слоя). Этот интеграл интерпретируется как интеграл свертки и вычисляется произведением преобразования Фурье множителей и последующим обратным преобразованием.

Недостаток состоит в том, что последовательное восстановление в реальном времени каждого слоя сечения требует чрезвычайно быстрых вычислительных средств и матрицы модулятора света, способной восстанавливать несколько сотен голограмм сечения в секунду. Кроме того, трехмерное изображение восстанавливается позади опорного слоя. Это означает, что наблюдатель видит трехмерное изображение позади матрицы модулятора света или внутри изображения голограммы.

Так как правильное восстановление глубины изображения включает более 100 слоев сечения, это решение требует очень высокой частоты обновления экрана индикатора. Удовлетворительное и естественное восстановление в реальном времени движущихся трехмерных изображений с использованием известных вычислительных и индикаторных средств не представляется реальным вследствие низких скоростей и того факта, что восстановление ограничивается внутренностью индикатора голограммы.

Сущность изобретения

Цель настоящего изобретения - предложить способ для ускорения вычисления цифровых видеоголограмм, указанные видеоголограммы, позволяющие одновременное восстановление трехмерных изображений и в то же время поддерживающие пространственное разрешение и качество восстановления. Указанное изобретение делает возможным интерактивное восстановление в реальном времени или почти реальном времени и предоставляет средства передачи. Другой целью является предложение способа, который позволяет формировать большие цифровые голографические восстановления, которые могут быть такими же большими, как сама голограмма или даже больше нее.

Эта цель достигается посредством способа для вычисления цифровых видеоголограмм, где данные объекта, определяющие объекты в трехмерных изображениях, организованы в ряд виртуальных слоев сечения, каждый слой, определяющий набор данных двухмерного объекта таким образом, что набор данных видеоголограммы может быть вычислен из некоторых или всех этих наборов данных двухмерного объекта, включающего следующие этапы:

(a) в первом преобразовании, каждый набор данных двухмерного объекта из виртуальных слоев сечения преобразуется в распределение двухмерного волнового поля, и распределение волнового поля вычисляется для виртуального окна наблюдателя в опорном слое на ограниченном расстоянии от слоя видеоголограммы,

(b) вычисленные двухмерные распределения волнового поля для виртуального окна наблюдателя для всех двухмерных наборов данных объекта слоев сечений складываются, чтобы определить суммарный набор данных окна наблюдателя.

(c) во втором преобразовании, суммарный набор данных окна наблюдателя преобразуется из опорного слоя в слой видеоголограммы, чтобы сформировать набор данных видеоголограммы для цифровой видеоголограммы.

Данные объекта, определяющие трехмерное изображение, могут быть данными, определяющими двухмерное изображение, но включающими дополнительную информацию о глубине для преобразования двухмерного изображения или видеоданных в трехмерные данные. Термин «трехмерный» включает в свои рамки «двухмерный». Информация о глубине может быть одинаковой для всех наборов данные объекта. Таким образом, устройство, которое формирует голограмму, может переключаться от трехмерного режима в двухмерный режим, в зависимости от входных данных, а также от желания пользователя.

Термин «слои» следует понимать, как охватывающий любой вид виртуально определяемой структуры, которая может описывать точки, составляющие восстанавливаемое изображение. Он, таким образом, включает любой набор виртуальных параллельных поверхностей и любой алгоритм, который может пространственно определять эти точки. Однако виртуальные плоские сечения являются в вычислительном смысле наиболее эффективной формой слоя для обработки.

Опорный слой может совпадать с Фурье-плоскостью голограммы, являющейся плоскостью изображения освещающего источника света; однако имеется определенный уровень допуска, и глаза наблюдателя, расположенные близко к Фурье-плоскости будут правильно видеть восстановленное изображение. Уровень допуска увеличивается с увеличением числа пикселей.

В одном варианте осуществления изобретения, первое преобразование является преобразованием Фреснеля и второе преобразование является преобразованием Фурье. Термин «преобразование» следует понимать расширительно, чтобы включать любой математический или вычислительный метод, который эквивалентен преобразованию или сходен с преобразованием. Преобразования, используемые в нормальном математическом смысле, являются просто аппроксимацией физических процессов, более точно описываемых уравнениями распространения волны Максвелла; преобразования, такие как преобразования Фреснеля (или специальный класс преобразования Фреснеля, известный как преобразования Фурье), являются приближениями второго порядка, но имеют значительное преимущество: потому что они являются алгебраическими, а не дифференциальными, они могут быть эффективно реализованы вычислительными методами.

Чтобы компенсировать ошибки восстановленного суммарного поля в окне наблюдателя, можно использовать итерационный процесс между распределениями в окне наблюдателя и в слое голограммы.

Чтобы сократить шум от дискретной структуры и улучшить яркость или дифракционную эффективность в опорном слое изображения, наборы данных объекта могут проявлять подходящее фазовое распределение, например псевдослучайное фазовое распределение.

В отличие от имеющихся решений, путем выполнения первых двух из вышеупомянутых этапов в соответствии с данным изобретением, голограмма единого суммарного волнового поля вычисляется с использованием дифракционной формулы. Вследствие наложения всех отдельных волновых полей это суммарное волновое поле содержит всю оптическую информацию о трехмерном изображении с достаточной точностью.

В предпочтительном варианте осуществления настоящего изобретения все наборы данных объекта для слоев сечения имеют одинаковое общее количество дискретных точек матрицы. Если число точек матрицы равно числу точек сканирования голограммы, быстрые алгоритмы могут предпочтительно использоваться для всего процесса вычислений, и этапы обработки для адаптации разрешения к соответствующему слою, такие как интерполяция или наложение точек, становятся ненужными. Число точек матрицы для всех слоев определяется из числа закодированных пикселей ПМС при демонстрации голограммы.

Основным преимуществом настоящего изобретения в сочетании с дисплеем для видеоголограммы, описанным в WO 2004/044659, является то, что до преобразования опорного набора данных для суммарного волнового поля в слое голограммы, область окна (окон) наблюдателя может быть сокращена, так что она становится значительно меньше, чем область матрицы модулятора света ПМС. Размер окна наблюдателя максимально соответствует интервалу периодичности в слое, который содержит изображение источника света, используемого при восстановлении, при восстановлении голограммы в опорном слое. Это ведет к тому, что цифровая видеоголограмма, в соответствии с настоящим изобретением, требует меньших углов дифракции по сравнению с другими решениями, особенно если наборы данных в опорном слое и слое голограммы имеют одинаковое число точек матрицы. Благодаря вычислению значений амплитуды для матрицы модулятора света требования к скорости обработки значительно уменьшаются. В частности, по сравнению с известным устройством определения позиции и слежения для отслеживания текущей позиции наблюдателя, размер окна наблюдателя может быть значительно сокращен из-за данного преимущества. Кроме того, WO 2004/044659, как упомянуто ранее, требует большого объема вычислительных операций, выполняемых для каждой точки восстанавливаемого изображения. С настоящим изобретением нет необходимости выполнять большой объем вычислительных операций над каждой отдельной точкой объекта, вместо этого первое преобразование (из каждого слоя сечения в виртуальное окно наблюдателя в опорной плоскости - где будут находиться глаза наблюдателя) выполняется над целыми слоями сечения, а не над каждой отдельной точкой объекта в слое. Второе преобразование, возвращающее из виртуального окна наблюдателя в слой голограммы, является даже более эффективным, так как оно представляет единственную операцию, в то же время кодируя информацию для всех точек объекта.

В другом осуществлении настоящего изобретения каждый набор данных объекта из слоев сечения базируется на виртуальном размере области, который зависит от расстояния до опорного слоя. Область слоя сечения определяется исходя из воображаемой поверхности, идущей от краев соответствующего окна наблюдателя к краям ПМС видеоголограммы. Вследствие одинакового числа точек матрицы в каждом наборе данных, область, назначенная отдельным точкам матрицы, изменяется пропорционально расстоянию от опорного слоя. Назначение исходных данных объекта наборам данных слоев сечения, известное также как расслоение, ведет также к назначению значений отдельных точек значений изображения соответствующим точкам матрицы в двухмерной системе координат, которая описывает точки матрицы соответствующего слоя сечения. В соответствии с локальным положением точек объекта относительно слоев сечений, информация об исходном объекте назначается, таким образом, точкам матрицы, которые находятся ближе всего по пространственному расположению. Зависящие от расстояния области слоев сечения, таким образом, ведут к тому, что разрешение точки объекта, зависящее от области, для описания слоя сечения изображения тем больше, чем ближе слой сечения расположен к опорному слою. Это означает, что при восстановлении переднего плана изображения в деталях, тот же элемент изображения заднего плана должен восстанавливаться с меньшим разрешением. Тем не менее, более удаленные виртуальные слои сечения могут восстановить намного большую видимую область на заднем плане изображения. Такой тип восстановления изображения, с одной стороны, обеспечивает самое естественное представление элементов переднего и заднего планов изображения и, с другой стороны, помогает минимизировать требуемые вычислительные мощности.

В предпочтительном варианте осуществления настоящего изобретения значение расстояния каждого набора данных объекта виртуальных слоев сечения может быть выбрано или изменено до преобразования, так что полное восстановление или части его могут появиться впереди или позади слоя голограммы. Таким образом, как восстановление в натуральную величину перед глазами наблюдателя, так и намеренное увеличение или сокращение размера синтезированной видеоголограммы могут быть реализованы просто путем настройки программного обеспечения.

При кодировании согласно способу, предложенному в WO 2004/044659, восстановленное трехмерное изображение появляется в свободном пространстве перед глазами пользователя в форме волнового поля, управляемого матрицей модулятора света. Воображаемые слои сечения, используемые для вычислений, также определяют положение восстановленного изображения в пространстве перед окнами наблюдателя и расположены на ограниченном расстоянии от опорного слоя. В соответствии с условиями, имеющими место в ближней оптической области оптики, это вызывает свет от каждой точки света, начиная от голографически восстановленного изображения и заканчивая общим волновым полем, распространяться как сферическая волна для обеспечения вклада в целевой волновой фронт в окне наблюдателя в опорном слое. Преобразование каждого набора данных объекта в опорном слое может, таким образом, быть выражено с достаточной точностью преобразованием Фреснеля. Для этого значения амплитуды всех точек объекта всех наборов данных умножаются на фазовый множитель Фреснеля, который зависит от расстояния от соответствующего слоя сечения до опорного слоя.

Фазовая постоянная Фреснеля является экспонентой, которая зависит от квадрата разности координат между каждым первоначальным слоем сечения и опорным слоем и других множителей. Таким образом, требуется много процессорного времени и вычислительных мощностей при выполнении большого числа преобразований Фреснеля. В соответствии с предпочтительным вариантом осуществления настоящего изобретения этот недостаток компенсируется разделением сложных преобразований Фреснеля на отдельные этапы таким образом, что эти этапы могут быть выполнены с помощью быстрого преобразования Фурье (БПФ) вместе с дальнейшими этапами обработки в форме умножений на множители сферической волны. Этот метод имеет то преимущество, что выделенное электронное оборудование, такое как графический и/или голографический адаптер, может использоваться для вычисления видеоголограмм. Такое оборудование включает, по меньшей мере, один выделенный графический процессор с известными модулями для деления на слои и другими функциям видеообработки, такими как воспроизведение изображения, и, по меньшей мере, один специальный модуль процессора для выполнения преобразований Фреснеля с по помощью программ быстрого преобразования Фурье. Такие процессоры в форме процессоров цифрового сигнала (ПЦС) с требуемыми подпрограммами БПФ могут быть недорого реализованы с помощью известных способов. Новейший прогресс в области общих графических процессоров делает возможными операции, такие как преобразование Фурье данных слоев сечения в опорный слой, с помощью так называемых алгоритмов затенения.

Для упрощения вычисления волновых полей преобразование, которое описывает распространение света между первоначальным слоем сечения и опорным слоем, изменено таким образом, что оно включает быстрое преобразование Фурье (БПФ) и два умножения на фазовые множители, описывающие сферические волны. Первый фазовый множитель зависит от координат в исходном слое сечения и от расстояния между исходным слоем сечения и опорным слоем. Второй фазовый множитель зависит от координат в опорном слое сечения и от расстояния между исходным слоем сечения и опорным слоем. В зависимости от коллимации света в оптической системе один или оба из этих фазовых множителей могут быть установлены в постоянное значение.

Таким образом, процедура преобразования распределения слоя сечения в опорный слой может быть разбита на три этапа:

1. Амплитуда каждой точки объекта умножается на первый фазовый множитель.

2. Сформированные таким образом произведения используются для первого быстрого преобразования Фурье, чтобы преобразовать комплексную амплитуду света каждой точки объекта из исходного слоя сечения в опорный слой.

3. Созданное таким образом преобразование умножается на второй фазовый множитель.

Преобразование опорного набора данных в слой голограммы, чтобы сформировать набор данных голограммы для суммарной видеоголограммы изображения, может быть также выражено преобразованием, описывающим распространение световой волны, с помощью преобразования Фреснеля. Чтобы выполнить этот этап, преобразование производится в соответствии с этапами, описанными выше, но перед этим преобразованием опорные данные для всех слоев сечений в опорном слое налагаются друг на друга посредством комплексного сложения. Для этого преобразования Фреснеля один или оба фазовых множителя также могут быть установлены в постоянное значение в зависимости от коллимации света в оптической системе.

Особое преимущество настоящего изобретения состоит в том, что опорный набор данных для суммарного волнового поля формируется добавлением вычисленных наборов данных всех слоев сечения. После преобразования в слое голограммы это суммарное волновое поле служит как основа для видеоголограммы, так как оно содержит полную информацию о трехмерном изображении. Это позволяет производить одновременное восстановление двухмерных изображений всех слоев сечения и, таким образом, всего трехмерного изображения.

Другое преимущество появляется, когда кто-то хочет уменьшить общие ошибки в видеоголограмме, вызванные процессом кодирования или технологическими ограничениями. Для уменьшения ошибок восстановления видеоголограммы может использоваться итерационный процесс. В предыдущих решениях восстановленное трехмерное изображение должно было сравниваться с исходным трехмерным изображением объекта. Сложный итерационный процесс, включающий много преобразований между восстановленным трехмерным изображением объекта и слоем голограммы, имеет место до того, как достигается желаемое качество восстановления. Наш подход делает возможным намного более простой итерационный процесс. Так как опорный набор данных содержит полную информацию об объекте, итерационный процесс включает преобразования между слоем голограммы и опорным слоем, который является только двухмерным.

Высококачественное восстановление при современных технологиях воспроизведения изображения просто невозможно без таких процессов коррекции.

Видеоголограммы предпочтительно вычисляются с помощью устройств обработки цифрового сигнала со средствами расслоения, которые назначают информацию об объекте, включая дискретные значения объекта для пространственного распределения амплитуды света реальных или виртуальных трехмерных изображений, точкам матрицы параллельных виртуальных слоев сечения, таким образом, что для каждого слоя сечения определяется отдельный набор данных объекта с точками объекта в дискретных точках матрицы топографического слоя сечения изображения. Набор данных видеоголограммы вычисляется из этих наборов данных объекта. Согласно настоящему изобретению устройство обработки сигнала, кроме того, содержит:

Средства первого преобразования для вычисления из каждого набора данных объекта отдельного двухмерного распределения волнового поля для опорного слоя, расположенного на ограниченном расстоянии, и средства буферной памяти для послойной буферизации преобразованных наборов данных объекта,

Средства суммирования для сложения преобразованных наборов данных объекта с целью формирования выражения суммарного волнового поля в опорном наборе данных.

Средства второго преобразования для преобразования опорного (суммарного) набора данных в слое голограммы, расположенном на ограниченном расстоянии и параллельном опорному слою, с целью формирования набора данных голограммы для суммарной видеоголограммы изображения.

Устройство обработки цифрового сигнала содержит, по меньшей мере, одно независимо действующее средство преобразования для выполнения преобразований Фреснеля, указанное средство трансформации, содержащее:

(a) Первое средство умножения для умножения значения амплитуды точек матрицы исходного набора данных на первый фазовый множитель, описывающий сферические волны, экспонента указанного фактора, зависящая от квадрата координат в соответствующем исходном слое (L_m или RL) и расстояния (D_m) до целевого слоя (RL или HL),

(b) Средство быстрого преобразования Фурье для преобразования произведений первого средства умножения из исходных слоев сечения в целевой слой, и

(c) Второе средство умножения для умножения этого преобразования на другой фазовый множитель, описывающий сферические волны, экспонента указанного множителя, зависящая от квадрата координат в целевом слое и расстояния между целевым слоем и исходным слоем.

Как упомянуто выше, в зависимости от коллимации света в оптической системе один или оба из этих фазовых множителей могут быть установлены в постоянное значение.

Устройство обработки цифрового сигнала может быть мультипроцессором, который имеет несколько независимо работающих подпроцессоров, которые одновременно выполняют программы преобразования (TR1, TR2). Чтобы иметь возможность одновременно выполнять, по меньшей мере, несколько преобразований, требуется менеджер ресурсов, который динамически назначает преобразования, требуемые для вычисления, подпрограммам преобразований, в зависимости от содержания трехмерного изображения. Наборы данных, преобразованные в опорном слое, запоминаются в средстве буферной памяти.

Таким образом, в зависимости от содержания изображения наборы данных могут быть активизированы в различные моменты времени и даже использованы несколько раз, если никаких изменений не происходит во время движения изображения в определенных слоях сечения.

Для вычисления быстрого преобразования Фурье наборы данных объекта в различных слоях сечения назначается N значений дискретных точек объекта, указанное число N является n-й степенью числа 2.

Краткое описание чертежей

Функциональный принцип настоящего изобретения подробно описывается ниже с помощью предпочтительного варианта осуществления и прилагаемых чертежей.

Фиг.1 - структура (не в масштабе) для восстановления трехмерного изображения и опорные слои, требуемые для вычисления видеоголограмм.

Фиг 2 - схематическая диаграмма устройства обработки сигнала для вычисления видеоголограмм согласно настоящему изобретению.

Фиг.3 - подобна фиг.1 и показывает основные этапы вычисления согласно настоящему изобретению.

Фиг.4 - функциональный принцип средств преобразования.

Фиг.5 - подэтапы, вычисляемые для коррекции значений точек матрицы цифровой голограммы.

Подробное описание изобретения

Вычисление видеоголограмм с процессором голограмм основано на исходной информации о реальном или виртуальном трехмерном изображении, включающей значения о пространственном распределении амплитуды света в формате RGB или подобном ему. Эти значения доступны в файлах известного формата и могут быть вызваны из памяти данных процессором голограмм. Такая информация об объекте содержит, например, в случае файла точек объекта формата BMP для каждой дискретной точки объекта трехмерного изображения набор комплексных цветовых данных объекта R_o, G_o, В_о для соответственных трехмерных координат. Память MEM данных также обеспечивает информацию о глубине z трехмерного изображения. Не имеет значения, берется информация о глубине z из первичного файла видеоизображения или она вычисляется процессором, по меньшей мере, из одного из вторичных файлов, содержащих дополнительную информацию.

Для облегчения понимания сложных процессов одна из трех пространственных координат (здесь: координата y) будет опущена в следующем описании. Назначение точек объекта изображения точкам матрицы Р₁₁…P_MN в М слоях сечения L₁…L_M производит наборы данных OS₁…OS_M объекта, содержащие по N значений точек матрицы каждый. Все наборы данных содержат одно и то же число N значений точек матрицы. Это число N определяется числом N1 пикселей матрицы модулятора света, которая может представлять N1 комплексных значений. Если алгоритм быстрого преобразования Фурье используется для вычисления преобразования Фурье, то N должно быть уменьшено до степени 2, т.е. N=2ⁿ, где n - целое число и N≤N1. Например, для демонстрации с числом пикселей N1=1280, каждый набор данных содержит N=1024 значений точек матрицы. Однако могут использоваться другие алгоритмы преобразования Фурье, которые не требуют 2ⁿ входных значений, и, таким образом, для показа может использоваться N1 значений.

На фиг.1 показан предпочтительный вариант осуществления настоящего изобретения и проиллюстрировано, как изображение разбивается на число М виртуальных слоев L₁…L_M сечения для вычисления механизмом расслоения, показанным на фиг.2. Механизм расслоения анализирует известным способом информацию о глубине z исходной информации об объекте, хранимую в памяти MEM данных, назначает каждую точку объекта точке матрицы P_mn, и вводит соответствующие значения точки матрицы в набор данных OS_m объекта, соответствующий слою L_m сечения. Для индексов 1≤m≤M и 1≤n≤N, где N - число точек матрицы Р в каждом слое и число значений точек матрицы в наборе данных. С одной стороны, число слоев L₁…L_M сечения определяется произвольно для определения дискретных наборов данных объекта изображения, независимо от того существует ли изображение в действительности или нет. С другой стороны, те же самые слои L₁…L_M сечения имеют целью определить пространственную позицию восстановленного изображения 3D-S относительно видеоголограммы. Фиг.1 и 2, следовательно, показывают желательное восстановление 3D-S изображения, как определяется на месте относительно видеоголограммы. Необходимо сделать следующие определения, чтобы быть в состоянии выполнить вычисления: каждый слой L_m расположен на расстоянии D_m от опорного слоя RL, который имеет окно OW наблюдателя, около которого находятся глаза наблюдателя E_L/E_R. Видеоголограмма располагается в слое HL голограммы, который расположен на расстоянии D_H от опорного слоя.

Как показано на фиг.2, вычисления матрицы голограммы продолжается выполнением следующих этапов:

(а) Преобразование наборов данных OS₁…OS_M объекта слоев L1…LM сечения в опорный слой RL, с тем чтобы определить волновое поле, которое генерирует комплексные амплитуды А₁₁…A_MN точек объекта каждого слоя L_m сечения как вклад в суммарное волновое поле в опорном слое RL, если бы изображение находилось там.

(b) Сложение преобразованных наборов данных DS₁…DS_M объекта с компонентами для формирования опорного набора данных RS, который определяет суммарное волновое поле, которое должно появиться в окне OW наблюдателя, когда изображение восстанавливается.

(c) Обратное преобразование опорного набора данных RS из опорного слоя RL для формирования набора данных HS голограммы в слое HL голограммы, расположенном на расстоянии D_H, чтобы получить значения H₁…H_n…H_N точки матрицы для кодирования видеоголограммы.

N значений пикселей для видеоголограммы извлекаются из, как правило, комплексных значений набора данных голограммы. В видеоголограмме эти значения представляют значения амплитуды и фазы волны для модуляции света при восстановлении изображения.

Выше было описано, как 3D-S восстанавливается для наблюдателя в окне OW наблюдателя. Чтобы быть в состоянии воспринять трехмерные изображения действительно трехмерным образом, как будто объект наблюдается в действительности, необходимы различные голограммы для каждого глаза в соответствующих окнах наблюдателя.

Матрица голограммы для второго окна наблюдателя вычисляется таким же самым образом, но с должным образом измененными значениями точек матрицы. Изменения являются результатом различного положения глаз наблюдателя относительно изображения 3D-S. Две матрицы голограммы могут быть вычислены в одно и то же время и абсолютно независимо друг от друга в соответствующим образом оборудованных многоканальных процессорах обработки цифрового сигнала с одновременно работающими программами быстрого преобразования Фурье (БПФ). Чтобы уменьшить требуемые вычислительные мощности, результаты вычислений наборов данных объекта, которые незначительно отличаются друг от друга или совпадают по содержанию, могут использоваться совместно. Это может применяться к слоям сечения, которые показывают задний план картины. Оба глаза затем видят одно и то же изображение, но с небольшим смещением в направлениях.

В соответствии с отличительной особенностью настоящего изобретения устройство обработки цифрового сигнала содержит механизм управления набором данных объекта, который сравнивает содержимое соответствующих наборов данных объекта, с тем назначить только один из двух идентичных наборов данных объекта одному из двух каналов процессора обработки сигнала и, таким образом, избегает излишней обработки.

В отличие от известных решений, восстановления наблюдаются через виртуальные окна наблюдателя в конусообразных пространствах, которые определены воображаемыми огранивающими поверхностями А1 и А2, тянущимися от окон наблюдателя OW к матрице модулятора света LM. Восстановления 3D-S трехмерного изображения могут появляться впереди или позади слоя HL видеоголограммы или находиться в нем.

Размер окна наблюдателя является достаточным, если он закрывает поперечный размер глаза, в специальных случаях он даже может быть уменьшен до размера зрачка. Полагая, что окно наблюдателя размером 1×1 см², расположено на расстоянии 1 м от слоя голограммы, число пикселей, требуемых для цифровой видеоголограммы сокращается в 2500-10000 раз по сравнению с матрицей модулятора света, использующей классические методы кодирования.

На фиг.3 показано положение некоторых слоев для выполнения преобразований, требуемых для вычисления. Показаны только первый виртуальный слой L₁ сечения и еще один слой L_m сечения. Тем не менее учет всех волновых фронтов всегда необходим для вычисления волнового поля слоев L₁…L_M сечения в опорный слой RL. С целью уменьшения вычислительных мощностей при обработке движущихся трехмерных изображений, отдельные преобразованные наборы данных DS₁…DS_M могут сохраняться в буферной памяти и повторно использоваться для нескольких последовательных видеоголограмм, пока не произойдет изменения содержания.

На фиг.4 подробно показано как преобразуются значения амплитуды A_m1…A_mn…A_mN набора данных OS_m объекта слоя L_m сечения, находящегося на расстоянии D_m от опорного слоя RL. Для облегчения понимания этого сложного процесса показывается только одномерное преобразование. Уравнение (1) описывает сущность преобразования Фреснеля.

где элемент

показывает суть преобразования Фурье из слоя с координатами x_m в слой с координатами х₀, т.е. из слоя сечения, расположенного на расстоянии D_m, в опорный слой.

Как упомянуто выше, в зависимости от коллимации света в оптической системе один или оба из этих фазовых множителей могут быть равны 1.

Уравнение (2)

определяет амплитуду A_mn точки матрицы, умноженную на соответствующий фазовый множитель F1_mn в слое L_m.

Наконец, уравнение (3) показывает результат преобразования Фурье (2) и умножения на фазовый множитель, который зависит только от координат x₀ окна OW наблюдателя в опорном слое и расстояния от соответствующего слоя сечения до опорного слоя. Это значение определяет комплексную амплитуду в точке матрицы окна наблюдателя в опорном слое.

Описанное решение позволяет ускорить процесс вычисления, так что выделенная цепь процессора обработки цифрового сигнала может выполнять вычисление последовательности видеоголограмм движущегося изображения для обоих глаз в виде восстановления в реальном времени и без мерцания.

Чтобы компенсировать ошибки в восстановленном суммарном поле в окне OW наблюдателя, в предпочтительном варианте осуществления настоящего изобретения может использоваться итерационный процесс, показанный на фиг.5, для вычисления разницы между распределениями в окне OW наблюдателя и в слое HL голограммы.

Изобретение относится к голографии. Данные, определяющие объект, подлежащий восстановлению, вначале организуются в виде некоторого числа виртуальных слоев, при этом каждый слой определяет наборы данных объекта таким образом, что набор данных видеоголограммы может быть вычислен из этих двухмерных наборов данных объекта. На первом шаге следует преобразовать каждый двухмерный набор данных объекта в распределение двухмерного волнового поля. Это распределение волнового поля вычисляется для виртуального окна наблюдателя в опорном слое на ограниченном расстоянии от слоя видеоголограммы. Затем вычисленные распределения двухмерного волнового поля в виртуальном окне наблюдателя от всех двухмерных наборов данных объекта складываются, чтобы определить суммарный набор данных окна наблюдателя. Затем этот суммарный набор данных окна наблюдателя преобразуется из опорного слоя в слой видеоголограммы, чтобы сформировать набор данных видеоголограммы для цифровой видеоголограммы. 2 н. и 27 з.п. ф-лы, 5 ил.

1. Способ для генерирования цифровой видеоголограммы, где данные объекта, определяющие объект в трехмерном изображении, организованы в ряд виртуальных слоев (L₁…L_M) сечения, причем каждый слой определяет двухмерный набор данных (OS_m) объекта, так что набор данных (HS) видеоголограммы может быть определен из некоторых или всех этих двухмерных наборов данных (OS₁…OS_M) объекта; содержащий следующие этапы:
(a) первое преобразование (TR1), на котором каждый двухмерный набор данных (OS_n) объекта виртуальных слоев сечения преобразуется в распределение двухмерного волнового поля и распределение волнового поля определяется для виртуального окна (OW) наблюдателя в опорном слое (RL) на определенном расстоянии (D_M) от слоя (HL) видеоголограммы,
(b) суммирование определенных распределений (DS₁…DS_M) двухмерного волнового поля для виртуального окна (OW) наблюдателя для всех двухмерных наборов данных объекта слоев (L₁…L_M) сечения, чтобы определить суммарный набор данных (RS) окна наблюдателя.
(c) второе преобразование (TR2), на котором суммарный набор данных (RS) окна наблюдателя преобразуется из опорного слоя в слой (HL) видеоголограммы, чтобы сформировать набор данных (HS) видеоголограммы для цифровой видеоголограммы,
причем генерированный набор данных (HS) для видеоголограммы используется для кодирования пространственного модулятора света (ПМС), который расположен в слое видеоголограммы (HL).

2. Способ по п.1, в котором данные из набора данных (HS) видеоголограммы назначаются равноудаленным точкам видеоголограммы и эти точки организуются в виде матрицы.

3. Способ по п.1, в котором слои (L₁…L_M) сечения, слой (HL) голограммы, опорный слой (RL) и виртуальное окно (OW) наблюдателя являются плоскими.

4. Способ по п.1, в котором слой (HL) видеоголограммы, слои сечения и виртуальное окно наблюдателя параллельны друг другу.

5. Способ по п.1, в котором, по меньшей мере, один глаз наблюдателя расположен около виртуального окна наблюдателя, так что восстановленное изображение может быть видно через виртуальное окно (OW) наблюдателя.

6. Способ по п.1, в котором имеются два или более виртуальных окна (OW) наблюдателя.

7. Способ по п.1, в котором данные (R₁, G₁, B₁, z₁…R_P, G_P, B_P, z_P) объекта назначаются наборам данных (OS₁…OS_M) объекта, все из которых имеют то же число (N) и ту же матричную структуру значений, что и набор данных (RS) окна наблюдателя и набор данных (HS) голограммы, где число и структура значений для всех наборов данных (OS₁…OS_M, RS, HS) извлекаются из числа пикселей, используемых для кодирования видеоголограммы.

8. Способ по п.2, в котором двухмерные наборы данных (OS₁…OS_M) объекта и суммарный набор данных (RS) окна наблюдения имеют ту же матричную структуру, что и набор данных (HS) видеоголограммы.

9. Способ по п.1, в котором виртуальное окно (OW) наблюдателя в опорном слое установлено по размеру меньшим или равным периодическому интервалу в опорном слое и расположено целиком в пределах одного периодического интервала.

10. Способ по п.1, в котором опорный слой совпадает с Фурье-плоскостью голограммы.

11. Способ по п.1, в котором каждый набор данных (OS_m) объекта базируется на области соответствующего слоя (L_m) сечения, которая зависит от расстояния (D_m) до опорного слоя (RL).

12. Способ по п.1, в котором область каждого слоя сечения определяется пересечением с воображаемыми поверхностями (A1, A2), которые соединяются с краями виртуального окна (OW) наблюдателя и краями видеоголограммы.

13. Способ по п.1, в котором слои (L_m) сечения имеют расстояния (D₁…D_m) до виртуального опорного слоя (RL) и расположены таким образом, что полное восстановленное изображение (3D-S) или части его появляются перед и/или позади слоя (HL) голограммы.

14. Способ по п.1, в котором первое преобразование является преобразованием Фреснеля, которое содержит следующие подэтапы:
(a) умножение значения амплитуды A_mn каждой точки объекта из исходного слоя (L_m) сечения на первый фазовый множитель (F1_mn), описывающий сферические волны, причем экспонента указанного множителя зависит от квадрата координат (x_m, y_m) в исходном слое (L_m) сечения и расстояния (D_m) между исходным слоем (L_m) сечения и опорным слоем (RL),
(b) преобразование вычисленных таким образом произведений (A_m1…A_mN) для каждой точки объекта исходного слоя (L_m) сечения с помощью первого быстрого преобразования Фурье (БПФ) из исходного слоя (L_m) сечения в опорный слой (RL),
(c) умножение вычисленных таким образом преобразований на второй фазовый множитель (F2_mn), описывающий сферические волны, причем экспонента указанного множителя зависит от квадрата координат (x, y) в опорном слое (RL) и расстояния (D_m) до исходного слоя (L_m) сечения.

15. Способ по п.1, в котором второе преобразование также является преобразованием Фреснеля, которое содержит следующие подэтапы:
(a) умножение каждого комплексного значения амплитуды опорного набора данных (RS) на третий фазовый множитель (F3_n), описывающий сферические волны, причем экспонента указанного множителя зависит от квадрата координат (х₀, y₀) в опорном слое (RL) и расстояния (D_m) между опорным слоем (RL) и слоем (HL) голограммы,
(b) преобразование полученных таким образом произведений комплексных значений амплитуды с помощью второго быстрого преобразования Фурье (БПФ) из опорного слоя (RL) в слой (HL) голограммы,
(c) умножение полученных таким образом преобразований (Н'₁…H'_N) на четвертый фазовый множитель (F4_n), описывающий сферические волны, причем экспонента указанного множителя зависит от квадрата координат (x, y) в слое (HL) голограммы и расстояния (D_H) между слоем (HL) голограммы и опорным слоем (RL), чтобы получить желаемые значения (H₁…H_N) голограммы для слоя (HS) голограммы.

16. Способ по п.14 или 15, в котором один или оба фазовых множителя (F1_mn, F2_mn), описывающие сферические волны, могут быть установлены в постоянное значение.

17. Способ по п.1, где первое и/или второе преобразование являются преобразованием Фурье.

18. Способ по п.1, который включает следующие подэтапы для коррекции значений точек цифровой видеоголограммы путем итерации:
(а) определение набора данных (RS) окна наблюдателя исходного трехмерного изображения как целевой функции для первого преобразования,
(b) обратное преобразование исходных комплексных значений амплитуд целевой функции в слой (HL) голограммы, чтобы получить значения (H₁…H_N) точек матрицы в наборе данных (HS) голограммы,
(c) извлечение параметров (Paramn) набора данных (HS) голограммы для матрицы (LM) модулятора света,
(d) преобразование извлеченных параметров (Paramn) в опорный слой (RL) для получения распределения комплексных усовершенствованных значений амплитуды в виртуальном окне (OW) наблюдателя,
(e) формирование разности (А) распределения комплексных усовершенствованных значений амплитуды и исходных значений целевой функции,
(f) обратное преобразование этой разности (Δ) к распределению разности значений (ΔH₁…ΔH_N) точек в слое (HL) голограммы,
(g) вычитание разности (ΔН) из набора данных (HS) видеоголограммы и усовершенствование набора данных голограммы,
(h) повторение шагов от (с) до (g),
(i) завершение итераций, когда достигнута достаточная точность приближения.

19. Способ по любому из пп.1-8, 11-15, 17 и 18, в котором информация о глубине одинакова для всех наборов данных объекта.

20. Способ по п.1, в котором устройство, которое формирует голограмму, может переключаться из трехмерного режима в двухмерный режим в зависимости от входных данных и/или выбора пользователя.

21. Устройство обработки цифрового сигнала для генерирования цифровой видеоголограммы со средством цифрового расслоения, которое данные объекта, определяющие объект в трехмерном изображении, назначают некоторому числу виртуальных слоев (L₁…L_M) сечения, причем каждый слой сечения определяет отдельный набор данных (OS_n) объекта, так что набор данных (HS) видеоголограммы для видеоголограммы может быть определен из некоторых или всех этих наборов данных объекта, содержащее:
(a) средство первого преобразования (TRM1), предназначенное для генерирования из каждого набора данных (OS_m) объекта отдельного распределения двухмерного волнового поля для виртуального окна наблюдателя в опорном слое (RL), расположенном на расстоянии (D_M), средства буферной памяти для буферизации преобразованных наборов данных объекта,
(b) средство (AD) суммирования, предназначенное для сложения преобразованных данных объекта всех слоев сечения с целью сформировать выражение волнового поля для суммарного набора данных (RS) окна наблюдателя и
(c) средство (TRM2) второго преобразования, предназначенное для преобразования набора данных (RS) окна наблюдателя в слой (HL) голограммы, расположенный на ограниченном расстоянии и параллельный опорному слою (RL), для формирования набора данных (HS) голограммы для суммарной видеоголограммы.

22. Устройство по п.21, которое содержит, по меньшей мере, одно независимо работающее средство преобразования (TR1, TR2) для выполнения преобразований, которое включает:
(a) первое средство (M1) умножения для умножения значений амплитуды точек матрицы исходного набора данных (OS_m) объекта на первый фазовый множитель (F1_mn/F3_n), описывающий сферические волны, причем экспонента указанного множителя зависит от квадрата координат в соответствующем исходном слое (L_m или RL) и расстояния (D_m) до целевого слоя (RL или HL),
(b) средство (БПФ) быстрого преобразования Фурье для преобразования произведений первого средства (M1) умножения из исходных слоев (L_m/RL) в целевой слой (RL/HL) и
(с) второе средство (М2) умножения для умножения этого преобразования на другой фазовый множитель (F2_nm/F4_n), описывающий сферические волны, причем экспонента указанного множителя зависит от квадрата координат в целевом слое и расстояния между целевым слоем и исходным слоем.

23. Устройство по п.22, в котором для вычисления быстрых преобразований Фурье все наборы данных имеют число (N) дискретных значений точек матрицы, причем указанное число (N) является n-й степенью числа 2.

24. Устройство по п.21, которое включает многоканальный процессор (DSP) обработки цифрового сигнала для независимого и одновременного выполнения часто встречающихся вычислительных подпрограмм.

25. Устройство по п.21, которое включает множество независимо работающих подпроцессоров, которые исполняют одновременно выполняющиеся подпрограммы (TR1, TR2) преобразования, а также механизм управления ресурсами, который динамически назначает преобразования, необходимые для исполнения, доступным подпрограммам преобразования в зависимости от содержания трехмерного объекта, для того чтобы одновременно выполнять, по меньшей мере, определенное число преобразований.

26. Устройство по п.21, которое является многоканальным процессором для одновременных вычислений наборов данных (HS_L, HS_R) голограммы для обоих глаз.

27. Устройство по п.21, которое включает средства управления набором данных объекта для сравнения содержания соответствующих наборов данных (OS_m) в вычислениях голограммы с различными исходными данными объекта, чтобы вычислять похожие преобразования только один раз в одном из двух каналов процессора обработки сигнала и совместно использовать преобразования в другом канале.

28. Способ по п.21, в котором один или все фазовые множители (F1_nm/F3_n, F2_nm/F4_n), описывающие сферические волны, могут быть установлены в постоянное значение.

29. Устройство по п.21, способное переключаться из трехмерного режима в двухмерный режим в зависимости от входных данных и/или выбора пользователя.