СПОСОБ И КАМЕРА ДЛЯ ПОЛУЧЕНИЯ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ ИЗ ТРЕХМЕРНЫХ ОБЪЕКТОВ СЪЕМКИ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ Российский патент 2013 года по МПК G03B41/00 

ОБЪЕКТ ИЗОБРЕТЕНИЯ

Изобретение относится к способу расчета стека фокуса, связанного с объемом объекта, к способу повышения разрешения изображений полученного стека фокуса, к способу измерения расстояний в трехмерных объектах съемки в режиме реального времени и к способу томографического измерения комплексной амплитуды электромагнитного поля, связанного с волновым фронтом, в режиме реального времени.

Настоящее изобретение позволяет узнавать расстояние и комплексную амплитуду электромагнитного поля в местоположениях поверхностей объектов съемки.

Кроме того, изобретение относится к камере для получения в режиме реального времени визуальной информации от трехмерных объектов съемки в широком диапазоне объемов, характеризующейся использованием объектива и матрицы микролинз, расположенной в пространстве изображения объектива, а также датчика, помещенного в фокус микролинз (который получает изображение, сформированное микролинзами), и средства обработки для параллельных вычислений, выполненного с возможностью расчета стека фокуса, связанного с объемом объекта, который измеряется камерой, и для вычисления с учетом последнего комплексной амплитуды электромагнитного поля (модуля и фазы) и трехмерного местоположения излучающих поверхностей в любой точке объектного пространства, воспринимаемого датчиком.

Настоящее изобретение может применяться в любой области или сфере применения, в которых требуется знание волнового фронта: наземные астрономические наблюдения, офтальмология, голография и т.д., равно как и в тех областях, где требуется метрология: реальные объекты съемки, объемное телевидение, полировка полупроводниковых светоприемников (CCD), автомобильное оборудование и т.д.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Оптика. Обработка изображений.

УРОВЕНЬ ТЕХНИКИ

Настоящее изобретение связано с необходимостью одновременно выполнять трехмерное измерение комплексной амплитуды волнового фронта, связанного со всевозможными оптическими задачами, в которых является существенным качество изображения (например, для диагностики), и получать достаточно надежную и точную карту дальностей в широком диапазоне размеров (от нескольких микрон до километров), а также генерировать в режиме реального времени трехмерную информацию для трехмерного телевидения, трехмерных фильмов, для медицины и т.д.

Адаптивная (самонастраивающаяся) оптика для современных телескопов большого диаметра (GRANTECAN, Keck и др.) и будущих гигантских телескопов (диаметром 50 или 100 метров) фокусируется, измеряя трехмерное распределение атмосферной фазы с использованием вида томографии, называемого мультисопряженной оптикой. Отсутствие достаточного числа естественных небесных точечных источников, такого, чтобы один источник всегда находился в поле зрения при наблюдении объекта в телескоп, вынуждает использовать искусственные точечные источники - натриевые опорные звезды (на высоте 90 км).

В целях коррекции, предотвращения фокального анизопланатизма, воздействия всей атмосферы на световые лучи, приходящие от небесных объектов, необходимо использовать несколько этих искусственных звезд (по меньшей мере пять). Для генерирования каждой из них необходим мощный импульсный лазер с высокой разрешающей способностью, который изготавливается по весьма дорогостоящей технологии. Помимо недостатка высокой стоимости, мультисопряженная оптика способна измерять атмосферную фазу, связанную максимум с тремя горизонтальными возмущенными (турбулентными) слоями (при трех совместно измеряющих датчиках фазы), т.е. она сканирует очень малую долю трехмерного цилиндра, воздействующего на изображение. Кроме того, оценка фазы получается из столь сложных расчетов, что они серьезно затрудняют адаптивную коррекцию светового луча в пределах времени оптической стабильности атмосферы (10 мс) в видимом диапазоне.

Однако область применения изобретения не сосредоточена исключительно в области астрофизики. В медицинской оптике, или офтальмологии, основной интерес специалистов медицины к томографии человеческого глаза состоит в получении четкого изображения глазного дна (сетчатки) пациента, чтобы облегчить и ускорить диагностику. Внутриглазная жидкость, стекловидное тело и хрусталик глаза ведут себя подобно среде, где происходит аберрация изображения, которое может быть получено от глазного дна.

Несмотря на то, что в этом случае нет необходимости проводить измерения так часто, как в земной атмосфере (каждые 10 мс), поскольку это устойчивая деформация, требуется достаточное трехмерное разрешение, чтобы не только получить хорошее изображение глазного дна, но и зарегистрировать пространственное местонахождение возможных повреждений глаза.

Наконец, и в другой области применения, такой как телевизионные или киноизображения, имеются задачи, связанные с трехмерным телевидением, в котором одна из существенных проблем - это формирование контента в режиме реального времени, технология которого столь сложна и трудоемка, что требует человеческого вмешательства в ход процесса формирования трехмерного 3D-контента, который можно показывать на существующих 3D-дисплеях. В этом смысле оптимальная реализация предлагаемой здесь технологии на аппаратном обеспечении для параллельных вычислений (блок обработки изображений, GPU и программируемая вентильная матрица FPGA) позволяет формировать 3D-контент в режиме реального времени.

В данных направлениях упомянутой области техники в настоящее время известны подходы, согласно которым помещают микролинзы в плоскости изображения объектива, что стимулирует развитие устройств и способов измерения параметров изображений, несмотря на то, что в них не используется названная совокупность для осуществления томографических измерений оптической аберрации или для получения расстояний в объекте съемки.

Например, Adelson и Wang (Single lens stereo with a plenoptic camera // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1992. Vol. 14, No. 2. P. 99-106) используют устройство для получения расстояний способом, совершенно отличным от предлагаемого в настоящем изобретении.

Ren и др. (Light field photography with a hand-held plenoptic camera // Stanford Tech. Report CTSR 2005-02) применяют метод сечений Фурье, связанный с микролинзами только в плоскости изображения, для получения резких фотоснимков действительных объектов в пределах объема в несколько кубических метров, естественно, с более высоким качеством, чем дает методика с обычной глубиной резкости. В этом случае предложенная методика позволяет рассчитывать стек фокуса, если она применяется для расстояний, покрывающих требуемый объем, в том числе требуемый для вычислений, многократно, а это может сделать невозможной обработку в реальном времени.

В отношении процессов извлечения информации известно, что получение фотоизображения из функции светового поля, или четырехмерной пленоптической функции, f(u, v, x, y) возможно путем интегрирования всех лучей, достигающих каждой точки (x, y) датчика, приходящих из каждой точки (u, v) плоскости линзы. Посредством названного интегрирования ослабляется эффект пленоптического поглощения (захвата). Другими словами, если лучи, поглощенные микролинзами, перенаправляются в различные точки пространства, то, чтобы восстановить удовлетворительное изображение, необходимо сгруппировать их заново, т.е. снова проинтегрировать в общем в точке (x, y), которая получается из различных угловых величин (u, v).

Изображение, получаемое действием оператора , или интеграла формирования фотоснимка, восстанавливает фотоизображение, которое могло бы быть получено с помощью традиционного датчика, сфокусированного на плоскости на расстоянии F, сопряженного относительно объектива с совокупностью датчиков-микролинз. Если желательно восстановить изображение на плоскости на расстоянии F'=αx, ближе или дальше F, автор Ren Ng показал из подобия треугольников, что соответствующий оператор можно оценить следующим образом:

.

Оценка этого оператора для каждого возможного расстояния αx требует O(N⁴) операций, и, следовательно, для N плоскостей потребуется O(N⁵) операций, где N-разрешение, с которым строится каждая переменная пленоптической функции.

Ren Ng показал также, что если рассчитывается четырехмерное преобразование Фурье светового поля, и расчет включает O(N⁴log₂N) операций сложения и умножения комплексных чисел, то различные перефокусируемые плоскости могут быть получены преобразованием усеченного двумерного вращения и двумерного обратного преобразования Фурье четырехмерной функции преобразования светового поля. Сложность вычислений каждого двумерного преобразования O(N²)+O(N²log₂N) следует прибавить в начальную стоимость преобразования Фурье измеряемой четырехмерной функции.

Следовательно, необходим способ, который позволяет снизить стоимость вычислений и, соответственно, время расчета стека брекетинга фокуса.

Способ, наиболее тесно связанный со способом расчета стека фокуса согласно настоящему изобретению, - это быстрое дискретное (или, согласно автору, приближенное) преобразование Радона, независимо предложенное Götz и Druckmüller (A fast digital Radon transform - an efficient means for evaluating the Hough transform // Pattern Recognition. 1996. Vol. 29, No. 4. P. 711-718) и Brady (A fast discrete approximation algorithm for the Radon transform // SIAM J. Comput. 1998. Vol. 27, No. 1. P. 107-119). Согласно этому способу, суммирование величин вдоль ряда дискретных кривых, каждая из которых характеризуется углом наклона и сдвигом относительно исходной кривой, привязанными к двумерной сетке данных, оценивается совместно, посредством O(N² log₂N) сумм, в которых прямая оценка для каждой кривой потребовала бы O(N) операций, и, следовательно, оценка для N наклонов и N сдвигов потребовала бы O(N³) сумм.

Наконец, безотносительно к процессам получения информации об объекте съемки и относительно системы согласно настоящему изобретению, Clare и Lane (Wave-front sensing from subdivision of the focal plane with a lenslet array // J. Opt. Soc. Am. A. 2005. Vol. 22, No. 1. P. 117-125) предложили систему, в которой массив микролинз помещается точно в фокусе объектива, а не в любом месте плоскости изображения, и благодаря этому фаза волнового фронта определяется только в зрачке объектива.

Следовательно, необходим способ, который позволяет определять фазу волнового фронта топографически, т.е. на любом расстоянии в трехмерном объеме объектного пространства, а не только в зрачке объектива.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Настоящее изобретение устраняет описанный выше недостаток, обеспечивая в первом аспекте способ расчета стека фокуса, связанного с объектом съемки, согласно пункту 1 формулы изобретения. Данный способ позволяет значительно снизить стоимость вычислений и время расчета, что влечет за собой существенное усовершенствование известных способов в этой области техники.

Дополнительной целью настоящего изобретения является предложение способа измерения расстояний в объекте съемки и способ измерения комплексной амплитуды электромагнитного поля, численно оптимизированных и подходящих для параллельных вычислений.

Настоящее изобретение позволяет:

- ограничиваться одиночным измерением и единичным датчиком в течение каждого периода стабильности атмосферы;

- восстанавливать модуль и фазу, связанные с каждым возмущенным горизонтальным слоем, т.е. томографировать всю атмосферу при помощи способа расчета стека брекетинга фокуса. Способ быстрый, если принять во внимание, сколько и каких в нем используется операций (сумм), но может быть еще ускорен при грамотном применении в блоках обработки изображений (GPU) или вычислительных блоках изменяемого назначения, таких как программируемая вентильная матрица (FPGA);

- избежать необходимости использования искусственных лазерных звезд, поскольку изобретение способно осуществлять восстановление изображения объекта в реальном времени после поступления изображения в земную атмосферу, так как для этого нового способа не требуется калибровки по сигналу из опорной точки для последующей обратной свертки.

Способ расчета стека фокуса по настоящему изобретению, называемый преобразованием суммирования условных плоскостей в гиперкубе (SCPH), позволяет получать ряд плоскостей трехмерного объекта съемки, сфокусированных в различных местоположениях вдоль оптической оси, и снизить вычислительную сложность процесса.

Способ расчета стека фокуса по настоящему изобретению основан на принципах многошкальных способов вычисления быстрого дискретного преобразования Радона и благодаря повторному использованию промежуточных результатов минимизирует число операций, которые следует выполнить.

В целях снижения вычислительной стоимости расчета стека фокуса в способе по настоящему изобретению используется преобразование суммы по длине условных плоскостей в дискретных гиперкубах. Следует отметить, что интеграл формирования фотоснимка геометрически эквивалентен выполнению интегрирования по длине плоскостей функции, область определения которой есть четырехмерный гиперкуб. Тогда нетрудно понять, что интеграл формирования фотоснимка - это частный случай оператора с дополнительным ограничением на повороты r₁ и r₂, при дополнительном ограничении на наклоны r₁ и r₂, которые определяют плоскости интегрирования и в данном случае равны, что позволяет снизить число выполняемых операций.

Предлагаемый способ расчета стека фокуса состоит в совместном вычислении суммы значений четырехмерной функции f(u, v, x, y) на плоскостях, таких, что координаты принадлежащих им точек одновременно удовлетворяют выражениям x=ur+j и y=vr+k, и - при определенных условиях - в повторном использовании частных сумм для точек, принадлежащих более чем одной дискретной плоскости, где u и v - горизонтальная и вертикальная размерности стека фокуса на плоскости датчика, а j, k и r - размерности по горизонтали, вертикали и глубине стека фокуса, который необходимо получить. Другими словами, алгоритм приближенного вычисления дискретного быстрого преобразования Радона, которое всегда существовало для случая интегралов вдоль кривой на плоскости, распространяется на интегралы по четырехмерным плоскостям в четырехмерном гиперкубе при дополнительном условии, что горизонтальные и вертикальные наклоны одинаковы.

Частичное преобразование данных до шага m определяется в виде

,

где полагается, что функция имеет размерность NxNxNxN; n=log₂N; функция

описывает дискретный способ, в котором последовательность точек , , включает точки и , образующие дискретную кривую с наклоном s/(N-1), а функция восстанавливает величину , соответствующую двоичной n-кратной .

Если на шаге 0 преобразуемые данные приравнены к введенным данным: , то

является аппроксимацией интеграла формирования фотоснимка для объема с N плоскостями по глубине.

Другие N плоскостей по глубине могут быть вычислены аналогично для отрицательных наклонов. Поскольку оба полуобъема отсчитываются от глубины 0, будет получен полный стек брекетинга фокуса, составленный из 2N-1 изображений, перефокусированных для различных расстояний.

Рекуррентная формула, связывающая шаги m и m+1, полностью определяет способ и должна применяться n раз:

.

Следует заметить, что область, для которой описано частичное преобразование , - это половина области, которая требуется для , которая постепенно преобразуется из четырехмерной области в трехмерную в процессе, требующем O(N⁴) сумм, который дает экономию времени вычислений более чем на 80 процентов по сравнению с ныне употребительными процессами.

Продолжая этот процесс согласно предложенному здесь способу, можно восстанавливать глубины, модули и фазы комплексной амплитуды волнового фронта в каждом местоположении поверхности объекта съемки, что позволяет проводить полное трехмерное сканирование объекта в реальном времени, а, следовательно, способ хорошо подходит для вышеупомянутых областей применения.

Способ расчета стека фокуса по настоящему изобретению имеет то преимущество, что не требует операций умножения или действий с тригонометрическими функциями, нужно только суммирование, и его вычислительная сложность по порядку величины равна O(N⁴) для конечного объема, содержащего 2N-1 фокальных плоскостей снимка, полученных от светового поля размерности N⁴, на различных глубинах.

Способ по настоящему изобретению позволяет вычислять стек фокуса для полного объема при меньшем числе операций, чем используя другие современные способы получения стека фокуса (Ren Ng), основанные на вычислении отдельной плоскости.

Тем не менее, проблема, порождаемая при захвате четырехмерного светового поля, состоит в необходимости использования двумерных датчиков. Для получения полного четырехмерного объема по информации от двумерного датчика необходим датчик с очень высоким разрешением. Так, для датчика, имеющего O(N⁴) пикселей, возможно получить лишь стек брекетинга фокуса, собранный из изображений, имеющих по O(N²) пикселей, а, следовательно, можно использовать лишь O(N²) значений расстояния. Это снижение разрешения порядка O(N²) вызывает необходимость использовать очень дорогостоящие датчики.

Для решения задачи, второй аспект настоящего изобретения предлагает способ повышения разрешения изображений из стека фокуса согласно пункту 2 формулы изобретения. Согласно названному способу, предполагается, что элементы объекта съемки обладают отражающей способностью типа Ламберта, т.е. интенсивность света, испускаемого точкой объекта, не зависит от угла. В этом случае световое поле несет повторяющуюся информацию порядка O(aN²), где a - произвольная константа, 0<a<1. Эта повторяющаяся информация может быть использована для увеличения разрешения изображений стека фокуса.

Способ согласно пункту 2 формулы изобретения позволяет перейти от стека фокуса с изображениями, имеющими разрешение O(N²), к другому, с разрешением O((1-a)N⁴).

Для заданного изображения из стека фокуса, соответствующего плоскости на определенном расстоянии, способ повышения разрешения стека фокуса включает в себя:

1) обратную проекцию O(N⁴) лучей светового поля от этой плоскости для построения изображения с высоким разрешением в дискретных местоположениях этих лучей;

2) определение повторений согласно предположению о ламбертовском характере отражения;

3) в этом изображении с повышенным разрешением (со сверхразрешением) имеется два типа пикселей: пиксели, для которых нет повторений и куда вносится величина обратной проекции луча, и пиксели, для которых существуют повторения и куда вносится соответствующая величина для повторяющихся лучей, например, средняя величина.

Полагая, что имеется O(aN²) повторений для каждого из O(N²) элементов изображения исходного стека брекетинга фокуса, окончательное разрешение изображения стека фокуса повысится от O(N²) до O((1-a)N⁴).

В контексте настоящих разъяснений сверхразрешение понимается как любое повышенное разрешение изображения и связанной с ним карты расстояний по сравнению с разрешением O(N²), которое дают микролинзы. Следовательно, максимальным разрешением является число пикселей O(N⁴), а согласно способу настоящего изобретения с успехом получается разрешение порядка O((1-a)N⁴).

Как правило, величина a зависит от рассматриваемого изображения из стека фокуса. Для расчета расстояний фиксируется минимальное разрешение и неявно или явно меняются размеры изображений до получения названного минимального разрешения.

Третий аспект изобретения представляет собой способ измерения расстояний в трехмерном объекте съемки в режиме реального времени согласно пункту 3 формулы изобретения. Названный способ включает в себя получение изображения объектного пространства фазовой камерой, расчет стека фокуса посредством способа по пункту 1 формулы изобретения с применением оператора измерения качества фокусировки в стеке фокуса (дисперсия, оператор Лапласа, градиент) и расчет оптимального состояния на марковском случайном поле.

Выполняемые этапы упомянутого способа разработаны с возможностью реализации на аппаратном обеспечении для параллельных вычислений, таком как GPU или FPGA, вследствие чего достигается еще более успешная оптимизация времени выполнения.

В четвертом аспекте изобретения предлагается способ томографического измерения в режиме реального времени комплексной амплитуды электромагнитного поля, связанного с волновым фронтом объекта съемки согласно пункту 5 формулы изобретения. Названный способ включает в себя получение изображения объектного пространства фазовой камерой; расчет стека фокуса по способу пункта 1 формулы изобретения, который обеспечивает томографирование квадратов модулей комплексной амплитуды волнового фронта; применение оператора, генерирующего градиенты фазы волнового фронта в любой точке объема объектного пространства, и восстановление фазы волнового фронта соответствующего электромагнитного поля.

Выполняемые этапы упомянутого способа разработаны с возможностью реализации на аппаратном обеспечении для параллельных вычислений, таком как GPU или FPGA, вследствие чего достигается еще более успешная оптимизация времени выполнения.

И в способе измерения расстояний в трехмерных объектах съемки в режиме реального времени, и в способе томографического измерения комплексной амплитуды электромагнитного поля, связанного с волновым фронтом, измерения объектного пространства в режиме реального времени проводятся лишь однократно, т.е. одиночное изображение содержит достаточно информации для восстановления трехмерного окружения. Такое изображение можно понимать как сформированное из четырехмерного: две координаты на детекторе, связанные с внутренностью каждой микролинзы, и две другие координаты, связанные с матрицей микролинз.

Совокупность будет состоять из области одиночной микролинзы, формирующей изображение на регистрирующей поверхности для определения достаточного разрешения (например, полупроводниковых светоприемников CCD), которая находится в некотором местоположении в пространстве изображения объектива, что позволяет провести томографические измерения трехмерного объектного пространства.

Наконец, пятый аспект настоящего изобретения предлагает фазовую камеру для сбора визуальной информации от трехмерных объектов съемки в режиме реального времени согласно пункту 7 формулы изобретения. Камера содержит собирающую линзу, матрицу микролинз, помещенную в некоторое местоположение в пространстве изображения собирающей линзы, и формирует изображение на регистрирующей поверхности для определения достаточного разрешения, а вычислительное устройство для параллельных вычислений выполняется с возможностью расчета стека брекетинга фокуса, связанного с объектным пространством, измеренного камерой с применением способа по пункту 1 формулы изобретения, для получения комплексной амплитуды электромагнитного поля (модуля и фазы) и расстояний в любом месте измеряемого объектного пространства.

В сравнении со способами и системами данной области техники способ расчета стека фокуса согласно настоящему изобретению позволяет томографическим средством определять фазу волнового фронта, т.е. на любом расстоянии в трехмерном объеме объектного пространства. Более того, способ расчета стека фокуса по настоящему изобретению позволяет характеризовать электромагнитное поле не только фазой волнового фронта в плоскости, но и комплексной амплитудой электромагнитного поля, связанного с волновым фронтом в полном объеме.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

В дополнение к описанию, представленному ниже, и для лучшего понимания особенностей изобретения, как его неотъемлемая часть прилагаются чертежи, на которых для иллюстрации и не в качестве ограничения объема изобретения изображено следующее.

На Фиг.1 схематически изображены главные элементы камеры для сбора визуальной информации от трехмерных объектов в режиме реального времени согласно изобретению.

На Фиг.2 изображена концептуальная схема изобретения в применении к телескопу с большим главным зеркалом (1) для проведения атмосферной томографии при астрофизическом наблюдении звезды (8) при помощи адаптивной оптики.

На Фиг.3 изображена концептуальная схема классического астрофизического наблюдения звезды (8) при помощи мультисопряженной адаптивной оптики в двух возмущенных слоях атмосферы (9) и (10).

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В первом варианте выполнения изобретения рассматривается измерение расстояния, на котором находятся элементы объекта съемки.

Рассматривается частный случай настоящего изобретения, состоящий в наблюдении объекта съемки, содержащего внутреннюю часть окончательного объема, где в качестве компонентов можно различать некоторое число элементов, расположенных на глубинах от 0,5 до 4 метров от местонахождения камеры.

На Фиг.1 схематически изображено взаимное расположение апертурной линзы (1), матрицы (2) микролинз и регистрирующей поверхности (3), содержащей фазовую камеру согласно изобретению. Кроме того, показаны: расстояние (5) от собирающей линзы до линзы, фокусируемой на определенном элементе объектного пространства; фокус (6) каждой микролизы из матрицы микролинз; локальный угол (7) наклона волнового фронта и смещение (4) оптического пути, испытываемое возмущенным волновым фронтом относительно неискаженного волнового фронта. Камера согласно изобретению содержит также средство обработки, не показанное на рисунке.

Чтобы согласно изобретению спроектировать камеру для сбора информации от трехмерных объектов, используется датчик (сенсор) CCD модели Imperx IPX-11M5 с максимальным разрешением 4000х2672. За совокупностью деталей, изображенных на Фиг.1, помещенных перед CCD, следует объектив с тем же диафрагменным числом, что и последующая матрица микролинз (16х16 и на байонете F-Nikon), сфокусированный на CCD, покрывающем 1024х1024 пикселя. Камера при данном взаимном расположении имеет горизонтальную угловую апертуру 30° и фокусируется на центральной области объекта съемки, примерно в двух метрах.

Зарегистрированное изображение подвергается обработке средством обработки. В данном примере это графическая карта GPU nVidia 8800 GTX, выполненная с возможностью:

- рассчитывать стек фокуса с применением способа расчета стека фокуса согласно изобретению. Способ разработан с возможностью оптимальной реализации на аппаратном обеспечении для параллельных вычислений;

- применять оператор измерения качества фокусировки в стеке фокуса, например, оператор «дисперсия» для оценки качества фокусировки, оптимально приспособленный для таких же параллельных вычислений;

- восстанавливать расстояния посредством расчета оптимального состояния на марковском случайном поле, например, по алгоритму распространения доверия на основе переопределения весов колмогоровских деревьев, выполненному оптимизированным способом на аппаратном обеспечении для параллельных вычислений.

Карта глубин объекта съемки получается при помощи камеры и способа согласно настоящему изобретению.

Во втором варианте выполнения изобретения рассматривается телескоп с диаметром, большим, чем диаметр r₀ когерентности атмосферы (приблизительно 20 см в видимом диапазоне). Возмущения атмосферы вызывают потерю разрешения изображения, полученного телескопом, т.е. потерю информации о высоких частотах спектра. Чтобы предотвратить потерю, должно быть известно, каким образом атмосферное возмущение ослабляет волновой фронт света, приходящего от изучаемой звезды. С этой целью может быть использована в качестве опорной естественная или искусственная точечная звезда, которая позволяет определить тип искажений, внесенных атмосферой в волновой фронт.

На Фиг.3 схематически изображено астрофизическое наблюдение звезды (8) при помощи классической мультисопряженной адаптивной оптики при наличии двух слоев возмущений в атмосфере. В случае мультисопряженной адаптивной оптики фазовый датчик волнового фронта должен использоваться каждым деформируемым зеркалом, сопряженным с отдельным слоем возмущений, т.е. два различных датчика фазы (WFS), которые должны быть установлены и параллельно работать в двух точках оптической оси. На рисунке изображен телескоп (1) и два датчика (11) и (12) волнового фронта, связанных по принципу сопряжения с каждым возмущенным слоем (9) и (10). В случае классической мультисопряженной адаптивной оптики можно восстановить лишь очень малое число слоев возмущений (максимум три слоя). Так как в видимом диапазоне атмосфера меняется каждые 10 миллисекунд, сложность и необходимость в быстроте расчетов делает в настоящее время невозможной коррекцию более чем в трех слоях атмосферных возмущений.

По настоящему изобретению, согласно схеме, показанной на Фиг.1, работа которого в этом случае проиллюстрирована на Фиг.2, используется лишь один датчик, помещенный в единственное место оптической оси.

На Фиг.2 схематически показана соответствующая изобретению система для проведения атмосферной томографии при астрофизическом наблюдении звезды (8) с помощью адаптивной оптики. Отдельные слои возмущений в атмосфере обозначены цифрами (9) и (10). В этом случае названный выше телескоп (1) сам действует как объектив. Матрица микролинз (2) (32х32, резьбовое крепление C), фокусирующаяся на камере (3) (512х512 пикселей, модель IXON ANDOR), помещается в ее пространстве изображений. Фазовая камера согласно изобретению позволяет сканировать полный цилиндр (13) атмосферных возмущений, воздействующих на конечное изображение, даваемое телескопом. Данные собираются и обрабатываются FPGA (программируемая вентильная матрица) модели Virtex ML501, ранее подготовленной с возможностью работы путем:

- расчета стека фокуса согласно способу по пункту 1 формулы изобретения, где квадратный корень из стека брекетинга фокуса непосредственно дает модуль комплексной амплитуды электромагнитного поля в любой точке объема объектного пространства;

- применения оператора, генерирующего градиенты фазы волнового фронта в любой точке объема объектного пространства (например, оператор Кларка-Лейна);

- восстановления фазы волнового фронта соответствующего электромагнитного поля, например, с применением способа разложения в ряд комплексных экспонент, или такой, как полиномы Цернике, или с использованием алгоритма Юджина.

В отличие от известных методик, в способе согласно настоящему изобретению оператор, генерирующий градиенты фазы волнового фронта, применяется скорее локально, чем к пленоптическому изображению в целом.

Данные однократного измерения, которые затем обрабатываются согласно описанному, позволяют в режиме реального времени собрать трехмерную карту возмущений (комплексная амплитуда волнового фронта), которая соответствует полной толще атмосферы, воздействующей на картину, наблюдаемую в телескоп, и высот, на которых расположены эти возмущенные слои, так же, как получали расстояния и трехмерные профили, когда использовалась искусственная лазерная звезда.

Изобретение относится к способу расчета стека фокуса, соответствующего объектному пространству, по его дискретной пленоптической функции как преобразование сумм по длине условных плоскостей в четырехмерном гиперкубе. Изобретение относится также к способу повышения разрешения полученного стека фокуса. Кроме того, изобретение относится к двум способам восстановления в режиме реального времени глубин и, соответственно, модулей и фаз комплексной амплитуды волнового фронта в каждом местоположении поверхностей трехмерного объекта съемки, а также к системе, выполненной с возможностью осуществления вышеупомянутых способов. Технический результат - снижение времени вычисления. 5 н. и 5 з.п. ф-лы, 3 ил.

1. Способ получения визуальной информации из трехмерных объектов съемки в режиме реального времени, содержащий этапы на которых:
a) измеряют объектное пространство посредством камеры, содержащей линзу объектива, матрицу микролинз, расположенную в пространстве изображений линзы объектива, и сенсор, расположенный в точке фокусировки микролинз, и
b) рассчитывают стек фокуса, связанный с объектным пространством, измеряемым посредством камеры, по его дискретной пленоптической функции f(s, t, j, k), причем этап расчета содержит этап, на котором оценивают интеграл формирования фотоизображения, E_r(j,k)=∫∫f(u,ν,u·r+j,ν·r+k) du dν, как сумму по длине плоскостей в четырехмерном гиперкубе; где u и v - горизонтальная и вертикальная размерности на плоскости линзы, a j, k и r - размерности по горизонтали, вертикали и глубине стека фокуса, который необходимо получить,
при этом упомянутая оценка интеграла формирования фотоизображения в свою очередь содержит этапы, на которых:
b1) в начале вычислений полученные данные f(s, t, j, k) приравнивают к преобразованным данным до шага 0, , т.е. и
b2) n=log₂N раз применяют следующее частичное преобразование:
,
где ρ={r0, …, rm-1), s=(sm+1, …, sn-1), t=(tm+1, …, tn-1), и , до получения , что является аппроксимацией интеграла формирования фотоснимка Er(j, k) для объема с N плоскостями по глубине.

2. Способ повышения разрешения изображений из стека фокуса, полученного посредством этапа b) способа по п.1, содержащий этапы, на которых
по заданному на определенном расстоянии изображению из стека фокуса выполняют обратную проекцию O(N⁴) лучей пленоптической функции, строят изображение высокого разрешения в дискретных местоположениях этих лучей;
определяют избытки лучей, предполагая, что элементы объекта съемки обладают отражательной способностью типа Ламберта;
в местоположения стека фокуса со сверхразрешением, где нет избытков, вносят значение обратной проекции луча, а в местоположения с избытком вносят значения, представляющие значения избыточных лучей, например средние значения.

3. Способ измерения расстояний в трехмерных объектах съемки в режиме реального времени, содержащий получение визуальной информации из трехмерных объектов съемки в режиме реального времени по п.1, причем способ дополнительно содержит этапы, на которых:
применяют оператор измерения качества фокусировки в рассчитанном стеке фокуса;
рассчитывают оптимальное состояние на марковском случайном поле.

4. Способ измерения расстояний в трехмерном объекте съемки в режиме реального времени по п.3, который дополнительно содержит повышение разрешения изображений из стека фокуса согласно способу по п.2.

5. Способ томографического измерения комплексной амплитуды электромагнитного поля, связанного с волновым фронтом, в режиме реального времени, содержащий получение визуальной информации из трехмерных объектов съемки в режиме реального времени по п.1, причем способ дополнительно содержит этапы, на которых
получают модуль комплексной амплитуды электромагнитного поля в любой точке объема объектного пространства из квадратного корня рассчитанного стека фокуса;
применяют оператор для формирования градиентов фазы волнового фронта в любой точке объема объектного пространства; и
восстанавливают фазу волнового фронта соответствующего электромагнитного поля.

6. Способ томографического измерения комплексной амплитуды электромагнитного поля, связанного с волновым фронтом, в режиме реального времени по п.5, который дополнительно содержит повышение разрешения изображений из стека фокуса способом по п.2.

7. Фазовая камера для получения визуальной информации из трехмерных объектов съемки в режиме реального времени, содержащая:
собирающую линзу;
матрицу микролинз, помещенную в некоторое местоположение в пространстве изображений собирающей линзы, при этом матрица формирует изображение на регистрирующей поверхности для определения достаточного разрешения; и
средство обработки для параллельных вычислений, выполненное с возможностью:
рассчитывать стек фокуса, соответствующий объектному пространству, измеренному камерой, посредством этапа b) способа по п.1;
получать комплексную амплитуду электромагнитного поля (модуль и фазу); и
получать расстояние в любом месте регистрируемого объектного пространства.

8. Фазовая камера для получения визуальной информации из трехмерных объектов съемки в режиме реального времени по п.7, в которой средство обработки выполнено с возможностью повышать разрешение изображений из стека фокуса способом по п.2.

9. Фазовая камера для получения визуальной информации из трехмерных объектов съемки в режиме реального времени по п.7, в которой средство обработки выполнено с возможностью получать расстояние в любом месте объектного пространства способом по п.3.

10. Фазовая камера для получения визуальной информации от трехмерных объектов съемки в режиме реального времени по п.7, в которой средство обработки выполнено с возможностью получать комплексную амплитуду электромагнитного поля способом по п.5.