СПОСОБ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ ОБЪЕМНЫХ ОБЪЕКТОВ ИЛИ ГЛУБОКИХ СЦЕН И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2015 года по МПК G06T5/50 G06T15/08 

Изобретение относится к методам и средствам обработки изображений объектов, представленных в цифровом формате, и может быть использовано для получения резких изображений объемных предметов (или глубоких сцен), высота рельефа которых (глубина сцены) превосходит дифракционную глубину резкости используемой оптической системы. Наиболее широкая область применения способа - оптические микроскопы. Другую область применения составляют кино- и фотоаппараты, устройства видеорегистрации, камеры слежения и прочие фоторегистрирующие устройства, оснащенные объективом.

Для формирования оптического изображения объекта в некогерентном свете широко применяются известные, детально проработанные способы, основанные на использовании фокусирующих оптических элементов. Однако к их существенным недостаткам можно отнести снижение резкости изображения объекта в случае его продольного смещения из сечения наилучшей фокусировки. Этим обусловлена проблема получения резкого изображения объемных предметов или глубоких сцен - если высота рельефа объекта исследования (или глубина сцены) превосходит глубину резкости используемой оптической системы, то добиться приемлемой четкости по всей площади изображения не удается. Поэтому создание способа и устройства формирования изображения объемных объектов или глубоких сцен является актуальным на сегодняшний день.

Известны способы частичного устранения данного недостатка, которые заключаются в увеличении глубины резкости оптической системы за счет уменьшения апертуры объектива (диаметра входного зрачка оптической системы) диафрагмой или градиентной амплитудной маской (J. Ojeda-Castaneda et al., "High Focal Depth By Apodiration and Digital Resporation", Appl. Optics, Vol.27, no. 12, 1988; M. Mino, Y. Okano, "Improvement in the OTF of Defocussed Optical System Through the Use of Shaded Apertures", Appl. Optics, Vol.10, no. 10, 1971). Использование объективов с малой угловой апертурой (А=D //, где D - диаметр, f - фокусное расстояние) позволяет повысить глубину резкости оптической системы (Δf~Δх²/λ, где λ - длина волны оптического излучения), однако при этом снижается не только разрешающая способность (Δx~λ/A), но и светосила оптической системы (пропорционально уменьшению площади входного зрачка). Последнее требует значительного увеличения мощности излучения подсветки, что зачастую недопустимо при исследовании нестойких к излучению объектов.

Также известны способы увеличения глубины резкости оптической системы, обеспечивающие возможность уменьшения ошибки дефокусировки с помощью специальной амплитудно-фазовой маски (US N 6097856, G06K 9/20, 2000; RU N 2179336, G06K 9/20, G02B 5/18, G02B 27/42, 2002), посредством которой изменяют передаточную функцию оптической системы, обеспечивая ее неизменность при дефокусировке в достаточно широких пределах. Окончательное изображение восстанавливают из получаемого искаженного изображения методом согласованной пространственной фильтрации.

Однако в указанных решениях глубина резкости оптической системы остается ограниченной. К тому же способы требуют применения специальных прецизионных оптических элементов (вращаемых линзовых микрорастров, дифракционных масок, фильтров пространственных частот для осуществления согласованной фильтрации) и вспомогательных источников когерентного излучения.

Другие подходы к решению рассматриваемой задачи основаны на формировании изображения объемного объекта по серии изображений, полученных при его послойном сканировании по глубине сцены.

Известны технические решения для обеспечения повышения глубины резкости оптических приборов (US N 589622 3, G02B 21/08, 1999; RU N2153185, G02B 21/06, G02B 7/00, 1999), в которых сканирование по глубине сцены реализуется с помощью быстро вращаемого диска из плоскопараллельных пластин разной толщины (располагающегося между линзами объектива), а формирование изображения объемного объекта осуществляется благодаря физиологическим особенностям глаза. Однако результат использования интегрирующих свойств зрения аналогичен непосредственному сложению этих изображений, поэтому в суммарном изображении мелкомасштабные объекты не различимы.

Также известны способы и устройства (микроскоп) с увеличенной глубиной резкого изображения (DE N 4439508, G02B 21/06, 1997; RU N 2321033, G02B 21/00, 2004), в которых получение серии изображений по глубине сцены реализуется при перемещении предметного столика, связанного с механическим приводом. В основу метода формирования полного изображения глубокой сцены положен, по сути, ресурсоемкий процесс сегментирования и распознавания участков с резким изображением. Этот способ применим для исследования отдельных объектов, находящихся на разной глубине сцены (например, в микробиологии), однако из-за искажений, возникающих на границах сегментов, этот способ не пригоден для формирования изображения объемных объектов - протяженных или характеризующихся интегральным рельефом либо текстурой.

Наиболее близким для способа формирования оптического изображения объемного объекта по технической сущности и достигаемому результату, выбранным в качестве прототипа, является способ формирования оптического изображения с увеличенной глубиной резкости (US N5748371, G02B 5/18, 1998), в котором изменяют передаточную характеристику оптической системы посредством кубической фазовой маски, далее сформированное искаженное изображение фиксируют посредством оптико-электронного преобразователя и восстанавливают из него неискаженное окончательное изображение методом согласованной пространственной фильтрации с помощью цифрового (фильтра реализуемого аппаратно или численно посредством ЭВМ.

К недостаткам упомянутого способа можно отнести то, что качество восстановленного изображения и, соответственно, эффект увеличения глубины резко изображаемого пространства существенно зависят от разрядности оптико-электронного преобразователя (глубины оцифровки). К тому же характер искажений в изображении точечного источника света, вносимых в оптическую систему посредством кубической фазовой маски, приводит к существенному влиянию величины дефокусировки на качество восстановленного изображения. Поэтому восстановить такой системой идеальное изображение протяженного объекта не удается.

Наиболее близким для устройства формирования оптического изображения объемного объекта по технической сущности и достигаемому результату, выбранным в качестве прототипа, является устройство формирования оптического изображения с увеличенной глубиной резкости (US N 5748371, G02B 5/18, 1998), содержащее кубическую фазовую маску, проекционную оптическую систему, фоторегистрирующее устройство и блок обработки изображений.

К недостаткам упомянутого устройства можно отнести то, что глубина резкости оптической системы остается ограниченной, а качество восстановленного изображения существенно зависит от качества и прецизионности расположения используемой кубической фазовой маски. Кроме того, реализация патентуемого способа требует доработки устройства для обеспечения возможности осуществления сканирования по глубине сцены.

Задача, решаемая предлагаемым изобретением, - усовершенствование способа и устройства для формирования оптического изображения с увеличенной глубиной резкости.

Технический результат от использования изобретения заключается в получении резкого изображения объемного объекта или глубокой сцены с неограниченной глубиной резкости.

Указанный результат достигается тем, что в способе формирования оптического изображения объекта, включающем обработку изображений, получают серию изображений объемного объекта с заданным шагом по глубине сцены и преобразуют их в пространственный спектр с помощью двумерного Фурье-преобразования, обрабатывают полученные пространственные спектры изображений в серии путем пространственно-частотной фильтрации, затем осуществляют взаимное согласование масштабов изображений в серии, после этого суммируют отфильтрованные и отмасштабированные пространственные спектры изображений и производят реконструкцию резкого изображения объекта с помощью обратного двумерного Фурье-преобразования суммарного пространственного спектра изображения, при этом заданный шаг по глубине сцены Δz объемного объекта определяется условием

$$\Delta z\prec \frac{2\pi \cdot k}{u_{cr}\cdot \left(\frac{k\cdot D}{b}-u_{cr}\right)}$$ ,

а пространственно-частотную фильтрацию осуществляют с помощью двумерного фильтра пространственных частот W(u,v,n):

$$W\left(u,v,n\right)=\frac{1}{{\displaystyle \sum _{m=0}^{N-1}\Psi \left[u,v,\left(m-n\right)\cdot \Delta z\right]}}$$ ,

где

$$\Psi \left(u,v,z\right)=\sin c\left\{\frac{z\cdot \sqrt{u^2+v^2}}{2k}\cdot \left(\frac{k\cdot D}{b}-\sqrt{u^2+v^2}\right)\right\}$$ ,

где k=2π/λ - волновое число, λ - длина волны, D - апертура объектива, b - расстояние от главной плоскости объектива до плоскости регистрации сечения объекта, u_cr=2π/Δx_cr - значение максимальной разрешаемой пространственной частоты (u_cr<k·D/2b)), которое соответствует значению минимального разрешаемого масштаба Δх_cr, u и v - пространственные частоты двумерного спектра, n - номер изображения в серии, N - количество изображений в серии.

Взаимное согласование масштабов изображений в серии осуществляют в спектральном представлении изображения:

$$G\left(u_n,v_n\right)=G\left(u\cdot \frac{b}{b_n},v\cdot \frac{b}{b_n}\right)$$ ,

где G(u_n,v_n) - пространственный спектр n-го изображения в серии, u_n и v_n - пространственные частоты двумерного спектра n-го изображения в серии, b_n - расстояние от главной плоскости объектива до плоскости регистрации n-го сечения объекта.

Взаимное согласование масштабов изображений в серии может быть осуществлено путем преобразования изображений объекта.

Указанный результат достигается также тем, что в устройство для формирования оптического изображения объекта, состоящее из проекционной оптической системы и фоторегистрирующего устройства, связанного с блоком обработки изображений, дополнительно введены блок управления и устройство механического привода, связанное с проекционной оптической системой, причем фоторегистрирующее устройство выполнено с возможностью подключения к устройству механического привода для продольного перемещения, а блок обработки изображений, устройство механического привода и фоторегистрирующее устройство связаны с блоком управления.

Предлагаемый способ получения резкого изображения объемных предметов основан на обработке серии изображений, полученных при послойном сканировании с заданным шагом по глубине сцены, численными методами, не использующими сегментирование. Цифровая обработка изображений основана на методах пространственно-частотной фильтрации изображений с применением масштабирования изображения и реконструкции резкого изображения из суммарного пространственного спектра серии слайдов.

В способе применяются следующие цифровые методы обработки изображений: двумерное Фурье-преобразование каждого изображения в серии; пространственно-частотная фильтрация полученных спектров; взаимное согласование масштабов; суммирование пространственных спектров; реконструкция резкого изображения с помощью обратного двумерного Фурье-преобразования суммарного пространственного спектра.

В способе допускается применение вычислительных методов шумоподавления растровых изображений (например, медианная фильтрация) или их пространственных спектров (например, низкочастотная фильтрация), не ухудшающих качество обрабатываемого изображения.

Способ осуществляют следующим образом.

1. Получают серию изображений объемного объекта с заданным шагом по глубине сцены. Величину заданного шага по глубине сцены Az объемного объекта определяют из условия

$$\Delta z<\frac{2\pi \cdot k}{u_{cr}\cdot \left(\frac{k\cdot D}{b}-u_{cr}\right)}$$ ,

где k=2π/λ - волновое число, λ - длина волны, D - апертура объектива, b - расстояние от главной плоскости объектива до плоскости регистрации объекта, u_cr=2π/Δx_cr - значение максимальной разрешаемой пространственной частоты (u_cr<k·D/2b), которое соответствует значению минимального разрешаемого масштаба Δх_cr.

2. Преобразуют полученные изображения в пространственный спектр с помощью двумерного Фурье-преобразования.

3. Обрабатывают полученные пространственные спектры изображений в серии путем пространственно-частотной фильтрации с помощью двумерного (фильтра пространственных частот W(u,v,n):

$$W\left(u,v,n\right)=\frac{1}{{\displaystyle \sum _{m=0}^{N-1}\Psi \left[u,v,\left(m-n\right)\cdot \Delta z\right]}}$$ ,

где

$$\Psi \left(u,v,z\right)=\sin c\left\{\frac{z\cdot \sqrt{u^2+v^2}}{2k}\cdot \left(\frac{k\cdot D}{b}-\sqrt{u^2+v^2}\right)\right\}$$ ,

где u и v - пространственные частоты двумерного спектра, n - номер изображения в серии, N - количество изображений в серии.

4. При изменении длин оптически сопряженных отрезков используемой проекционной системы в ходе регистрации серии изображений производят взаимное согласование масштабов каждого изображения в серии. Предпочтительно масштабирование изображений осуществлять в спектральном представлении:

$$G\left(u_n,v_n\right)=G\left(u\cdot \frac{b}{b_n},v\cdot \frac{b}{b_n}\right),\left(11\right)$$

где G(u_n,v_n) - пространственный спектр n-го изображения в серии, u_n и v_n - пространственные частоты двумерного спектра n-го изображения в серии, b_n - расстояние от главной плоскости объектива до плоскости регистрации n-го сечения объекта.

Допустимо применение других методов масштабирования, не ухудшающих качество изображений.

5. Суммируют отфильтрованные и отмасштабированные пространственные спектры изображений.

6. Производят реконструкцию резкого изображения объекта с помощью обратного двумерного Фурье-преобразования суммарного пространственного спектра изображения.

Изобретение иллюстрируется чертежами, на которых изображено:

фиг.1 - пространственно-частотная характеристика безаберрационной проекционной оптической системы при дефокусировке;

фиг.2 - схема устройства для формирования оптического изображения объемного объекта;

фиг.3 - серия изображений объемного объекта, полученная с заданным шагом по глубине сцены;

фиг.4 - реконструированное изображение объемного объекта.

Физический принцип осуществления патентуемого способа формирования оптического изображения объемных объектов или глубоких сцен заключается в следующем.

Качество построения изображения оптической проекционной системой определяется ее пространственно-частотной характеристикой (ПЧХ), связывающей пространственный спектр излучения сечений объекта G_i(u,z) с пространственным спектром G(u) распределения интенсивности излучения в плоскости регистрации изображения объекта I(х'). С целью упрощения данная система может быть рассмотрена для одной из пространственных координат

$$K\left(u,z\right)=\frac{G\left(u\right)}{G_i\left(u,z\right)},\left(1\right)$$

где I(x,z) - распределение интенсивности излучения в сечении z, a и b - оптически сопряженные отрезки.

Для оптически сопряженного сечения объемного объекта или глубокой сцены (z=0), для которого выполняется равенство

ПЧХ оптической системы (без аберраций) определяется следующим выражением:

$$K\left(u,0\right)=\{\begin{array}{cc}1-\frac{\left|u\right|b}{k\cdot D}& \left|u\right|<\frac{k\cdot D}{b}\\ 0,& \left|u\right|\ge \frac{k\cdot D}{b}\end{array}\left(5\right)$$

где k=2π/λ - волновое число, λ - длина волны.

Для оптически несопряженных сечений объемного объекта или глубокой сцены (z≠0) ПЧХ оптической системы может быть представлена в виде произведения:

$$K\left(u,z\right)=K\left(u,0\right)\cdot \Psi \left(u,z\right),\left(6\right)$$

$$\Psi \left(u,z\right)=\sin c\left\{\frac{z\cdot u}{2k}\cdot \left(\frac{k\cdot D}{b}-\left|u\right|\right)\right\}.\left(7\right)$$

На фиг.1 приведена пространственно-частотная характеристика безаберрационной проекционной оптической системы при дефокусировке: график 1 соответствует оптически сопряженному сечению объемного объекта (z=0), график 2 соответствует сечениям. находящимся на расстояниях в диапазоне $$0<\left|z\right|<4\cdot \Delta f$$ ; график 3 соответствует сечению $$\left|z\right|=4\cdot \Delta f$$ , и график 4 соответствует сечениям $$\left|z\right|>4\cdot \Delta f$$ . Здесь Δf=λ/A² - глубина резкости проекционной оптической системы с угловой апертурой А.

Из графиков фиг.1 видно, что по мере удаления от оптически сопряженного сечения объекта $$\left(\left|z\right|>0\right)$$ изображения все более крупных элементов его рельефа (или текстуры) становятся «размытыми» (пространственный спектр получаемого изображения становится более узким).

Восстановление изображения объекта, в котором будут различимы элементы рельефа (или текстуры) с пространственным масштабом Δх_cr, осуществимо для сечения, расположенного относительно оптически сопряженного сечения на расстоянии, не превышающем z_cr:

$$z_{cr}=\frac{2\pi \cdot k}{u_{cr}\cdot \left(\frac{k\cdot D}{b}-u_{cr}\right)},\left(8\right)$$

где u_cr=2π/Δx_cr - значение максимальной разрешаемой пространственной частоты (u_cr<k·D/2b), которое соответствует значению минимального разрешаемого масштаба Δх_cr.

Иными словами, полученное условие (8) определяет шаг Δz между сечениями по глубине сцены (максимальное расстояние между сечениями), при котором осуществимо восстановление размытых участков изображения. При этом количество сечений и, соответственно, глубина сцены, по сути, не ограничены.

Для системы, обладающей осевой симметрией, справедлив переход от выражения (7) к двумерной функции:

$$\Psi \left(u,v,z\right)=\sin c\left\{\frac{z\cdot \sqrt{u^2+v^2}}{2k}\cdot \left(\frac{k\cdot D}{b}-\sqrt{u^2+v^2}\right)\right\}.\left(9\right)$$

где u и v - пространственные частоты двумерного спектра.

Таким образом, выражение для двумерного фильтра пространственных частот W(u,v,n), используемого при осуществлении пространственно-частотной фильтрации изображений в серии, может быть представлено в следующем виде:

$$W\left(u,v,n\right)=\frac{1}{{\displaystyle \sum _{m=0}^{N-1}\Psi \left[u,v,\left(m-n\right)\cdot \Delta z\right]}},\left(10\right)$$

где n - номер изображения в серии, N - количество изображений в серии.

Способ может быть реализован с помощью устройства для формирования оптического изображения объемного объекта, схема которого приведена на фиг.2.

Устройство состоит из проекционной оптической системы 1, фоторегистрирующего устройства 2, блока обработки изображений 4 блока управления 4 и устройства механического привода 5. Перед проекционной оптической системой 7 размещен объект 6 на предметном столике 7. Проекционная оптическая система 7 связана с устройством механического привода 5, причем предметный столик 7 и фоторегистрирующее устройство 2 выполнены с возможностью подключения к устройству механического привода 5, обеспечивающему их продольное перемещение. Фоторегистрирующее устройство 2 связано с блоком обработки изображений 3. Фоторегистрирующее устройство 2, устройство механического привода 5 и блок обработки изображений 3 связаны с блоком управления 4. который синхронизирует их работу.

Устройство для формирования оптического изображения объемного объекта функционирует следующим образом. Изображение объекта 6, формируемое проекционной оптической системой 1, фиксируется посредством фоторегистрирующего устройства 2. Фоторегистрирующим устройством может- являться как ПЗС-устройство (предпочтительно), так и традиционные кино- фотосъемочные устройства (в этом случае дополнительно понадобится преобразовать зафиксированные изображения в цифровой формат с помощью цифрового оптико-электронного преобразователя). Далее изображение поступает в блок обработки изображений 3. в котором осуществляется обработка и хранение изображения в цифровом формате. Сигнал готовности к следующему циклу подается от блока обработки изображений 3 в блок управления 4, в котором осуществляется формирование сигнала управления устройством механическою привода;) (в соответствии с вычисленной величиной шага по глубине сцены и числом циклов) и сигнала готовности, поступающего на фоторегистрирующее устройство 2. Получение серии изображений с заданным шагом но глубине сцены осуществляется путем продольного перемещения на заданное расстояние проекционной оптической системы 1, либо фоторегистрирующего устройства 2, либо предметного столика 1 при соответствующем подключении к устройству механического привода 5. При получении серии изображений с заданным шагом по глубине сцены путем продольного перемещения на заданное расстояние объекта, расположенного на предметном столике 7, подключенном к устройству механического привода 5, перестройка проекционной оптической системы (т.е. изменение расстояния от главной плоскости объектива до плоскости регистрации объекта) не требуется, поэтому необходимости в выполнении взаимного согласования масштабов изображений в серии нет. Предпочтительно, чтобы устройство механического привода 5 было дискретным (например, выполнено на основе шагового двигателя). Блок управления 4 и блок обработки изображений 3 конструктивно могут быть выполнены в виде единого вычислительного блока на базе ЭВМ или иного специализированного вычислительного устройства.

Устройство может быть изготовлено, например, на базе микроскопа Laboval 4, комплектуемого проекционной оптической системой и перемещаемого предметным столиком, механическая подача которого приводится в движение шаговым двигателем (например, Airpax S42M048S71 с драйвером SLA7029M). В качестве фоторегистрирующего устройства может быть использована веб-камера с ПЗС-матрицей, например Philips PCVC830K. Функции блока управления и блока обработки изображений может выполнять персональный компьютер с рекомендуемыми системными требованиями: частота процессора 2 ГГц, объем оперативной памяти 2 Гб.

Пример конкретного выполнения способа

Объект 6 в виде обрезка металлической проволоки диаметром 0.5 мм (фиг.3) поместили в устройство, оснащенное объективом с числовой апертурой 0.2. Объект был расположен под углом к оптической оси системы так, чтобы глубина сцены превышала глубину резкости оптической системы. Получили серию из 9 изображений с шагом по глубине сцены 0.05 мм. Изображения в серии характеризуются наличием различных резких участков поверхности объекта. После обработки по патентуемому способу получили восстановленное изображение объекта с резким рельефом по всей видимой поверхности (фиг.4).

Таким образом, использование предлагаемого изобретения позволяет получить резкое изображение объемного объекта или глубокой сцены с неограниченной глубиной резкости по серии изображений с заданным шагом по глубине сцены. При этом не требуется применение оптических элементов, изменяющих передаточную характеристику используемой проекционной оптической системы. При выполнении предлагаемого способа реконструкции изображения резкими становятся не только регистрируемые сечения, но и все промежуточные области объекта, то есть реконструируется резкое изображение объемного объекта по всей глубине сцены. При этом способ не требует сегментации изображений.

Изобретение относится к средствам обработки цифровых изображений. Техническим результатом является получение резкого изображения объемного объекта с неограниченной глубиной резкости. В способе получают серию изображений объемного объекта с заданным шагом по глубине сцены и преобразуют их в пространственный спектр с помощью двумерного Фурье-преобразования, обрабатывают полученные пространственные спектры изображений в серии путем пространственно-частотной фильтрации, осуществляют взаимное согласование масштабов изображений в серии, суммируют отфильтрованные и отмасштабированные пространственные спектры изображений, производят реконструкцию резкого изображения объекта с помощью обратного двумерного Фурье-преобразования суммарного пространственного спектра изображения. 2 н. и 2 з.п. ф-лы, 4 ил.

1. Способ формирования оптического изображения объекта, включающий обработку изображений, отличающийся тем, что получают серию изображений объемного объекта с заданным шагом по глубине сцены и преобразуют их в пространственный спектр с помощью двумерного Фурье-преобразования, обрабатывают полученные пространственные спектры изображений в серии путем пространственно-частотной фильтрации, затем осуществляют взаимное согласование масштабов изображений в серии, после этого суммируют отфильтрованные и отмасштабированные пространственные спектры изображений и производят реконструкцию резкого изображения объекта с помощью обратного двумерного Фурье-преобразования суммарного пространственного спектра изображения, при этом заданный шаг по глубине сцены Δz объемного объекта определяется условием

а пространственно-частотную фильтрацию осуществляют с помощью двумерного фильтра пространственных частот W(u, ν, n):

где

где k=2π/λ - волновое число, λ - длина волны, D - апертура объектива, b - расстояние от главной плоскости объектива до плоскости регистрации сечения объекта, u_cr=2π/Δx_cr - значение максимальной разрешаемой пространственной частоты (u_cr<k·D/2b), которое соответствует значению минимального разрешаемого масштаба Δx_cr, u и ν - пространственные частоты двумерного спектра, n - номер изображения в серии, N - количество изображений в серии.

2. Способ по п.1, отличающийся тем, что взаимное согласование масштабов изображений в серии осуществляют в спектральном представлении изображения:

где G(u_n, ν_n) - пространственный спектр n-го изображения в серии, u_n и ν_n - пространственные частоты двумерного спектра n-го изображения в серии. b_n - расстояние от главной плоскости объектива до плоскости регистрации n-го сечения объекта.

3. Способ по п.1, отличающийся тем, что взаимное согласование масштабов изображений в серии осуществляют путем преобразования изображений объекта.

4. Устройство для формирования оптического изображения объекта, состоящее из проекционной оптической системы и фоторегистрирующего устройства, связанного с блоком обработки изображений, отличающееся тем, что в устройство дополнительно введены блок управления и устройство механического привода для продольного перемещения проекционной оптической системы, причем фоторегистрирующее устройство выполнено с возможностью продольного перемещения устройством механического привода, а блок обработки изображений, устройство механического привода и фоторегистрирующее устройство связаны с блоком управления.