УСТРОЙСТВО И СПОСОБ ОБЕСПЕЧЕНИЯ ОЦЕНКИ ПАРАМЕТРОВ Российский патент 2024 года по МПК G02B21/00 

РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Настоящая заявка испрашивает приоритет по предварительной заявке на патент США № 62/944,692, озаглавленной Apparatus and Method of Providing Parameter Estimation, поданной 6 декабря 2019 г., описание которой полностью включено в настоящий документ путем ссылки.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0002] Объект изобретения, описанный в данном разделе, не следует считать известным техническим решением только на основании его упоминания в данном разделе. Аналогичным образом, проблема, упомянутая в данном разделе или связанная с объектом изобретения, представленным в данном разделе, не должна считаться признанной ранее в известных технических решениях. Объект изобретения в этом разделе лишь представляет различные подходы, которые сами по себе также могут соответствовать реализациям заявленной технологии.

[0003] Микроскопия структурированного освещения (SIM) - это класс алгоритмов вычислительной визуализации, которые реконструируют изображения сверхвысокого разрешения из множества исходных изображений более низкого разрешения. Для обеспечения успешной реконструкции исходные необработанные изображения должны быть высокого качества. Высококачественные необработанные изображения требуют тщательной настройки, калибровки и оценки оптических характеристик прибора для формирования изображений. Помимо обычной характеризации прибора для формирования изображений оптика для формирования изображений методом SIM имеет дополнительные компоненты, которые требуют дополнительной характеризации и сертификации.

ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[0004] Возможно, было бы желательно создать системы и способы для обеспечения управления качеством и калибровки с помощью оптики для формирования изображений и связанных оптических компонентов в системе SIM, в частности в системе SIM, которую используют для формирования изображений биологических образцов, таких как нуклеотидные последовательности. В настоящем документе описаны устройства, системы и способы обработки изображений, захваченных с использованием SIM, для преодоления ранее существовавших проблем и достижения описанных в настоящем документе преимуществ.

[0005] Вариант реализации относится к способу, который включает прием множества наборов изображений, причем каждый набор изображений множества наборов изображений включает изображения, захваченные с использованием микроскопии структурированного освещения (SIM) в оптической системе на расстоянии от объекта, которое отличается от расстояния от объекта, при котором захватывают изображения в других наборах изображений множества наборов изображений, а каждое изображение множества наборов изображений имеет связанный канал и связанный угол решетки. Способ дополнительно включает выделение первого набора изображений из множества наборов изображений по меньшей мере частично на основании расстояния, соответствующего первому набору изображений. Способ дополнительно включает измерение значения полной ширины на половине максимума (FWHM), соответствующего каждому изображению в первом наборе изображений. Способ дополнительно включает определение минимального среза FWHM по меньшей мере частично на основании среднего значения FWHM по изображениям в первом наборе изображений. Способ дополнительно включает выполнение оценки параметров на определенном минимальном срезе FWHM, соответствующем первому набору изображений. Способ дополнительно включает определение параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей первому набору изображений. Способ дополнительно включает сохранение определенных параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей первому набору изображений. Способ дополнительно включает выполнение оценки фазы для каждого изображения в первом наборе изображений. Способ дополнительно включает выполнение вычисления модуляции по меньшей мере частично на основании определенных параметров наилучшей фокусировки, соответствующих первому изображению. Способ дополнительно включает формирование отчета, представляющего значения параметров, соответствующих оптической системе, по меньшей мере частично на основании выполненного вычисления модуляции, соответствующей первому набору изображений.

[0006] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает выделение второго набора изображений из множества наборов изображений по меньшей мере частично на основании расстояния, соответствующего второму набору изображений. Способ дополнительно включает измерение значения полной ширины на половине максимума (FWHM), соответствующего каждому изображению во втором наборе изображений. Способ дополнительно включает определение минимального среза FWHM по меньшей мере частично на основании среднего значения FWHM по изображениям во втором наборе изображений. Способ дополнительно включает выполнение оценки параметров в определенном минимальном срезе FWHM, соответствующем второму набору изображений. Способ дополнительно включает определение параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей второму набору изображений. Способ дополнительно включает сохранение определенных параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей второму набору изображений. Способ дополнительно включает выполнение оценки фазы для каждого изображения во втором наборе изображений. Способ дополнительно включает выполнение вычисления модуляции по меньшей мере частично на основании определенных параметров наилучшей фокусировки, соответствующих второму набору изображений. Формируемый отчет основан по меньшей мере частично на комбинации выполненного вычисления модуляции, соответствующей первому набору изображений, и выполненного вычисления модуляции, соответствующей второму набору изображений.

[0007] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, измерение значения FWHM, соответствующего каждому изображению в первом наборе изображений, выполняют в центральном окне оценки каждого изображения в первом наборе изображений.

[0008] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, выполнение оценки параметров в определенном минимальном срезе FWHM, соответствующем первому набору изображений, осуществляют в центральном окне оценки определенного минимального среза FWHM.

[0009] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, сохраненные параметры наилучшей фокусировки включают одно или оба из шага решетки или угла решетки.

[0010] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, выполнение оценки фазы для каждого изображения в первом наборе изображений включает выполнение оценки фазы по Уикеру.

[0011] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, формируемый отчет имеет форму таблицы.

[0012] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, способ дополнительно включает сравнение параметров в отчете с заданным набором спецификаций параметров.

[0013] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает определение того, что параметр в отчете отклоняется от заданного набора спецификаций параметров, и регулирование одного или более компонентов в оптической системе по меньшей мере частично на основании определения того, что параметр в отчете отклоняется от заданного набора спецификаций параметров.

[0014] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, каждый набор изображений множества наборов изображений включает двенадцать изображений.

[0015] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, каждое изображение множества изображений имеет связанный канал, выбранный из группы, состоящей из первого цветового канала и второго цветового канала, так что множество изображений включает изображения, соответствующие первому цветовому каналу, и изображения, соответствующие второму цветовому каналу.

[0016] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, каждый набор изображений множества наборов изображений включает изображения, соответствующие первому цветовому каналу, и изображения, соответствующие второму цветовому каналу.

[0017] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, каждое изображение множества изображений имеет связанный угол решетки, выбранный из группы, состоящей из первого угла решетки и второго угла решетки, так что множество изображений включает изображения, соответствующие первому углу решетки, и изображения, соответствующие второму углу решетки.

[0018] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, каждый набор изображений множества наборов изображений включает изображения, соответствующие первому углу решетки, и изображения, соответствующие второму углу решетки.

[0019] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, способ дополнительно включает захват множества изображений. Способ дополнительно включает при захвате множества изображений либо перемещение источника света относительно одной или более фазовых масок из первого положения во второе положение, либо перемещение одной или более фазовых масок к источнику света из первого положения во второе положение, причем первое положение обеспечивает первый угол решетки, а второе положение обеспечивает второй угол решетки.

[0020] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, измерение значения FWHM, соответствующего каждому изображению в первом наборе изображений, выполняют с использованием необработанной нереконструированной фазы нулевого значения для каждого угла решетки, соответствующего каждому изображению в первом наборе изображений.

[0021] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, формируемый отчет включает значения параметров, выбранные из группы, состоящей из расстояний между линзой объектива в оптической системе и объектом, канала, соответствующего каждому изображению множества изображений, углового индекса, модуляции, значений FWHM, шага решетки и углов решетки.

[0022] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, способ дополнительно включает захват множества наборов изображений. Захват множества наборов изображений включает захват первого набора изображений, когда линза объектива оптической системы расположена на первом расстоянии от объекта. Захват множества наборов изображений дополнительно включает захват второго набора изображений, когда линза объектива оптической системы расположена на втором расстоянии от объекта. Захват множества наборов изображений дополнительно включает захват третьего набора изображений, когда линза объектива оптической системы расположена на третьем расстоянии от объекта.

[0023] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, вычисление модуляции включает факторы, содержащие ориентацию и периодичность рисунка интерференционных полос, соответствующего изображениям в первом наборе изображений.

[0024] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, объект включает нуклеотиды.

[0025] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, способ дополнительно включает вычисление сдвига фазы между парами изображений первого набора изображений, причем каждая пара изображений из пар изображений имеет общие канал и угол решетки.

[0026] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, формируемый отчет включает вычисленные сдвиги фазы.

[0027] В некоторых вариантах реализации способа, таких как любой из описанных в любом из двух предшествующих абзацев настоящего изложения сущности изобретения, способ дополнительно включает сравнение вычисленных сдвигов фазы с заданным диапазоном сдвигов фазы.

[0028] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает определение того, что по меньшей мере один из вычисленных сдвигов фазы находится вне заданного диапазона сдвигов фазы. Способ дополнительно включает в ответ на определение того, что по меньшей мере один из вычисленных сдвигов фазы находится вне заданного диапазона сдвигов фазы, вычисление значений усиления для коррекции сдвигов фазы, которые находятся вне заданного диапазона сдвигов фазы.

[0029] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает установление новых фазосдвигающих напряжений по меньшей мере частично на основании вычисленных значений усиления.

[0030] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает приложение новых фазосдвигающих напряжений к пьезоэлектрическому элементу, причем пьезоэлектрический элемент обеспечивает сдвиги фаз в оптической системе. Способ дополнительно включает захват нового набора изображений с новыми фазосдвигающими напряжениями, прикладываемыми к пьезоэлектрическому элементу.

[0031] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает вычисление сдвига фазы между парами изображений нового набора изображений, причем каждая пара изображений из пар изображений имеет общие канал и угол решетки. Способ дополнительно включает сравнение вычисленных сдвигов фазы новых изображений с заданным диапазоном сдвигов фазы.

[0032] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает определение того, что по меньшей мере один из вычисленных сдвигов фазы новых изображений находится вне заданного диапазона сдвигов фазы. Способ дополнительно включает в ответ на определение того, что по меньшей мере один из вычисленных сдвигов фазы в новых изображениях находится вне заданного диапазона сдвигов фазы, вычисление обновленных значений усиления для коррекции сдвигов фазы новых изображений, которые находятся вне заданного диапазона сдвигов фазы.

[0033] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает установление дополнительных новых фазосдвигающих напряжений по меньшей мере частично на основании вычисленных обновленных значений усиления.

[0034] В некоторых вариантах реализации устройство включает первый оптический узел для излучения структурированного освещения в направлении мишени. Первый оптический узел содержит светоизлучающий узел, первую фазовую маску для придания первого узора свету, излучаемому светоизлучающим узлом, вторую фазовую маску для придания второго узора свету, излучаемому светоизлучающим узлом, и фазорегулирующий узел для регулирования фазы света, структурированного первой фазовой маской и второй фазовой маской. Устройство дополнительно включает второй оптический узел. Второй оптический узел включает датчик изображения для захвата изображений мишени, которую освещает первый оптический узел. Устройство дополнительно включает процессор. Процессор выполнен с возможностью приема множества наборов изображений, причем каждый набор изображений множества наборов изображений содержит включает, захваченные с использованием второго оптического узла на расстоянии от объекта, которое отличается от расстояния от объекта, при котором захватывают изображения в других наборах изображений множества наборов изображений, а каждое изображение множества изображений имеет связанный канал и связанный угол решетки. Процессор дополнительно выполнен с возможностью выделения первого набора изображений из множества наборов изображений по меньшей мере частично на основании расстояния, соответствующего первому набору изображений. Процессор дополнительно выполнен с возможностью измерения значения полной ширины на половине максимума (FWHM) для каждого изображения в первом наборе изображений. Процессор дополнительно выполнен с возможностью определения минимального среза FWHM по меньшей мере частично на основании среднего значения FWHM по изображениям в первом наборе изображений. Процессор дополнительно выполнен с возможностью выполнения оценки параметров на определенном минимальном срезе FWHM, соответствующем первому набору изображений. Процессор дополнительно выполнен с возможностью определения параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей первому набору изображений. Процессор дополнительно выполнен с возможностью сохранения определенных параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей первому набору изображений. Процессор дополнительно выполнен с возможностью выполнения оценки фазы для каждого изображения в первом наборе изображений. Процессор дополнительно выполнен с возможностью выполнения вычисления модуляции по меньшей мере частично на основании определенных параметров наилучшей фокусировки, соответствующих первому набору изображений. Процессор дополнительно выполнен с возможностью формирования отчета, представляющего значения параметров, соответствующих оптической системе, по меньшей мере частично на основании выполненного вычисления модуляции, соответствующей первому набору изображений.

[0035] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, мишень включает контейнер для образцов.

[0036] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, мишень включает биологический образец в контейнере для образцов.

[0037] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, светоизлучающий узел выполнен с возможностью излучения света в по меньшей мере двух каналах.

[0038] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, по меньшей мере два канала включают по меньшей мере два цвета, причем каждый цвет из по меньшей мере двух цветов соответствует соответствующему каналу из по меньшей мере двух каналов.

[0039] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, первый оптический узел дополнительно включает переключатель решетки, причем переключатель решетки выборочно направляет свет или позволяет ему излучаться из светоизлучающего узла в направлении первой фазовой маски или второй фазовой маски.

[0040] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, переключатель решетки включает по меньшей мере один выполненный с возможностью перемещения отражающий элемент.

[0041] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, переключатель решетки дополнительно включает выполненную с возможностью поворота пластину, поддерживающую выполненный с возможностью перемещения отражающий элемент, причем выполненная с возможностью поворота пластина выполнена с возможностью вращения так, чтобы выборочно помещать отражающий элемент относительно первой фазовой маски или второй фазовой маски, тем самым выборочно направляя свет или позволяя ему излучаться из светоизлучающего узла в направлении первой фазовой маски или второй фазовой маски.

[0042] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, фазорегулирующий узел включает выполненный с возможностью перемещения отражающий элемент.

[0043] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, фазорегулирующий узел дополнительно включает исполнительный механизм для перемещения выполненного с возможностью перемещения отражающего элемента.

[0044] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, исполнительный механизм выполнен с возможностью перемещения выполненного с возможностью перемещения отражающего элемента вдоль линейного пути.

[0045] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из двух предшествующих абзацев настоящего изложения сущности изобретения, исполнительный механизм включает пьезоэлектрический элемент.

[0046] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью вычисления сдвига фазы между парами изображений первого набора изображений, причем каждая пара изображений из пар изображений имеет общие канал и угол решетки.

[0047] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью сравнения вычисленных сдвигов фазы с заданным диапазоном сдвигов фазы.

[0048] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью определения того, что по меньшей мере один из вычисленных сдвигов фазы находится вне заданного диапазона сдвигов фазы. Процессор дополнительно выполнен с возможностью в ответ на определение того, что по меньшей мере один из вычисленных сдвигов фазы находится вне заданного диапазона сдвигов фазы, вычисления значений усиления для коррекции сдвигов фазы, которые находятся вне заданного диапазона сдвигов фазы.

[0049] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью установления новых фазосдвигающих напряжений по меньшей мере частично на основании вычисленных значений усиления.

[0050] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, фазорегулирующий узел включает пьезоэлектрический элемент для регулирования фазы света, структурированного первой фазовой маской и второй фазовой маской, причем новые фазосдвигающие напряжения активируют пьезоэлектрический элемент, чтобы обеспечить сдвиги фазы, которые ближе к заданному диапазону значений.

[0051] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, устройство дополнительно включает нацеливающее устройство, включающее предварительно сформированный оптический узор. Нацеливающее устройство выполнено с возможностью разрешения первому оптическому узлу излучать структурированное освещение в виде предварительно сформированного оптического узора. Нацеливающее устройство дополнительно выполнено с возможностью разрешения датчику изображения захватывать изображения предварительно сформированного оптического узора, который создан первым оптическим узлом.

[0052] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, предварительно сформированный оптический узор включает массив точек.

[0053] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, точки массива расположены неупорядоченно.

[0054] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, точки массива разнесены друг от друга на по меньшей мере заданное минимальное расстояние интервала.

[0055] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из четырех предшествующих абзацев настоящего изложения сущности изобретения, предварительно сформированный оптический узор включает по меньшей мере одну пару линий.

[0056] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, первый узор первой фазовой маски включает первый набор линий. Второй узор второй фазовой маски включает второй набор линий. Линии по меньшей мере одной пары линий расположены так, чтобы находиться под углом относительно линий первого набора линий и относительно линий второго набора линий.

[0057] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из шести предшествующих абзацев настоящего изложения сущности изобретения, нацеливающее устройство дополнительно включает наполненный текучей средой канал, содержащий текучую среду, которая выполнена с возможностью флуоресценции в ответ на свет из первого оптического узла.

[0058] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, наполненный текучей средой канал имеет глубину от приблизительно 2 мкм до приблизительно 10 мкм.

[0059] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из шести предшествующих абзацев настоящего изложения сущности изобретения, наполненный текучей средой канал имеет глубину приблизительно 3 мкм.

[0060] В некоторых вариантах реализации выполненный с возможностью считывания процессором носитель информации включает содержимое, которое выполнено с возможностью инициирования обработки компьютерной системой данных путем выполнения способа из одного или более способов, описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения.

[0061] Следует понимать, что все комбинации вышеуказанных концепций и дополнительных концепций, более подробно описанных ниже (при условии, что указанные концепции не являются взаимно противоречащими), рассматриваются как часть объекта изобретения, описанного в данном документе, и предназначены для достижения выгод/преимуществ, описанных в настоящем документе. В частности, все комбинации заявленного объекта изобретения, появляющиеся в конце данного описания, считаются частью объекта изобретения, описанного в данном документе.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0062] Подробное описание одного или более вариантов реализации представлено в приведенных ниже сопроводительных графических материалах и описании. Прочие признаки, аспекты и преимущества станут очевидными из описания, рисунков и формулы изобретения, в которых:

[0063] на ФИГ. 1A изображен пример формирования муаровой интерференционной полосы путем использования решетки с одномерной (1D) модуляцией.

[0064] На ФИГ. 1B изображена графическая иллюстрация интенсивностей освещения, создаваемого двумерным (2D) узором структурированного освещения.

[0065] На ФИГ. 1C изображен пример геометрической структуры для расположения нанолунок.

[0066] На ФИГ. 2 изображена принципиальная схема системы визуализации биологического образца SIM, которая может использовать пространственно структурированный возбуждающий свет для формирования изображения образца.

[0067] На ФИГ. 3 изображена принципиальная схема примера альтернативного оптического узла для использования в системе визуализации биологического образца SIM, изображенной на ФИГ. 2.

[0068] На ФИГ. 4 изображена принципиальная схема узла фазовой маски оптического узла, изображенного на ФИГ. 3.

[0069] На ФИГ. 5A изображена принципиальная схема оптического узла, изображенного на ФИГ. 3, с переключателем решетки в первом состоянии и выполненным с возможностью регулирования отражающим элементом в первом состоянии.

[0070] На ФИГ. 5B изображена принципиальная схема оптического узла, изображенного на ФИГ. 3, с переключателем решетки в первом состоянии и выполненным с возможностью регулирования отражающим элементом во втором состоянии.

[0071] На ФИГ. 5C изображена принципиальная схема оптического узла, изображенного на ФИГ. 3, с переключателем решетки во втором состоянии и выполненным с возможностью регулирования отражающим элементом в первом состоянии.

[0072] На ФИГ. 5D изображена принципиальная схема оптического узла, изображенного на ФИГ. 3, с переключателем решетки во втором состоянии и выполненным с возможностью регулирования отражающим элементом во втором состоянии.

[0073] На ФИГ. 6A приведено упрощенное изображение параллельных линий, изогнутых из-за искажения увеличивающей линзы.

[0074] На ФИГ. 6B показан первый набор измерений, выполненных на длинах волны, равных интервалу между номинально параллельными линиями.

[0075] На ФИГ. 6C изображен второй набор измерений, выполненных на длинах волны, равных интервалу между номинально параллельными линиями.

[0076] На ФИГ. 6D изображен пример подплиток или подполей изображения полного поля обзора (FOV).

[0077] На ФИГ. 7 изображена блок-схема примера способа для проверки управления качеством в системе визуализации SIM.

[0078] На ФИГ. 8 изображена блок-схема примера способа для фазы калибровки в системе визуализации SIM.

[0079] На ФИГ. 9A изображен оптический узор для специального устройства-мишени для использования в системе визуализации не SIM.

[0080] На ФИГ. 9B изображен оптический узор для специального устройства-мишени для использования в системе визуализации SIM.

[0081] На ФИГ. 10 изображены графики, показывающие примеры различных интенсивностей света, которые могут быть получены посредством конструктивной и деструктивной интерференции в системе визуализации SIM.

[0082] На ФИГ. 11A изображен пример профиля интенсивности для узора структурированного освещения не под углом.

[0083] На ФИГ. 11B изображен пример профиля интенсивности для узора структурированного освещения под углом.

[0084] На ФИГ. 12 изображены сигналы модуляции при повторном формировании изображения посредством формирования изображения SIM каналов для текучей среды переменной толщины.

[0085] Следует понимать, что некоторые или все из фигур являются схематическими представлениями для целей иллюстрации. Фигуры представлены с целью иллюстрации одного или более вариантов реализации с явным пониманием того, что они не будут использоваться для ограничения объема или смысла формулы изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

[0086] В некоторых аспектах способы и системы для обеспечения управления качеством и калибровкой с помощью оптики для формирования изображений и связанных оптических компонентов описаны в настоящем документе в рамках системы SIM, в частности в рамках системы SIM, которую используют для формирования изображений биологических образцов, таких как нуклеотидные последовательности.

[0087] В контексте формирования изображений биологических образцов, таких как нуклеотидные последовательности, SIM может обеспечивать возможность развертывания плотно упакованных образцов из проточных кювет с флуоресцентными сигналами из миллионов точек образа, тем самым уменьшая количество реагентов, необходимых для обработки, и увеличивая производительность обработки изображений. В некоторых случаях SIM может сделать возможным разрешение образцов, плотность упаковки которых выше дифракционного предела Аббе для развертки смежных источников света. Биологические образцы могут находиться в равномерно разнесенных нанолунках на проточной кювете или они могут находиться в распределенных случайным образом кластерах. Смежные нанолунки могут быть расположены относительно друг друга на расстоянии меньше дифракционного предела Аббе соответствующей оптической системы. Хотя настоящий пример относится к биологическим образцам в нанолунках проточной кюветы, изложенные в настоящем документе идеи могут быть применены к биологическим образцам в различных других устройствах и другого вида системах, которые используют SIM. Поэтому изложенные в настоящем документе идеи не обязательно ограничиваются формированием изображений биологических образцов.

[0088] I. Введение

[0089] Структурированное освещение может создавать изображения, которые имеют в несколько раз больше развернутых источников освещения, чем при нормальном освещении. Множественные изображения с меняющимися углами и фазовыми смещениями структурированного освещения используют для преобразования близко расположенных, иначе неразворачиваемых, элементов с высокой пространственной частотой в сигналы более низкой частоты, которые могут быть восприняты оптической системой без нарушения дифракционного передела Аббе. Этот предел физически заложен в формирование изображений природой света и оптики и выражается как функция от длины волны излучения и числовой апертуры (NA) конечной линзы объектива. При применении реконструкции SIM информацию из множества изображений преобразуют из пространственной области в область Фурье, объединяют и обрабатывают, затем реконструируют в улучшенное изображение. Набор исходных изображений более низкого разрешения, которые обрабатывают в системе и способе SIM, может быть назван «стек SIM». Изображения в каждом стеке SIM могут быть получены с помощью линзы объектива, которая находится в соответствующем z-положении или на расстоянии относительно объекта, изображение которого нужно сформировать. Могут быть получены несколько стеков SIM одного и того же объекта, причем каждый стек SIM имеет z-положение, которое отличается от z-положения других стеков SIM того же самого объекта.

[0090] В SIM используют решетку или формируют интерференционный узор между источником освещения и образцом, чтобы сформировать узор освещения, такой как узор, интенсивность которого меняется в соответствии с синусоидой или косинусоидой. В контексте SIM помимо обозначения поверхности, которая создает узор структурированного освещения, термин «решетка» иногда означает спроецированный узор структурированного освещения. В альтернативном варианте осуществления узор структурированного освещения может быть сформирован в виде интерференционного узора между частями расщепленного когерентного луча.

[0091] Проекция структурированного освещения на плоскость образца, например, как показано на ФИГ. 1, смешивает узор освещения с флуоресцентными (или отражающими) источниками в образце и вызывает новый сигнал, иногда называемый муаровой интерференционной полосой или наложением спектров. Новый сигнал сдвигает информацию высокой пространственной частоты в более низкую пространственную частоту, которая может быть захвачена без нарушения дифракционного предела Аббе.

[0092] После захвата изображений образца, освещенного с помощью одномерного (1D) узора модуляции интенсивности, как показано на ФИГ. 1A, или двумерного (2D) узора модуляции интенсивности, как показано на ФИГ. 1B, решают систему линейных уравнений и используют ее для выделения из множества изображений муаровой интерференционной полосы или наложения спектров частей нового сигнала, который содержит информацию, сдвинутую от более высокой к более низкой пространственной частоте.

[0093] Чтобы решить линейные уравнения, захватывают несколько изображений с пошаговым сдвигом или смещением узора структурированного освещения. Для анализа могут быть захвачены изображения с меняющимися фазами на каждый угол и затем разделены по полосам для сдвига области Фурье и повторного объединения. Увеличение количества изображений может улучшить качество реконструируемых изображений за счет повышения отношения сигнал/шум. Однако это может также увеличить время вычисления. Представление Фурье разделенных полосами изображений сдвигают и суммируют для получения реконструированной суммы. В итоге с помощью обратного быстрого преобразования Фурье (FFT) из реконструированный суммы реконструируют новое изображение высокого разрешения.

[0094] Стандартные алгоритмы для одномерного (1D) модулированного освещения могут включать в себя модификацию при использовании их с двумерным (2D) узором модулированного освещения. Это может включать разнос пиков освещенности и оценку угла пика освещенности, что может включать в себя двумерное (2D) разделение полосы. Модификация может также включать оценку фазы по Уикеру, в которой используют две точки (вместо одной), чтобы оценить фазу в двух измерениях. Одномерный (1D) интерференционный узор может быть сформирован одномерной дифракционной решеткой, как показано на ФИГ. 1A, или в результате интерференционного узора двух лучей. В некоторых случаях во время формирования изображения образца получают три изображения узоров интерференционных полос с различными фазами узора (например, 0°, 120° и 240°), чтобы каждое местоположение на образце подвергалось воздействию диапазона интенсивностей освещения, причем эту процедуру повторяют, поворачивая ориентацию узора вокруг оптической оси на 2 (например, 45°, 135°) или 3 (например, 0°, 60° и 120°) отдельных угла.

[0095] На ФИГ. 1B показано распределение интенсивности, которое может быть получено посредством двумерной (2D) дифракционной решетки или посредством интерференции двух пар когерентных лучей света. В частности, двумерное (2D) структурированное освещение может быть сформировано двумя ортогональными одномерными (1D) дифракционными решетками, наложенными друг на друга. Как и в случае одномерных (1D) узоров структурированного освещения, двумерные (2D) узоры освещения могут быть сформированы либо путем использования двумерных (2D) дифракционных решеток, либо посредством интерференции между двумя парами когерентных лучей света, которые создают регулярно повторяющийся узор интерференционных полос. Два луча света создают узор интенсивности (горизонтальные яркие и темные линии) вдоль оси y и поэтому называются y-парой падающих лучей. Еще два луча света создают узор интенсивности (вертикальные яркие и темные линии) вдоль оси x и поэтому называются x-парой падающих лучей. Интерференция y-пары с x-парой лучей света создает двумерный (2D) узор освещения. На ФИГ. 1B показано распределение интенсивности такого двумерного (2D) узора освещения.

[0096] На ФИГ. 1C показано расположение нанолунок 10 на поверхности проточной кюветы в углах прямоугольника. На ФИГ. 1C также показаны линии 20 узора интерференционных полос структурированного освещения, спроецированного на нанолунки 10. В показанном примере линии 20 смещены под небольшим углом относительно расположенных на одной линии нанолунок 10, так что линии 20 не выровнены идеально (или не параллельны) ни с рядами нанолунок 10, ни со столбцами нанолунок 10. В альтернативном варианте осуществления линии 20 могут иметь любую другую пространственную взаимосвязь с расположенными на одной линии столбцами или рядами нанолунок 10 или с другими пространственными расположениями нанолунок 10. При использовании одномерного (1D) структурированного освещения угол пика освещенности выбран так, что изображения получают вдоль линии, соединяющей по диагонали противоположные углы прямоугольника. Например, можно получить два набора из трех изображений (всего шесть изображений) под углами +45 градусов и -45 градусов. Поскольку расстояние вдоль диагонали больше расстояния между любыми двумя сторонами прямоугольника, можно получить изображение более высокого разрешения. Нанолунки 10 могут быть расположены в виде других геометрических фигур, таких как шестиугольник. В таком случае можно получить три или более изображения вдоль каждой из трех диагоналей шестиугольника, что в итоге дает, например, девять или пятнадцать изображений.

[0097] II. Терминология

[0098] Термин «частота», используемый в настоящем документе в отношении параметра структурированного освещения, означает величину, обратную расстоянию между интерференционными полосами или линиями узора структурированного освещения (например, узора интерференционных полос или решетки), т. к. частота и период находятся в обратной зависимости. Например, узор, имеющий большее расстояние между интерференционными полосами, будет иметь частоту ниже, чем узор, имеющий меньшее расстояние между интерференционными полосами.

[0099] Термин «фаза», используемый в настоящем документе в отношении параметра структурированного освещения, означает фазу узора структурированного освещения, освещающего образец. Например, фаза может быть изменена перемещением узора структурированного освещения относительно освещаемого образца.

[00100] Термин «ориентация», используемый в настоящем документе в отношении параметра структурированного освещения, означает относительную ориентацию между узором структурированного освещения (например, узором интерференционных полос или решетки) и образцом, освещаемым этим узором. Например, ориентация может быть изменена вращением узора структурированного освещения относительно освещаемого образца.

[00101] Термины «предсказанный» или «предсказание», используемые в настоящем документе в отношении параметра структурированного освещения, означают либо (i) вычисление значений параметра без непосредственного измерения параметра, либо (ii) оценку параметра по захваченному изображению, соответствующему параметру. Например, фаза узора структурированного освещения в момент времени t1 может быть предсказана путем интерполяции между значениями фазы, измеренными напрямую или оцененными (например, по захваченным фазовым изображениям) в моменты времени t2 и t3, где t2 < t1 < t3. В качестве еще одного примера частота узора структурированного освещения в момент времени t1 может быть предсказана путем экстраполяции из значений частоты, измеренных напрямую или оцененных (например, по захваченным фазовым изображениям) в моменты времени t2 и t3, где t2 < t3 < t1.

[00102] Термин «порядок» или «порядковый номер», используемый в настоящем документе в отношении света, дифрагированного дифракционной решеткой, означает количество целочисленных длин волн, которые представляют разницу длины пути света из смежных щелей или структур дифракционной решетки для конструктивной интерференции. Взаимодействие падающего луча света с повторяющимся рядом структур решетки или других структур, расщепляющих луч, может перенаправить или дифрагировать части луча света в предсказуемых угловых направлениях относительно первоначального луча. Термин «нулевого порядка» или «максимум нулевого порядка» означает центральную яркую интерференционную полосу, излучаемую дифракционной решеткой, в которой нет дифракции. Термин «первого порядка» означает две яркие интерференционные полосы, дифрагированные в обе стороны от интерференционной полосы нулевого порядка, причем разница длин пути равна ±1 длине волны. Полосы более высокого порядка дифрагируются на более высокие углы от первоначального луча. Свойствами решетки можно манипулировать для управления степенью интенсивности луча, направляемой в полосы различного порядка. Например, фазовая решетка может быть изготовлена так, чтобы максимизировать передачу лучей ненулевых порядков и минимизировать передачу луча нулевого порядка.

[00103] Используемый в настоящем документе термин «оптическая передаточная функция» или его сокращенная форма «OTF» означает имеющую комплексные значения передаточную функцию, описывающую отклик системы формирования изображения как функцию от пространственной частоты. OTF может быть получена из преобразования Фурье функции рассеяния точки. В примерах, описанных в настоящем документе, важна только амплитудная часть OTF. Амплитудная часть OTF может называться «модуляционной передаточной функцией» или «MTF» в сокращенном виде.

[00104] Термин «элемент», используемый в настоящем документе в отношении образца, означает точку или область в структуре, которую можно отличить от других точек или областей на основании относительного расположения. Отдельный элемент может включать одну или более молекул определенного типа. Например, элемент может включать одну целевую молекулу нуклеиновой кислоты, имеющую конкретную последовательность, или элемент может включать несколько молекул нуклеиновой кислоты, имеющих одну и ту же последовательность (и/или комплементарную ей последовательность).

[00105] Используемый в настоящем документе термин «плоскость xy» означает 2-мерную область, определяемую прямыми осями x и y в декартовой системе координат. При использовании в отношении детектора и объекта, наблюдаемого детектором, область может быть дополнительно определена как ортогональная оси луча или направлению наблюдения между детектором и обнаруживаемым объектом.

[00106] Используемый в настоящем документе термин «координата z» означает информацию, которая определяет местоположение точки, линии или области вдоль оси, которая ортогональна плоскости xy в декартовой системе координат. В конкретных вариантах реализации ось z перпендикулярна области объекта, наблюдаемой детектором. Например, направление фокуса оптической системы может быть установлено вдоль оси z.

[00107] Используемый в настоящем документе термин «оптически связанный» означает один элемента, адаптируемый для прямой или косвенной передачи света другому элементу.

[00108] В настоящем документе элемент или стадия, перечисленные в единственном числе и предшествующие слова в единственном числе, следует понимать как не исключающие множественное число указанных элементов или стадий, если такое исключение не указано явным образом. Более того, ссылки на «один вариант реализации» не следует интерпретировать как исключающие существование дополнительных вариантов реализации, которые также включают в себя указанные элементы. Более того, если явно не указано иное, варианты реализации «содержащие» или «имеющие» элемент или множество элементов, имеющих конкретное свойство, могут включать в себя дополнительные элементы, независимо от того, имеют ли они это свойство или нет.

[00109] Термины «по существу», «около» и «приблизительно», используемые в данном описании, используются для описания и учета небольших отклонений, например, из-за разброса при обработке. Например, они могут относиться к составляющим ±5% или менее, например составляющим ±2% или менее, например составляющим ±1% или менее, например составляющим ±0,5% или менее, например составляющим ±0,2% или менее, например составляющим ±0,1% или менее, например составляющим ±0,05% или менее.

[00110] Термин «на основании» следует понимать как означающий, что нечто определено по меньшей мере частично тем, «на основании» чего оно указано. Чтобы указать, что нечто должно быть полностью определено чем-то другим, это описывают как основанное исключительно на чем-то, чем оно полностью определяется.

[00111] Используемый в настоящем документе термин «нуклеотидная последовательность» или «полинуклеотидная последовательность» следует понимать как включающий полинуклеотидную молекулу, а также в зависимости от контекста как лежащую в основе последовательность молекул. Последовательность полинуклеотида может содержать (или кодировать) информацию, указывающую определенные физические характеристики.

[00112] III. Примеры компонентов и сборок системы визуализации

[00113] В некоторых вариантах реализации систем SIM линейно поляризованный луч света направляют через оптический расщепитель луча, который расщепляет луч на два или более отдельных порядка, которые могут быть объединены и спроецированы на образец, изображение которого формируют, в виде узора интерференционных полос с синусоидальным изменением интенсивности. Расщепленные лучи имеют одинаковую мощность, чтобы достичь максимальной модуляции в плоскости образца. Примерами расщепителей луча являются дифракционные решетки, которые могут формировать лучи с высокой степенью когерентности и стабильными углами распространения. Когда два таких луча объединяются, интерференция между ними может создавать узор из равномерных регулярно повторяющихся интерференционных полос, причем расстояние между ними определяется факторами, включающими угол между интерферирующими лучами. Взаимосвязь между периодичностью (FP) интерференционных полос, углом (θ) падения и длиной волны света (λ) может быть выражена следующим уравнением (I):

FP=λ ÷ 2sin(θ), (I)

где период (FP) интерференционных полос и длина волны света (λ) даны в одних и тех же единицах измерения (например, нм), а θ является углом падения относительно нормали к поверхности, выраженным в радианах.

[00114] На ФИГ. 2-4B показаны примеры различных форм, которые могут принимать системы визуализации SIM. Следует отметить, что, хотя эти системы описаны прежде всего в контексте систем визуализации SIM, которые формируют одномерные (1D) узоры освещения, описанная в настоящем документе технология может быть реализована с помощью систем визуализации SIM, которые формируют узоры освещения большей размерности (например, двумерные узоры решетки).

[00115] На ФИГ. 2 показана система 100 визуализации SIM, которая может реализовывать предсказание параметра структурированного освещения в соответствии с некоторыми вариантами реализации, описанными в настоящем документе. Например, система 100 может представлять собой систему флуоресцентной микроскопии структурированного освещения, которая использует пространственно структурированный возбуждающий свет для формирования изображения биологического образца.

[00116] В примере на ФИГ. 2 излучатель 150 света выполнен с возможностью испускания луча света, который коллимируют коллиматорной линзой 151. Коллимированный свет структурируют (придают узор) посредством оптического узла 155 структурирования света и направляют посредством дихроичного зеркала 160 через линзу 142 объектива на образец в контейнере 110 для образцов, который помещен на подвижный столик 170. В случае флуоресцентного образца образец флуоресцирует в ответ на структурированный возбуждающий свет, и получающийся в результате свет собирается линзой 142 объектива и направляется на датчик изображения системы 140 камеры для обнаружения флуоресценции.

[00117] Оптический узел 155 структурирования света включает одну или более оптических дифракционных решеток или других расщепляющих луч элементов (например, куб или пластину расщепителя луча) для формирования светового узора (например, интерференционных полос, обычно синусоидальных), который проецируют на образцы в контейнере 110 для образцов. Дифракционные решетки могут быть одномерными или двумерными передающими или отражающими решетками. Дифракционные решетки могут быть дифракционными решетками с синусоидальной амплитудой или решетками с синусоидальной фазой. В некоторых версиях оптический узел 155 структурирования света включает пару фазовых масок, причем каждая фазовая маска включает кусок стекла с градуировками, вытравленными в стекле.

[00118] В некоторых вариантах реализации дифракционные решетки могут не использовать вращающийся столик для изменения ориентации узора структурированного освещения. В других вариантах реализации дифракционная(-ые) решетка(-и) может (могут) быть установлена(-ы) на вращающемся столике. В некоторых вариантах реализации дифракционные решетки могут быть неподвижными во время работы системы визуализации (т. е. не требуют вращательного или линейного движения). Например, в конкретном варианте реализации, дополнительно описанном ниже, дифракционные решетки могут включать две фиксированные одномерные передающие дифракционные решетки, ориентированные перпендикулярно друг другу (например, горизонтальная дифракционная решетка и вертикальная дифракционная решетка).

[00119] Как показано в примере на ФИГ. 2, оптический узел 155 структурирования света испускает дифрагированные лучи света первого порядка, при этом блокируя или сводя к минимуму лучи других порядков, включая лучи нулевого порядка. Однако в альтернативных вариантах реализации на образец могут быть спроецированы лучи света дополнительных порядков.

[00120] В течение каждого цикла формирования изображения система 100 визуализации использует оптический узел 155 структурирования света для получения множества изображений при различных фазах с боковым смещением узора интерференционных полос в направлении модуляции (например, в плоскости x-y и перпендикулярно интерференционным полосам), причем эту процедуру повторяют один или более раз, поворачивая ориентацию узора вокруг оптической оси (т. е. относительно плоскости x-y образца). Затем захваченные изображения могут быть реконструированы при помощи вычислений для формирования изображения с более высоким разрешением (например, изображения, имеющего примерно в два раза большее боковое пространственное разрешение по сравнению с отдельными изображениями).

[00121] В системе 100 излучатель 150 света может быть некогерентным излучателем света (например, излучать лучи света, выводимые одним или более возбуждающими диодами) или когерентным излучателем света, таким как излучатель света, испускаемого одним или более лазерами или лазерными диодами. Как показано в примере системы 100, излучатель 150 света включает оптическое волокно 152 для направления оптического луча, подлежащего выпуску. Однако могут быть использованы другие конфигурации излучателя 150 света. В вариантах реализации, использующих структурированное освещение в многоканальной системе визуализации (например, в многоканальном флуоресцентном микроскопе, использующем множество длин волн света), оптическое волокно 152 может быть оптически связано со множеством различных источников света (не показаны), причем каждый источник света излучает свет с другой длиной волны. Хотя показано, что система 100 имеет один излучатель 150 света, некоторые варианты реализации могут включать множество излучателей 150 света. Например, множество излучателей света могут быть включены в случае системы визуализации со структурированным освещением, использующей множество плеч, которая дополнительно рассмотрена ниже.

[00122] В некоторых вариантах реализации система 100 может включать проекционную линзу 156, которая может включать элемент линзы для шарнирного соединения вдоль оси z для регулировки формы и пути структурированного луча. Например, компонент проекционной линзы 156 может быть шарнирно перемещен для учета диапазона толщин образцов (например, разной толщины покровного стекла) образца в контейнере 110.

[00123] В примере системы 100 модуль или устройство 190 подачи текучей среды может направлять поток реагентов (например, флуоресцентно-меченных нуклеотидов, буферов, ферментов, расщепляющих реагентов и т. д.) в (и через) контейнер 110 для образцов и сливной клапан 120. Контейнер 110 для образцов может содержать одну или более подложек, на которых обеспечены образцы. Например, в случае системы для анализа большого количества различных нуклеотидных последовательностей контейнер 110 для образцов может включать одну или более подложек, которые покрыты, к которым прикреплены или присоединены нуклеиновые кислоты, подлежащие секвенированию. Подложка может включать любую инертную подложку или матрицу, к которой могут быть прикреплены нуклеиновые кислоты, такую как, например, стеклянные поверхности, пластмассовые поверхности, латекс, декстран, полистироловые поверхности, полипропиленовые поверхности, полиакриламидные гели, золотые поверхности и кремниевые вафли. В некоторых областях применения подложка находится внутри канала или другой области во множестве местоположений, образованных в матрице или массиве по всему контейнеру 110 для образцов. Система 100 может также включать исполнительный механизм 130 блока температуры и нагреватель/охладитель 135, которые могут при необходимости регулировать температурный режим текучих сред в контейнере 110 для образцов.

[00124] В конкретных вариантах реализации контейнер 110 для образцов может быть реализован в виде структурированной проточной кюветы, содержащей прозрачную накладную пластину, подложку и содержащуюся между ними жидкость, а биологический образец может быть помещен на внутренней поверхности прозрачной накладной пластины или внутренней поверхности подложки. Проточная кювета может содержать большое количество (например, тысячи, миллионы или миллиарды) лунок (также называемых нанолунками) или областей, которые структурированы в массив определенной формы (например, шестиугольный массив, прямоугольный массив и т. д.) в подложке. Каждая область может образовывать кластер (например, моноклональный кластер) биологического образца, такого как ДНК, РНК или другой геномный материал, который может быть секвенирован, например, с использованием секвенирования путем синтеза. Проточная кювета может быть дополнительно разделена на ряд разнесенных дорожек (например, восемь дорожек), причем каждая дорожка содержит шестиугольный массив кластеров.

[00125] Контейнер 110 для образцов может быть установлен на столике 170 для образцов, чтобы обеспечивать перемещение и выравнивание контейнера для образов 110 относительно линзы 142 объектива. Столик для образцов может иметь один или более исполнительных механизмов, позволяющих ему перемещаться в любом из трех измерений. Например, с точки зрения декартовой системы координат могут быть предусмотрены исполнительные механизмы, позволяющие столику перемещаться в направлениях x, y и z относительно линзы объектива. Это может позволить расположить одно или несколько мест для образцов на контейнере 110 для образцов так, чтобы оптически совместить их с линзой 142 объектива. Перемещение столика 170 для образцов относительно линзы 142 объектива может быть достигнуто путем перемещения самого столика для образцов, линзы объектива, некоторых других компонентов системы визуализации или любой комбинации вышеперечисленного. Другие варианты реализации могут также включать перемещение всей системы визуализации над неподвижным образцом. В альтернативном варианте реализации контейнер 110 для образцов может быть неподвижен во время формирования изображения.

[00126] В некоторых вариантах реализации для управления позиционированием оптических компонентов относительно контейнера 110 для образцов в направлении фокуса (обычно называемом осью z или направлением z) может быть включен фокусирующий компонент 175 (оси z). Фокусирующий компонент 175 может включать один или более исполнительных механизмов, физически соединенных со столиком для оптики или столиком для образцов, либо и с тем и с другим, для перемещения контейнера 110 для образцов на столике 170 для образцов относительно оптических компонентов (например, линзы 142 объектива), чтобы обеспечивать надлежащую фокусировку для операции формирования изображения. Например, исполнительный механизм может быть физически соединен с соответствующим столиком, например, посредством прямого или опосредованного механического, магнитного, гидравлического или другого присоединения к столику или контакта со столиком. Один или более исполнительных механизмов могут быть выполнены с возможностью перемещения столика в направлении z с сохранением положения столика для образов в одной и той же плоскости (например, с сохранением уровня или горизонтального положения, перпендикулярного оптической оси). Один или более исполнительных механизмов могут быть также выполнены с возможностью наклонения столика. Это может быть сделано, например, для динамического выравнивания контейнера 110 для образцов с учетом любого наклона его поверхностей.

[00127] Структурированный свет, исходящий из тестового образца в местоположении образца, изображение которого формируют, может быть направлен посредством дихроичного зеркала 160 на один или более детекторов системы 140 камеры. Некоторые варианты реализации могут включать узел 165 переключения фильтров с одним или более эмиссионными фильтрами, причем один или более эмиссионных фильтров могут быть использованы для пропускания излучения с конкретными длинами волн и блокировки (или отражения) излучения с другими длинами волн. Например, один или более эмиссионных фильтров могут быть использованы для переключения между различными каналами системы визуализации. В конкретном варианте реализации эмиссионные фильтры могут быть реализованы в виде дихроичных зеркал, которые направляют излучаемый свет разных длин волн на разные датчики изображения системы 140 камеры.

[00128] Система 140 камеры может включать один или более датчиков изображения для контроля и отслеживания формирования изображения (например, секвенирования) контейнера 110 для образцов. Система 140 камеры может быть реализована, например, в виде камеры с датчиком изображения на приборе с зарядовой связью (ПЗС), однако могут быть использованы другие технологии датчика изображения (например, активно-пиксельный датчик). Хотя на ФИГ. 2 система 140 камеры и связанные оптические компоненты показаны расположенными над контейнером 110 для образцов, один или более датчиков или других компонентов камеры могут быть встроены в систему 100 множеством других способов, которые будут очевидны специалистам в данной области в контексте идей, представленных в настоящем документе. Например, один или более датчиков изображения могут быть расположены под контейнером 110 для образцов или могут быть даже встроены в контейнер 110 для образцов.

[00129] Выходные данные (например, изображения) из системы 140 камеры могут быть переданы в компонент 191 формирования изображений SIM в режиме реального времени, который может быть реализован в виде программного приложения, которое, как дополнительно описано ниже, может реконструировать изображения, захваченные во время каждого цикла формирования изображений, чтобы создавать изображение, имеющее более высокое пространственное разрешение. Реконструированные изображения могут учитывать изменения параметров структурированного освещения, которые предсказывают с течением времени. Кроме того, компонент 191 формирования изображений SIM может быть использован для отслеживания предсказываемых параметров SIM и/или для предсказания параметров SIM с учетом предыдущих оцененных и/или предсказанных параметров SIM.

[00130] Для управления работой системы 100 визуализации со структурированным освещением, в том числе синхронизацией различных оптических компонентов системы 100, может быть предусмотрен контроллер 195. Контроллер может быть реализован для управления аспектами работы системы, такими как, например, конфигурирование оптического узла 155 структурирования света (например, выбор и/или линейное перемещение дифракционных решеток), перемещение проекционной линзы 156, активация фокусирующего компонента 175, перемещение столика и операции формирования изображения. Контроллер может быть также выполнен с возможностью управления элементами оборудования системы 100 для коррекции изменений параметров структурированного освещения со временем. Например, контроллер может быть выполнен с возможностью передачи сигналов управления двигателям или другим устройствам, управляющим конфигурацией оптического узла 155 структурирования света, движением столика 170 или некоторыми другими элементами системы 100 для коррекции или компенсации изменений фазы, частоты и/или ориентации структурированного освещения со временем. В вариантах реализации эти сигналы могут быть переданы в соответствии с параметрами структурированного освещения, предсказанными с использованием компонента 191 формирования изображения SIM. В некоторых вариантах реализации контроллер 195 может включать запоминающее устройство для хранения предсказанных или оцененных параметров структурированного освещения, соответствующих различным моментам времени и/или положениям образца.

[00131] В различных вариантах реализации контроллер 195 может быть выполнен с возможностью использования оборудования, алгоритмов (например, машиноисполняемых команд) или комбинации вышеперечисленного. Например, в некоторых вариантах реализации контроллер может включать один или более центральных процессоров (ЦП), графических процессоров (ГП) или процессоров со связанным запоминающим устройством. В качестве еще одного примера контроллер может представлять собой оборудование или другую электрическую схему для управления работой, такую как компьютерный процессор и энергонезависимый машиночитаемый носитель с хранящимися на нем машиночитаемыми командами. Например, эта электрическая схема может включать одно или более из следующего: программируемая пользователем вентильная матрица (FPGA), интегральная схема специального назначения (ASIC), программируемое логическое устройство (PLD), сложное программируемое логическое устройство (CPLD), программируемая логическая матрица (PLA), программируемая матричная логика (PAL) и другие подобные устройства или электрические схемы обработки. В качестве еще одного примера контроллер может представлять собой комбинацию электрической схемы с одним или более процессорами.

[00132] На ФИГ. 3 показан пример альтернативного оптического узла 200, который может быть встроен в систему (например, вместо оптического узла 155). Оптический узел 200 данного примера включает светоизлучающий узел 210, фиксированный отражающий элемент 220, узел 230 фазовой маски, переключатель 250 решетки, выполненный с возможностью регулирования отражающий элемент 270 и узел 280 проекционной линзы. Светоизлучающий узел 210 может включать различные компоненты, включая, без ограничений, источник когерентного света (например, по меньшей мере один лазер и т. д.) и пару анаморфных призм, источник некогерентного света и коллиматор или любые другие подходящие компоненты, которые будут очевидны специалистам в данной области в контексте идей, представленных в настоящем документе. В некоторых версиях светоизлучающий узел 210 выполнен с возможностью излучения света через два или более отдельных канала (например, канал сигнала синего и канал сигнала зеленого). В версиях, в которых свет излучают в двух или более отдельных каналах, система 100 может включать два или более соответствующих датчика изображения, так что каждый датчик изображения предназначен для соответствующего датчика изображения. Кроме того, в некоторых версиях светоизлучающий узел 210 выполнен с возможностью излучения света в виде импульсов с заданной частотой (например, с использованием высокоскоростного затвора и т. д.).

[00133] Отражающий элемент 220 настоящего примера включает зеркало, положение которого фиксировано относительно других компонентов оптического узла 200. Как более подробно описано ниже, отражающий элемент 220 расположен и выполнен с возможностью отражения света, излучаемого из светоизлучающего узла 210, в направлении узла 230 фазовой маски и переключателя 250 решетки во время работы оптического узла 200.

[00134] Как лучше всего видно на ФИГ. 4, узел 230 фазовой маски настоящего примера включает пару треугольных стеклянных элементов 232, 242, неподвижно установленных на основании 240. Каждый стеклянный элемент 232, 242 включает отражатель 234, 244 вдоль одной стороны стеклянного элемента 232, 242. Каждый стеклянный элемент 232, 242 также включает фазовую маску 236, 246 вдоль другой стороны стеклянного элемента 232, 242. В настоящем примере каждая фазовая маска 236, 246 включает градуировки (например, параллельные прорези или канавки и т. д.), образующие решетку или узор интерференционных полос, вытравленных в стекле стеклянных элементов 232, 242. Шаг градуировки может быть выбран так, чтобы она дифрагировала свет под подходящими углами и была настроена для минимального размера разрешения образцов, изображение которых формируют, для работы системы 100. Как будет более подробно описано ниже, эти фазовые маски 236, 246 выполнены с возможностью создания муаровых интерференционных полос или наложения спектра во время работы оптического узла 200. Хотя в настоящем примере фазовые маски 236, 246 формируют путем вытравливания градуировок в стекле стеклянных элементов 232, 242, другие подходящие способы, которыми можно формировать маски 236, 246, будут очевидны специалистам в данной области в контексте идей, представленных в настоящем документе. Во время работы оптического узла 200 весь узел 230 фазовой маски остается неподвижным относительно других компонентов оптического узла 200.

[00135] Для повышения эффективности системы можно блокировать лучи нулевого порядка и все другие дифракционные лучи более высокого порядка, испускаемые каждой фазовой маской 236, 246 (например, отфильтровывать узор освещения, проецируемый на образец 110). Например, после прохождения узла 230 фазовой маски в оптику может быть вставлен элемент, блокирующий луч (не показан), такой как фильтр порядка. В некоторых вариантах реализации фазовые маски 236, 246 дифракционных решеток могут быть выполнены с возможностью дифрагирования лучей только в лучи первых порядков, а луч нулевого порядка (недифрагированный луч) может быть заблокирован некоторым элементом, блокирующим луч.

[00136] Как показано на ФИГ. 3, переключатель 250 решетки настоящего примера включает пластину 252, установленную на вал 254. Вал 254 дополнительно соединен с двигателем 256, который выполнен с возможностью вращения вала 254 и пластины 252 вокруг оси A. Один конец 260 пластины 252 включает пару зеркал 262, 264, причем каждое зеркало 262, 264 установлено на противоположной стороне пластины 252. Другой конец 266 пластины 252 ограничивает отверстие 268, которое позволяет свету проходить через него, как описано ниже. В некоторых версиях двигатель 256 является шаговым двигателем. В альтернативном варианте осуществления двигатель 256 может быть в любой другой форме, и двигатель 256 может быть заменен любым другим подходящим источником вращательного движения. Как показано на ФИГ. 5A-5D и будет более подробно рассмотрено ниже, двигатель 256 может быть активирован для перевода переключателя 250 между первым состоянием (ФИГ. 5A-5B) и вторым состоянием (ФИГ. 5C-5D) посредством вращающегося вала 254 и пластины 252 вокруг оси A. Когда переключатель 250 решетки находится в первом состоянии, переключатель 250 решетки и узел 230 фазовой маски могут обеспечивать первый угол решетки. Когда переключатель 250 решетки находится во втором состоянии, переключатель 250 решетки и узел 230 фазовой маски могут обеспечивать второй угол решетки.

[00137] Как также показано на ФИГ. 3, выполненный с возможностью регулирования отражающий элемент 270 настоящего примера включает зеркало, которое соединено с исполнительным механизмом 272, так что исполнительный механизм 272 выполнен с возможностью приведения в действие отражающего элемента 270 вдоль линейного пути LP1. В этом примере линейный путь LP1 параллелен оси A. В некоторых версиях исполнительный механизм 272 включает пьезоэлектрический элемент. В качестве еще одного примера исполнительный механизм 272 может включать соленоид. В некоторых других версиях исполнительный механизм 272 включает шаговый двигатель или другой источник приведения во вращение, соединенный с механическим узлом (например, реечной передачей или червячной передачей и гайкой и т. д.), который выполнен с возможностью преобразования вращательного движения в линейное движение. Как более подробно описано ниже, благодаря исполнительному механизму 272, изменяющему положение отражающего элемента 270 вдоль линейного пути LP1, исполнительный механизм 272 и отражающий элемент 270 вместе выполнены с возможностью обеспечения фазовой модуляции для света, который передается через оптический узел 200. Другими словами, исполнительный механизм 272 и отражающий элемент 270 могут вместе обеспечивать узел регулировки фазы.

[00138] В качестве примера исполнительный механизм 272 может быть выполнен с возможностью приведения в действие отражающего элемента 270 в диапазоне движения приблизительно 5 мкм во время работы исполнительного механизма 272, что может обеспечивать перемещение интерференционных полос на приблизительно 240 градусов, как более подробно описано ниже. В альтернативном варианте осуществления исполнительный механизм 272 может быть выполнен с возможностью приведения в действие отражающего элемента 270 в диапазоне движения, меняющемся от приблизительно 2 мкм до приблизительно 10 мкм во время работы исполнительного механизма 272. Как более подробно описано ниже, исполнительный механизм 272 может быть приведен в действие для остановки движения отражающего элемента в двух, трех или более различных положениях в диапазоне движения вдоль линейного пути.

[00139] Узел 280 проекционной линзы может включать один или более элементов линзы (например, трубчатую линзу) и различные другие компоненты, которые будут очевидны специалистам в данной области в контексте идей, представленных в настоящем документе. Свет, проходящий через узел 280 проекционной линзы, может в конечном счете достигать контейнера 110 для образцов (например, проточной кюветы и т. д.). В некоторых случаях это может вызывать флуоресценцию биологического материла в контейнере 110 для образцов, причем эта флуоресценция улавливается датчиком изображения (например, датчиком изображения системы 140 камеры), позволяя анализировать биологический материал. Узел 280 проекционной линзы настоящего примера соединен с исполнительным механизмом 282, который выполнен с возможностью приведения в действие по меньшей мере части узла 280 проекционной линзы вдоль линейного пути LP2. В некоторых версиях исполнительный механизм 282 включает пьезоэлектрический элемент. В качестве еще одного примера исполнительный механизм 282 может включать соленоид. В некоторых других версиях исполнительный механизм 282 включает шаговый двигатель или другой источник приведения во вращение, соединенный с механическим узлом (например, реечной передачей или червячной передачей и гайкой и т. д.), который выполнен с возможностью преобразования вращательного движения в линейное движение. Как более подробно описано ниже, благодаря исполнительному механизму 282, изменяющему положение по меньшей мере части узла 280 проекционной линзы вдоль линейного пути LP2, исполнительный механизм 282 и узел 280 проекционной линзы вместе выполнены с возможностью обеспечения регулировки фокальной плоскости решетки SIM.

[00140] Как отмечено выше, система 100 настоящего примера включает контроллер 195. Контроллер 195 может быть использован для управления работой оптического узла 200 и других компонентов системы 100, в том числе синхронизацией различных компонентов оптической системы 200 и системы 100. Контроллер 195 может быть реализован для управления аспектами работы системы, такими как, например, активация двигателя 256, активация исполнительного механизма 272, перемещение одного или более элементов узла 280 проекционной линзы посредством исполнительного механизма 282, активация фокусирующего компонента 175, активация системы 140 камеры и другие операции формирования изображения. Контроллер может быть также выполнен с возможностью управления элементами оборудования системы 100 для коррекции изменений параметров структурированного освещения со временем. Например, контроллер может быть выполнен с возможностью передачи сигналов управления устройствам (например, двигателю 256, исполнительному механизму 272 и т. д.) для коррекции или компенсации изменений фазы, частоты и/или ориентации структурированного освещения со временем. В вариантах реализации эти сигналы могут быть переданы в соответствии с параметрами структурированного освещения, предсказанными с использованием компонента формирования изображения SIM. В некоторых вариантах реализации контроллер может включать память для хранения предсказанных или оцененных параметров структурированного освещения, соответствующих различным моментам времени и/или положениям образца.

[00141] На ФИГ. 5A-5D показан оптический узел 200 на различных стадиях работы. На стадии, показанной на ФИГ. 5A, светоизлучающий узел 210 излучает свет в направлении отражающего элемента 220, который отражает свет к узлу 230 фазовой маски и переключателю 250 решетки. На этой стадии переключатель 250 решетки находится в первом состоянии, так что свет, отражаемый от отражающего элемента 220, далее отражается зеркалом 262. Свет, отраженный зеркалом 262, проходит через стеклянный элемент 242 и достигает отражателя 244, который отражает свет к фазовой маске 246. По мере прохождения светом фазовой маски 246 фазовая маска 246 придает узорчатую форму свету. Этот узорчатый или структурированный свет затем проходит через отверстие 268 пластины 252 и достигает отражающего элемента 270, который после этого отражает структурированный свет в направлении узла 280 проекционной линзы. После прохождения через узел 280 проекционной линзы структурированный свет достигает объекта, намеченного для формирования изображения (например, контейнера 110 для образцов), а система 140 камеры захватывает первое изображение целевого объекта.

[00142] После получения первого изображения в конфигурации оптической системы 200, показанной на ФИГ. 5A, исполнительный механизм 272 активируется для приведения отражающего элемента 270 из первого положения на линейном пути LP1 во второе положение на линейном пути LP1, так что оптическая система 200 после этого оказывается в конфигурации, показанной на ФИГ. 5B. На стадии, показанной на ФИГ. 5B, светоизлучающий узел 210 излучает свет в направлении отражающего элемента 220, который отражает свет к узлу 230 фазовой маски и переключателю 250 решетки. На этой стадии переключатель 250 решетки находится в первом состоянии, так что свет, отражаемый от отражающего элемента 220, далее отражается зеркалом 262. Свет, отраженный зеркалом 262, проходит через стеклянный элемент 242 и достигает отражателя 244, который отражает свет к фазовой маске 246. По мере прохождения светом фазовой маски 246 фазовая маска 246 придает узорчатую форму свету. Этот узорчатый или структурированный свет затем проходит через отверстие 268 пластины 252 и достигает отражающего элемента 270, который после этого отражает структурированный свет в направлении узла 280 проекционной линзы. После прохождения через узел 280 проекционной линзы структурированный свет достигает объекта, намеченного для формирования изображения (например, контейнера 110 для образцов), а система 140 камеры захватывает еще одно изображение целевого объекта.

[00143] Единственной разницей между стадией, показанной на ФИГ. 5A, и стадией, показанной на ФИГ. 5B, является то, что отражающий элемент 270 находится во втором состоянии (т. е. во втором положении вдоль линейного пути LP1). Таким образом, поскольку на этом этапе работы отражающий элемент 270 находится в другом положении, изображение, захваченное оптическим узлом 200 в конфигурации, показанной на ФИГ. 5B, будет иметь другую фазу, чем изображение, захваченное оптическим узлом 200 в конфигурации, показанной на ФИГ. 5A.

[00144] В некоторых версиях способа, описанного в настоящем документе, прежде чем переходить к стадии, показанной на ФИГ. 5C и описанной ниже, исполнительный механизм 272 активируют для приведения отражающего элемента 270 в третье положение вдоль линейного пути LP1, когда переключатель 250 решетки находится в первом состоянии. В таких версиях способа система 140 камеры может захватывать три изображения, пока переключатель 250 решетки находится в первом состоянии, причем каждое из этих трех изображений представляет разную фазу в зависимости от соответствующих положений отражающего элемента 270 вдоль линейного пути LP1. Конечно, исполнительный механизм 272 может быть также активирован для приведения отражающего элемента 270 в четвертое положение, пятое положение и т. д., так что во время захвата изображений, когда переключатель 250 решетки находится в первом состоянии, может быть использовано любое желаемое количество фаз.

[00145] После получения желаемого количества изображений с переключателем 250 решетки в первом состоянии, показанном на ФИГ. 5A-5B, двигатель 256 активируют для вращения вала 254 вокруг оси A, тем самым поворачивая пластину 252 вокруг оси A, чтобы перевести переключатель 250 решетки во второе состояние, показанное на ФИГ. 5C-5D. На стадии, показанной на ФИГ. 5C, исполнительный механизм 272 также был активирован для возврата отражающего элемента 270 из второго состояния (т. е. второго положения на линейном пути LP1) обратно в первое состояние (т. е. первое положение на линейном пути LP1). В некоторых других версиях отражающий элемент 270 остается во втором состоянии сразу после перехода переключателя 250 решетки из первого состояния во второе состояние, и отражающий элемент 270 переводится в первое состояние после захвата изображения, когда отражающий элемент 270 находится во втором состоянии и переключатель 250 решетки находится во втором состоянии.

[00146] На стадии, показанной на ФИГ. 5C, светоизлучающий узел 210 излучает свет в направлении отражающего элемента 220, который отражает свет к узлу 230 фазовой маски и переключателю 250 решетки. При переключателе 250 решетки, теперь находящемся во втором состоянии, свет, отраженный от отражающего элемента 220, проходит через отверстие 268 и проходит дальше через стеклянный элемент 232. Свет, прошедший через стеклянный элемент 232, достигает отражателя 234, который отражает свет к фазовой маске 236. По мере прохождения светом фазовой маски 236 фазовая маска 236 придает узорчатую форму свету. Этот узорчатый или структурированный свет затем отражается от зеркала 264. Зеркало 264 отражает структурированный свет к отражающему элементу 270, который затем отражает структурированный свет к узлу 280 проекционной линзы. После прохождения через узел 280 проекционной линзы структурированный свет достигает объекта, намеченного для формирования изображения (например, контейнера 110 для образцов); а система 140 камеры захватывает еще одно изображение целевого объекта.

[00147] После получения изображения в конфигурации оптической системы 200, показанной на ФИГ. 5C, исполнительный механизм 272 активируется для приведения отражающего элемента 270 из первого состояния (т. е. первого положения на линейном пути LP1) во второе состояние (т. е. второе положение на линейном пути LP1), так что оптическая система 200 после этого оказывается в конфигурации, показанной на ФИГ. 5D. На стадии, показанной на ФИГ. 5D, светоизлучающий узел 210 излучает свет в направлении отражающего элемента 220, который отражает свет к узлу 230 фазовой маски и переключателю 250 решетки. При переключателе 250 решетки, теперь находящемся во втором состоянии, свет, отраженный от отражающего элемента 220, проходит через отверстие 268 и проходит дальше через стеклянный элемент 232. Свет, прошедший через стеклянный элемент 232, достигает отражателя 234, который отражает свет к фазовой маске 236. По мере прохождения светом фазовой маски 236 фазовая маска 236 придает узорчатую форму свету. Этот узорчатый или структурированный свет затем отражается от зеркала 264. Зеркало 264 отражает структурированный свет к отражающему элементу 270, который затем отражает структурированный свет к узлу 280 проекционной линзы. После прохождения через узел 280 проекционной линзы структурированный свет достигает объекта, намеченного для формирования изображения (например, контейнера 110 для образцов); а система 140 камеры захватывает еще одно изображение целевого объекта.

[00148] Единственной разницей между стадией, показанной на ФИГ. 5C, и стадией, показанной на ФИГ. 5D, является то, что отражающий элемент 270 находится во втором состоянии (т. е. во втором положении вдоль линейного пути LP1). Таким образом, поскольку отражающий элемент 270 находится в другом положении в течение этой стадии работы, изображение, захваченное оптическим узлом 200 в конфигурации, показанной на ФИГ. 5D, будет иметь другую фазу, чем изображение, захваченное оптическим узлом 200 в конфигурации, показанной на ФИГ. 5C.

[00149] В некоторых версиях способа, описанного в настоящем документе, исполнительный механизм 272 активируют для приведения отражающего элемента 270 в третье положение вдоль линейного пути LP1, когда переключатель 250 решетки находится во втором состоянии, прежде чем завершать процесс захвата изображений. В таких версиях способа система 140 камеры может захватывать три изображения, пока переключатель 250 решетки находится во втором состоянии, причем каждое из этих трех изображений представляет разную фазу в зависимости от соответствующих положений отражающего элемента 270 вдоль линейного пути LP1. Конечно, исполнительный механизм 272 может быть также активирован для приведения отражающего элемента 270 в четвертое положение, пятое положение и т. д., так что во время захвата изображений, когда переключатель 250 решетки находится во втором состоянии, может быть использовано любое желаемое количество фаз.

[00150] Как отмечено выше, способ захвата изображений может быть выполнен посредством двух или более отдельных каналов (например, канала сигнала синего и канала сигнала зеленого). Другими словами, способ, описанный выше со ссылкой на ФИГ. 5A-5D, может быть выполнен посредством двух или более отдельных каналов. Светоизлучающий узел 210 может быть выполнен с возможностью обеспечения обоих каналов, или каждый канал может иметь свой собственный светоизлучающий узел 210. В некоторых версиях два отдельных канала активируют одновременно посредством оптического узла 200. В некоторых других версиях в течение стадии, показанной на ФИГ. 5A, активируют первый канал, затем в течение стадии, показанной на ФИГ. 5A, активируют второй канал, затем в течение стадии, показанной на ФИГ. 5B, активируют первый канал, затем в течение стадии, показанной на ФИГ. 5B активируют второй канал и т. д. до тех пор, пока в течение стадии, показанной на ФИГ. 5D, не активируют второй канал. В качестве еще одного примера каждый канал может иметь свой собственный специальный оптический узел 200. В некоторых таких версиях могут быть использованы дополнительные оптические компоненты, чтобы дать возможность узлу 280 проекционной линзы каждого оптического узла 200 проецировать свет из каждого канала на одну и ту же мишень (например, контейнер 110 для образцов). В контексте идей, представленных в настоящем документе, специалистам в данной области будут очевидны другие подходящие способы, в которых один или более оптических узлов 200 могут дать возможность использовать два или более канала. Также следует понимать, что возможность использования двух или более каналов могут обеспечивать другие компоненты в системе 100 (например, узел 165 переключения фильтра). В версиях, в которых один канал является каналом сигнала синего, а другой канал является каналом сигнала зеленого, канал сигнала синего может работать со светом на длине волны в диапазоне от приблизительно 450 нм до приблизительно 500 нм, а канал сигнала зеленого может работать со светом на длине волны в диапазоне от приблизительно 500 нм до приблизительно 570 нм.

[00151] Как также отмечено выше, объект, изображение которого формируют с использованием оптического узла 200 в системе 100, может включать один или более биологических образцов (например, нуклеотидов и т. д.) в нанолунках на проточной кювете, так что некоторые формы контейнера 110 для образцов могут включать проточную кювету. Такие нанолунки могут быть расположены в виде правильного повторяющегося узора. В случае прямоугольного узора могут быть использованы два угла структурированного освещения по существу вдоль двух диагоналей, соединяющих противоположные углы прямоугольника в узоре, чтобы пики интенсивности структурированного освещения были ориентированы по существу нормально двум диагоналям. В альтернативном варианте осуществления угол структурированного освещения может быть ориентирован вдоль того же самого направления, что и направление прямоугольной структуры нанолунок (т. е. не вдоль противоположных углов прямоугольника).

[00152] В случае повторяющейся шестиугольной структуры нанолунок с тремя диагоналями, соединяющими противоположные углы шестиугольников в узоре, могут быть использованы три угла структурированного освещения с пиками интенсивности, которые ориентированы по существу нормально трем диагоналям. В альтернативном варианте осуществления может быть использована двухугловая структура освещения совместно с проточной кюветой, имеющей шестиугольную структуру нанолунок, так что не обязательно во всех случаях использовать три угла структурированного освещения совместно с шестиугольной структурой нанолунок. Кроме того, угол структурированного освещения может быть ориентирован вдоль того же самого направления, что и направление шестиугольной структуры нанолунок (т. е. не вдоль противоположных углов шестиугольника).

[00153] Независимо от вида структуры нанолунок смежные нанолунки могут быть расположены относительно друг друга на расстоянии меньше дифракционного предела Аббе соответствующей оптической системы. В альтернативном варианте осуществления образцы могут быть распределены случайным образом на плоскости формирования изображения без нанолунок. Или образцы могут быть расположены в правильном порядке на плоскости формирования изображения в виде структуры, отличной от структуры нанолунок.

[00154] IV. Примеры алгоритмов обработки изображения

[00155] A. Обзор способа обработки изображения SIM

[00156] Изображение, захваченное оптическим датчиком или датчиком изображения (например, встроенным в систему 140 камеры), может называться плиткой. Алгоритмы обработки изображения, которые описаны ниже, могут разбивать плитку захваченного изображения на подплитки. Каждая подплитка может быть оценена независимо. Ближайшая к центру подплитка может быть обработана иначе, чем другие подплитки. Цикл формирования изображения может захватывать множество плиток изображения с некоторым перекрытием. Подплитки могут быть реконструированы независимо друг от друга, даже параллельно. Реконструкции из улучшенных подплиток могут быть сшиты вместе для создания реконструированной плитки с улучшенным пространственным разрешением. В некоторых случаях плитку изображения разбивают на подплитки так, что линии пика приблизительно равномерно разнесены в пределах подплитки, тем самым достигая более хорошего качества изображения из реконструированных подплиток в поле обзора линзы.

[00157] В некоторых случаях каждой подплитке сопоставляют по меньшей мере три параметра. В число таких параметров могут входить угол пика освещенности, разнос пика освещенности и фазовое смещение. Угол пика освещенности может также называться углом решетки. Разнос пика освещенности может также называться разносом решетки. Другими словами, разнос пика освещенности определяет периодичность решетки (например, разнос между параллельными линиями определяется фазовыми масками 236, 246). Фазовое смещение или фаза представляет собой сдвиг узора структурированного освещения или решетки, которую проецируют на плоскость образца (например, на основе положения отражающего элемента 270 вдоль линейного пути LP1, который приводится в действие исполнительным механизмом 272). Другими словами, фаза может быть определена как расстояние от общей опорной точки до начала повторяющегося узора освещения в направлении, ортогональном решетке. Фаза может быть выражена в радианах или градусах и может рассматриваться как доля периодичности повторяющегося узора. Фазовое смещение может также называться фазой решетки. Угол и разнос могут быть сопоставлены с помощью моделей искривления квадратичной поверхности.

[00158] Далее описаны примеры методик, которые могут быть использованы для оценки параметров реконструкции изображения SIM. Некоторые из раскрытых методик компенсируют линии пиков интерференционных полос, которые искажены или искривлены из-за несовершенств линзы. Линии узора, которые должны быть параллельными, остаются таковыми возле центра изображения, но обычно сходятся или становятся непараллельными возле краев линзы. Это влияет на угол или ориентацию пика освещенности, разнос пика освещенности и фазовое смещение. На ФИГ. 8A показано разделение плитки изображения на перекрывающиеся области, называемые подплитками, или подокнами, или подполями. Подплитки достаточно малы, чтобы можно было установить параметры, которые дадут удовлетворительную реконструкцию для всей подплитки. В некоторых случаях каждая подплитка содержит 512 на 512 пикселей оптического датчика. Могут быть использованы большие или меньшие количества, включая, без ограничений, 256, 400, 1024, 2048 и 4096, или в диапазоне от 256 до 4096 пикселей. Подплитки могут перекрываться по меньшей мере 2 пикселями оптического датчика. Могут быть использованы большие или меньшие количества. Например, для окна шириной 512 пикселей можно использовать перекрытие вплоть до 256 пикселей, а для ширины 1024 пикселя можно использовать перекрытие вплоть до 512 пикселей.

[00159] Оценка параметров может быть выполнена в два этапа. Сначала можно выполнить оценку параметров для ближайшей к центру подплитки изображения. Затем можно выполнить оценку параметров для других подплиток и сравнить с ближайшей к центру подплиткой, чтобы определить искажения и поправки на искажения относительно параметров для ближайшей к центру подплитки.

[00160] На ФИГ. 6A-6C показаны физические аспекты полного поля обзора (FOV). В одном варианте осуществления используют прямоугольный датчик размером 5472 пикселя на 3694 пикселя. Конечно, может быть использован квадратный или иного размера датчик, например, 5472 × 5472 пикселя или 4800 × 4800 пикселей. При использовании прямоугольного датчика искажение больше всего к краям линзы. Линза часто бывает круглой, поэтому прямоугольный датчик не приближается к краю линзы на длинной стороне так близко, как на короткой стороне.

[00161] На ФИГ. 6A представлены две иллюстрации, которые показывают искажение разноса интерференционных полос по всему полю обзора (FOV). Фигура 300 слева представляет собой упрощенное изображение 300 параллельных линий, изогнутых из-за искажения увеличивающей линзы. Изображенные линии должны быть параллельными в плоскости изображения. При просмотре через линзу они кажутся сходящимися на правом и левом концах по сравнению с разносом в центре. Фигура 302 справа представляет собой еще один преувеличенный пример. На этой фигуре интерференционные полосы ориентированы по диагонали между верхним левым и нижним правым углами. Разнос интерференционных полос преувеличен, чтобы было легче увидеть. Линии интерференционных полос сходятся в верхнем левом и нижнем правом углах относительно центра. Для линз конкретного изготовителя рисунок интерференционных полос может быть неоднородным.

[00162] На ФИГ. 6B и 6C изображены измерения разноса на изображении между номинально параллельными пиками интерференционных полос в плоскости изображения для освещения зеленым и синим лазерами. Цветная шкала указывает вариацию разноса между 2,8 и 2,22. На обоих рисунках цветовая шкала указывает, что центральный разнос между параллельными линиями составляет приблизительно 2,14. Неоднородность при освещении с длиной волны зеленого света видна в верхнем правом углу на ФИГ. 6B. Более существенная неоднородность при освещении с длиной волны синего света видна на ФИГ. 6C вдоль правого и левого краев. На этих фигурах узор интерференционных полос представлял собой ряд параллельных линий под углом 45° из нижнего левого угла в верхний правый угол фигур. Таким образом, разнос измеряют в направлении стрелки на ФИГ. 8C. Эти фигуры обосновывают коррекцию искажений, вызываемых линзой. Поскольку линзы изготавливают и устанавливают индивидуально, после сборки желательна калибровка и коррекция отдельных систем.

[00163] На ФИГ. 6D показаны подплитки или подполя полного поля обзора (FOV) на плитке изображения. На этой фигуре показана подплитка размера 512 пикселей на 512 пикселей. Эти подплитки могут разбивать поле обзора, как показано, или могут перекрываться. Подплитки могут быть большего или меньшего размера. Например, было показано, что можно работать с подплитками 400 × 400 и 1024 × 1024. На фигуре показаны 5 × 7 подплиток. Более крупный датчик, названный выше, может иметь 8 × 11 подплиток. Могут быть использованы другие конфигурации подплиток, такие как 3 × 3, 5 × 5, 5 × 7, 9 × 9, 9 × 16. Более крупные датчики могут быть разделены на большее количество подплиток. Подплитки могут перекрываться по меньшей мере 2 пикселями оптического датчика. Подплитки могут перекрываться большими и меньшими количествами пикселей. Например, для подплитки шириной 512 пикселей можно использовать перекрытие вплоть до 256 пикселей, а для подплитки шириной 1024 пикселя можно использовать перекрытие вплоть до 256 пикселей. В соответствии с ФИГ. 6B и 6C существуют несколько потенциально пригодных близких к центру подплиток 304, причем все они находятся в зоне наилучшего восприятия линзы, включая центральную подплитку в массиве подплиток с нечетным количеством строк и столбцов. Используемая в настоящем документе ближайшая к центру подплитка включает центральный пиксель датчика или примыкает к подплитке, которая включает центральный пиксель. В некоторых оптических системах, которые являются плоскими и имеют малую ошибку, подплитка, находящаяся дальше от подплиток, смежных с центральной подплиткой, может быть использована в качестве опорной без оказания влияния на общую компенсацию искажения.

[00164] Описанная технология включает сопоставление искажения, измеренного на по существу всем поле обзора, захватываемого датчиком изображения. Три параметра, от которых зависит реконструкция SIM с улучшенным разрешением на основе правильно структурированного освещения, включают разнос интерференционных полос, угол интерференционных полос и фазовое смещение узора интерференционных полос. Эти переменные также называют разносом, углом и фазовым смещением узора структурированного освещения или решетки. Отклонения разноса и угла от значения центральной плитки могут быть аппроксимированы по всему полю обзора с использованием полиномиальных поверхностей. Были исследованы как квадратичные, так и кубические поверхности. Также могут быть использованы многочлены более высокого порядка.

[00165] Как разнос интерференционных полос, так и угол интерференционных полос на плитке изображения могут быть аппроксимированы квадратичными поверхностями. Анализ чувствительности показывает, что квадратичные поверхности аппроксимируются очень близко, как и кубические поверхности. Квадратичная поверхность соответствует следующему уравнению (II):

f(x, y) = c0 + (cl * x) + (c2 * y) + (c3 * x * y) + (c4 * x²) + (c5 * y²) (II)

[00166] В одном варианте реализации оценки фазы использована методика, предложенная Wicker et al., 2013 г., в их статье, озаглавленной Phase Optimisation for Structured Illumination Microscopy, раздел 3. Уравнения из статьи Lal et al., 2015 г. под названием Structured Illumination Microscopy Image Reconstruction Algorithm и статьи Wicker et. al., 2013 г. помогают объяснить оценку фазы по Уикеру.

[00167] Нижеприведенное управление (III), взятое из статьи Lal et al., 2015 г., разделяет три полосы частотных компонентов: из полученных изображений . Матрица смешивания использует оценки фаз ϕ₁, ϕ₂ и ϕ₃ изображений, захваченных с использованием узора с синусоидальной интенсивностью освещения I_θ,ϕ(r), соответствующие углу или ориентации узора, равным 0. В статье Wicker et. al., 2013 г., ссылаются на фазу для n-го изображения в ориентации ϕ_n. Если фазы не известны с достаточной точностью, процесс устранения смешивания или разделения полосы не идеально разделит компоненты пространственной частоты на основании наблюдаемых изображений в частотной области. На практике три составляющие пространственной частоты будут содержать больше или меньше остаточной информации из других компонентов, как представлено членом шума, получаемым с помощью следующего уравнения (III):

, (III)

[00168] Это выражение с тремя составляющими вытекает из преобразования Фурье для синусоидального или косинусоидального освещения. Другие функции освещения могут изменять эти уравнения.

[00169] Поэтому может быть важно точно знать фазы узора синусоидальной интенсивности освещения. Поскольку не всегда возможно точно управлять этими фазами в экспериментальной установке, может быть желательно определять фазы узора освещения из полученных данных изображения. Wicker et. al., 2013 г., представили методику оценки фазы для данных SIM, полученных с использованием когерентного синусоидального освещения при выбранной частоте. Когерентное освещение дает хорошую контрастность узора от решеток с очень маленьким разносом пика освещенности `s', который улучшает разрешение при реконструкции. Мы восстановили фазу узора освещения n-го изображения, используя пиковую частоту узора освещения. Пиковую частоту узора освещения также называют пиком Фурье.

[00170] Нижеприведенное уравнение (IV) из статьи Wicker et. al., 2013 г., представляет обобщенную форму уравнения (II) с полученными изображениями по всем частотам в частотной области. Каждое изображение содержит три компонента, обозначенные , наложенные с разными фазами. Следует отметить, что эти три компонента являются теми же самыми компонентами, что и в уравнении (III).

(IV)

[00171] Следует отметить, что «c» в уравнении (IV) называют контрастностью узора освещения. При отсутствии шума «c» совпадает с коэффициентом «m» модуляции в матрице M смешивания в уравнении (2). Чтобы определить ∅_n, частоту в уравнении (IV) заменяют на , которое представляет собой пиковую частоту узора освещения, получаемую из следующего уравнения (V):

(V)

[00172] Уравнение (V) показывает, что фаза узора ∅_n приблизительно равна фазе полученного изображения на частоте . Эта приблизительная оценка фазы узора ∅_n может давать хорошие результаты при соблюдении трех рекомендаций. Во-первых, контрастность c узора освещения должна быть достаточно большой. Во-вторых, спектральная мощность образца должна быстро убывать с ростом частоты. Когда эти две рекомендации соблюдены, в уравнении (V) преобладает последний член, и поэтому его можно упростить до следующего уравнения (VI):

(VI)

[00173] Для любого вещественнозначного образца центральная частота будет вещественнозначной. Кроме того, если функция рассеяния точки (PSF) является вещественной и симметричной, то оптическая передаточная функция (OTF) будет вещественной. OTF является сверткой функции рассеяния точки (PSF). Функция рассеяния точки представляет собой версию оптической передаточной функции системы визуализации в пространственной области. Название «функция рассеяния точки» указывает на то, что все физические оптические системы размывают (рассеивают) точку света в некоторой степени, причем величина размытия определяется качеством оптических компонентов. Разрешение системы формирования изображения ограничивается размером PSF. Для асимметричных PSF следует учитывать фазы OTF.

[00174] В-третьих, OTF при частоте узора должна быть достаточно большой, чтобы преодолевать шум. Если OTF слишком маленькая, шум в получаемом изображении может значительно изменять фазу, измеряемую при . Этот способ оценки фазы не может быть использован для частот узора вне пределов поддержки обнаружения OTF. Для таких частот .

[00175] OTF оптической системы может быть определена экспериментально. Например, Lal et al., 2015 г., вычисляют OTF путем получения нескольких изображений образцов с помощью пространственно распределенных флуоресцентных микросфер размером 100 нм. Затем распределение интенсивности, соответствующее более чем 100 микросферам, накладывали и усредняли для получения аппроксимации для PSF системы. Преобразование Фурье этой PSF дает оценку OTF системы. Исходя из этого, данная методика оценки фазы может быть применена к подплиткам.

[00176] Может оказаться полезным оценить фазовый сдвиг плиток относительно всего поля обзора (FOV), так что измерение фазы в одной подплитке может быть экстраполировано на другие подплитки в плитке. Угол пика освещенности и разнос пика освещенности для полного FOV можно оценивать на основании угла пика освещенности и разноса пика освещенности подплитки с использованием квадратичных моделей, представленных выше. Фазовое смещение может быть менее регулярным, поскольку оно зависит от геометрии пикселей подплитки, которые могут давать функцию с неравномерным шагом вместо гладкой функции. Оценки фазы могут быть представлены с использованием обычной системы координат на подплитках изображения всего поля обзора. Пространства координат подплиток могут быть сопоставлены пространству координат всего поля обзора.

[00177] B. Пример способов управления качеством для системы SIM

[00178] На качество реконструируемых методом SIM изображений сверхвысокого разрешения могут отрицательно влиять различные структурные и рабочие параметры оптической системы SIM. Например, в оптической системе, содержащей линзы (например, в узле 280 линзы, описанном выше, некоторые другие линзы, которые встроены в систему 140 камеры), по меньшей мере одна линза может содержать одну или более структурных аберраций, которые могут давать искажения на изображениях, захватываемых системой 140 камеры. В качестве еще одного примера расположение компонентов в оптическом узле 200 или в другом месте оптического пути системы 100 может отклоняться от заданной спецификации, и такие отклонения могут приводить к искажениям на изображениях, захватываемых системой 140 камеры. Вычисления, используемые в реконструкции SIM, могут быть чувствительными к искажениям на исходных изображениях, которые захватывают с использованием линз с аберрациями или с использованием оптического узла 200, имеющего другие аберрации. Увеличение поля обзора с использованием большей части линзы вместо зоны наилучшего восприятия в центре может усиливать восприимчивость реконструкции изображения SIM к искажениям, вызываемым аберрациями в линзе. Поэтому в примерах, описанных ниже, приведены решения вышеперечисленных проблем искажения изображения путем обеспечения систем и способов для обнаружения вышеописанных аберраций (и других аберраций) и выполнения регулировок, которые необходимы для того, чтобы (по возможности) учитывать такие аберрации. Другими словами, далее описаны примеры того, как проводить проверку управления качеством или подтверждение правильности структурных и рабочих параметров в оптической системе SIM для определения того, находятся ли они в пределах заданных спецификаций. Таким образом, идеи относительно управления качеством и подтверждения правильности, приведенные ниже, могут обеспечивать преимущества преодоления известных проблем, связанных с аберрациями в линзах или других компонентах оптических узлов.

[00179] Процесс проверки управления качеством может включать сравнение между двумя фокальными плоскостями, одна из которых является оптической фокальной плоскостью, а другая является фокальной плоскостью решетки SIM. Оптическую фокальную плоскость можно установить путем наблюдения за положением линзы 142 объектива, обеспечивающим наилучшую фокусировку на биологическом образце в контейнере 110 для образцов. В настоящем примере оптическая фокальная плоскость может быть отрегулирована перемещением линзы 142 объектива системы 100 к контейнеру 110 для образцов и от него вдоль оси z. Фокальная плоскость решетки SIM может быть отрегулирована перемещением узла 280 проекционной линзы вдоль линейного пути LP2 путем активации исполнительного механизма 282. Фокальная плоскость решетки SIM может быть установлена путем наблюдения за положением узла 280 проекционной линзы, при котором могут наблюдаться интерференционные полосы пикового качества или может наблюдаться пиковая интерференция от узоров структурированного света, обеспечиваемых фазовыми масками 236, 246. Идеальная конфигурация узла SIM может обеспечить фокальную плоскость решетки SIM, которая находится как можно ближе к оптической фокальной плоскости (например, фокальную плоскость решетки SIM в пределах приблизительно 10 нм от оптической фокальной плоскости). Эта разница между фокальной плоскостью решетки SIM и оптической фокальной плоскостью может называться «софокусом».

[00180] Последующее описание относится к обработке стеков SIM в способе обработки. В настоящем примере каждый стек SIM включает двенадцать изображений - по шесть изображений из двух каналов. Для каждого канала набор из шести изображений включает три изображения, полученные с отражающим элементом 270 в трех различных положениях вдоль линейного пути LP1, когда переключатель 250 решетки находится в первом состоянии (например, как показано на ФИГ. 5A-5B), а другие три изображения получены с отражающим элементом 270 в тех же самых трех различных положениях вдоль линейного пути LP1, когда переключатель 250 решетки находится во втором состоянии (например, как показано на ФИГ. 5C-5D). Таким образом, набор из шести изображений для каждого канала в стеке SIM представляет три разные фазы для каждого из двух различных углов решетки или углов пика освещенности. В альтернативном варианте реализации для формирования каждого стека SIM может быть использовано любое другое подходящее количество изображений, и такие изображения могут отличаться друг от друга на основании параметров, отличных от вышеуказанных. Каждый стек SIM может быть собран в разных z-положениях, т. е. каждый стек SIM может быть собран при линзе 142 объектива, находящейся на разном расстоянии от контейнера 110 для образцов. Только в качестве примера стеки SIM могут быть собраны в от приблизительно 20 различных z-положений до приблизительно 40 различных z-положений. Различные z-положения могут быть разнесены с любым подходящим интервалом, таким как интервал от приблизительно 0,1 мкм до приблизительно 1,0 мкм, или от приблизительно 0,2 мкм до приблизительно 0,8 мкм, или приблизительно 0,5 мкм.

[00181] Процесс может начинаться сбором стека SIM для каждого z-положения, как показано в блоке 400 на ФИГ. 7. Как отмечено выше, каждый стек SIM может включать двенадцать изображений. Далее, каждый стек SIM может быть считан для измерения полной ширины на половине максимума (FWHM) для каждого изображения в стеке, как показано в блоке 402 на ФИГ. 7. FWHM может быть измерена в центральном окне оценки каждого канала и каждого угла решетки (причем угол решетки зависит от состояния переключателя 250 решетки в момент захвата изображения стека SIM). Для обеспечения центрального окна оценки изображение может быть обрезано до центральной области, чтобы опустить наружные краевые и угловые области, в которых вероятны относительно высокие искажения. Измерение значения FWHM в центральном окне оценки каждого канала и каждого угла решетки может быть выполнено с использованием необработанной нереконструированной фазы 0 каждого угла. Измерение только одной фазы для каждой пары канал-угол может сэкономить вычислительные затраты и может обеспечивать удовлетворительные результаты.

[00182] После того как FWHM измерена для каждого стека SIM, в процессе будет определено, нужно ли обрабатывать дополнительные стеки SIM, как показано в блоке 404 на ФИГ. 7, причем понятно, что каждый стек SIM соответствует уникальному соответствующему z-положению. Если нужно обрабатывать дополнительные стеки SIM, в процессе продолжится измерение FWHM для этих стеков SIM до тех пор, пока FWHM не будет измерена для всех стеков SIM. После того как FWHM измерена для всех стеков SIM (т. е. всех z-положений во время первого прохода), в процессе будет определен стек SIM с z-положением наилучшей фокусировки, как показано в блоке 406 на ФИГ. 7. Затем в процессе будут измерены разнос, угол и фаза решетки для изображений в стеке SIM с z-положением наилучшей фокусировки, как показано в блоке 408 на ФИГ. 7.

[00183] После измерения разноса, угла и фазы для изображений в стеке SIM с z-положением наилучшей фокусировки в процессе затем будут измерены модуляция и фазы для каждой пары канал-угол во всех стеках SIM (т. е. во всех z-положениях во время второго прохода), как показано в блоках 410 и 412 на ФИГ. 7. Модуляция интерференционных полос является количественной мерой силы узора интерференционных полос (оцениваемой в диапазоне от 0 до 1, где 1 является теоретическим максимумом, предполагающим идеальную интерференцию и отсутствие потерь при передаче). Вычисление точных значений модуляции основано на точной оценке ориентации и периодичности узора интерференционных полос. Ожидается, что по мере обработки z-положений, которые наиболее удалены от наилучшей фокальной плоскости решетки, значения модуляции будут ухудшаться ближе к 0.

[00184] После того как модуляция и фазы измерены для каждой пары канал-угол во всех стеках SIM (т. е. для всех z-положений), в процессе будут сведены в таблицу все FWHM, разнос решетки, угол, фазы и модуляцию для каждого стека SIM (т. е. для каждого z-положения), как показано в блоке 414 на ФИГ. 7. По завершении этого сведения в таблицу для каждой пары канал-угол в процессе аппроксимируется полиномиальная модель или кривая для зависимости z-положения от FWHM и z-положения от модуляции, как показано в блоке 416 на ФИГ. 7.

[00185] После аппроксимации полиномиальной модели или кривой для каждой пары канал-угол в процессе может быть вычислена метрика софокуса для каждой пары канал-угол, как показано в блоке 418 на ФИГ. 7. Значение софокуса можно вычислять следующим образом:

софокус=z-положение минимальной FWHM - z-положение максимальной модуляции. (6)

Как отмечено выше, может быть желательно иметь значение софокуса, при котором фокальная плоскость решетки SIM находится как можно ближе к оптической фокальной плоскости (например, фокальная плоскость решетки SIM находится в пределах приблизительно 10 нм от оптической фокальной плоскости).

[00186] В некоторых вариантах реализации результатом процесса может быть таблица или отчет. В таблице или ином отчете могут быть перечислены различные параметры, соответствующие рассматриваемой системе визуализации, основанные на вышеприведенном процессе. Только в качестве примера в версиях, в которых отчет включает таблицу, столбцы таблицы могут включать z-высоту (т. е. расстояние между линзой 142 объектива и контейнером 110 для образцов), канал, угловой индекс, модуляцию, FWHM, разнос решетки, углы решетки и любые другие подходящие параметры. Параметры в таблице можно сравнивать с заданными спецификациями для проведения проверки управления качеством.

[00187] В случае если любой из параметров в таблице или другом отчете отклоняется от спецификаций больше, чем на допустимую величину, могут быть выполнены регулировки оптической системы 200 или других компонентов системы 100, чтобы попытаться привести эти отклоняющиеся параметры в соответствие спецификациям. Например, некоторые версии оптической системы 200 могут обеспечивать регулировки для фиксации сдвига фазы и модуляции. В качестве примера в случае, когда значение софокуса отклоняется от спецификации больше, чем на допустимую величину, регулировки могут включать перемещение узла 280 проекционной линзы, перемещение системы 140 камеры, перемещение электрооптического модулятора или перемещение некоторого другого компонента. В качестве еще одного примера в случае, когда значение фазы отклоняется от спецификации больше, чем на допустимую величину, регулировки могут включать калибровку напряжения, которое используют для приведения в действие исполнительного механизма 272, чтобы достичь правильной величины перемещения интерференционных полос на образце для всех оптических конфигураций. В качестве еще одного примера в случае, когда проверка управления качеством выявляет аберрации при наклоне или хроматические аберрации, компоненты системы 140 камеры могут быть отрегулированы путем перемещения, хотя такие перемещения могут влиять на софокус. Могут быть предусмотрены другие подходящие виды регулировок, которые будут очевидны специалистам в данной области в контексте идей, представленных в настоящем документе.

[00188] Описанный выше процесс проверки управления качеством может быть выполнен еще раз, чтобы посмотреть, действительно ли эти регулировки привели отклоняющиеся параметры в соответствие спецификациям. В случае если выполнить регулировки для приведения отклоняющихся параметров в соответствие спецификациям невозможно, компоненты оптического узла 200 или другие компоненты системы 100, которые отвечают за отклоняющиеся параметры, могут быть заменены. В случае если такие компоненты не могут быть заменены, возможно, желательно отказаться от оптического узла 200 или системы 100 в целом.

[00189] C. Пример способа калибровки фазы

[00190] Как описано выше, оптическая система 200 может обеспечивать сдвиг фазы посредством активации исполнительного механизма 272, который может изменять фазу оптической системы 200 за счет изменения положения отражающего элемента 270 вдоль линейного пути LP1. Как также отмечено выше, исполнительный механизм 272 может включать пьезоэлектрический подвижный элемент или любые другие подходящие компоненты. В версиях, в которых исполнительный механизм 272 включает пьезоэлектрический движущий элемент, положение отражающего элемента 270 вдоль линейного пути LP1 может меняться в зависимости от напряжения, приложенного к пьезоэлектрическому движущему элементу. Таким образом, разные фазы могут быть связаны с разными соответствующими напряжениями, подаваемыми на исполнительный механизм 272. Кривая калибровки напряжение-движение для исполнительного механизма 272 и отражающего элемента 270 может непосредственно влиять на точность движений фазы. Это, в свою очередь, влияет на реконструкцию SIM, обеспечиваемую посредством системы 100, содержащей эти исполнительный механизм 272 и отражающий элемент 270. Поэтому может быть желательно обеспечить способ калибровки напряжений для исполнительного механизма 272, чтобы достичь точных сдвигов фазы. Пример такого способа подробно описан ниже со ссылкой на ФИГ. 8. В некоторых случаях этот процесс может быть выполнен до первого использования оптического узла 100. Дополнительно или в качестве альтернативы этот процесс может быть выполнен в некоторых случаях, в которых данные, полученные с использованием процесса, описанного выше со ссылкой на ФИГ. 7, показывают, что сдвиги фазы оптического узла 100 неточные.

[00191] В настоящем примере способ калибровки напряжений для исполнительного механизма 272 выполняют с использованием единицы работы, определенной стеком SIM из двенадцати изображений, подобным стеку SIM, описанному выше. Как описано выше, этот стек SIM из двенадцати изображений может включать по шесть изображений из каждого канала. Для каждого канала набор из шести изображений включает три изображения, полученные с отражающим элементом 270 в трех различных положениях вдоль линейного пути LP1, когда переключатель 250 решетки находится в первом состоянии (например, как показано на ФИГ. 5A-5B), а другие три изображения получены с отражающим элементом 270 в тех же самых трех различных положениях вдоль линейного пути LP1, когда переключатель 250 решетки находится во втором состоянии (например, как показано на ФИГ. 5C-5D). Другими словами, каждый набор из шести изображений для каждого канала будет иметь три связанные фазы (например, фазу 0, фазу 1 и фазу 2) для каждого состояния переключателя 270 решетки. Иначе говоря, каждая пара канал-угол может иметь три изображения при трех соответствующих фазах. Конечно, процесс может быть вместо этого применен к любой другой комбинации объединения в пары канала, угла и фазы.

[00192] Как показано в блоке 500 на ФИГ. 8, процесс калибровки фазы может начинаться с выбора в стеке SIM изображения, имеющего наилучшую фокусировку, с помощью окна оценки размера N, целевого шага фазы для первого шага фазы (например, 120 градусов) и второго шага фазы (например, 240 градусов) и целевого отклонения фазы менее 10 градусов.

[00193] Далее, процесс может включать обрезание центрального окна поля обзора изображения до заданного размера (например, 1024 × 1024), как показано в блоке 502 на ФИГ. 8. С этим обрезанным изображением в процессе может быть выполнена оценка параметров SIM, чтобы определить разнос решетки, угол решетки и модуляцию для каждого канала и каждого угла, как показано в блоке 504 на ФИГ. 8. Оценка параметров SIM может быть выполнена в соответствии с идеями, указанными выше в контексте процесса, показанного на ФИГ. 7.

[00194] По завершении оценки параметров SIM в процессе может быть выполнена процедура уточнения фазы по Уикеру для каждой пары канал-угол, чтобы оценить фазу каждого изображения, как показано в блоке 506 на ФИГ. 8. Процесс оценки фазы по Уикеру может быть выполнен в соответствии с вышеизложенными идеями.

[00195] В процессе можно также получить три значения фазы от каждого из трех фазовых изображений из каждой пары канал-угол, как показано в блоке 508 на ФИГ. 8. Далее, в процессе может быть выполнена развертка фазы для каждой пары канал-угол, как показано в блоке 510 на ФИГ. 8, чтобы значения фазы монотонно пошагово возрастали. Эта развертка фазы может включать добавление 360 градусов к каждой последовательной паре канал-угол.

[00196] Затем, как показано в блоке 512 на ФИГ. 8, для каждой пары канал-угол в процессе могут быть вычислены сдвиги фазы между первым изображением и вторым изображением как сдвиг_фазы_12=неразвернутая фаза 2 - неразвернутая фаза 1. Аналогичным образом для каждой пары канал-угол в процессе могут быть затем вычислены сдвиги фазы между первым изображением и третьим изображением как сдвиг_фазы_13=неразвернутая фаза 3 - неразвернутая фаза 1.

[00197] Затем в процессе могут быть оценены все значения сдвиг_фазы_12 и все значения сдвиг_фазы_13 по всему стеку SIM, как показано в блоке 514 на ФИГ. 8. Если все значения сдвиг_фазы_12 и все значения сдвиг_фазы_13 находятся в пределах заданного диапазона (например, в пределах 10 градусов от целевого шага сдвига фазы), то процесс может считаться завершенным, как показано в блоке 522 на ФИГ. 8.

[00198] Если оценка всех значений сдвиг_фазы_12 и всех значений сдвиг_фазы_13 по всему стеку SIM обнаруживает, что все значения сдвиг_фазы_12 и все значения сдвиг_фазы_13 находятся вне заданного диапазона, то процесс может перейти к вычислению пропорционального усиления, необходимого для достижения желательной целевой уставки для каждой пары канал-угол, как показано в блоке 516 на ФИГ. 8. Для этого в процессе может быть вычислено усиление для сдвига фазы между первым изображением и вторым изображением как усиление12=120 / (сдвиг_фазы_12), где значение сдвиг_фазы_12 выражено в градусах. В процессе может быть вычислено усиление для сдвига фазы между первым изображением и третьим изображением как усиление13=240 / (сдвиг_фазы_13), где значение сдвиг_фазы_13 выражено в градусах. Эти вычисления пропорционального усиления могут быть выполнены для каждой пары канал-угол.

[00199] По завершении вычислений пропорционального усиления в процессе может быть установлено новое напряжение для исполнительного механизма 272 путем применения вычисленного усиления к существующему значению напряжения, как показано в блоке 518 на ФИГ. 8. Для первой фазы (например, «фазы 0») напряжение может оставаться неизменным. Для второй фазы (например, «фазы 1») новое напряжение может быть первоначальным напряжением для второй фазы (фаза 1), умноженным на коэффициент, равный значению усиление12, которое вычислено выше. Для третьей фазы (например, «фазы 2») новое напряжение может быть первоначальным напряжением для третьей фазы (фаза 2), умноженным на коэффициент, равный значению усиление13, которое вычислено выше. Эти вычисления нового напряжения могут быть выполнены для каждой пары канал-угол.

[00200] После того как новые напряжения установлены для каждой пары канал-угол, новые напряжения могут быть приложены к исполнительному механизму 272 при захвате нового стека SIM изображений, как показано в блоке 520 на ФИГ. 8. Затем вышеописанный процесс может быть повторен, как показано на ФИГ. 8, чтобы определить, привели ли новые напряжения все значения сдвиг_фазы_12 и все значения сдвиг_фазы_13 в пределы заданного диапазона. Если новые напряжения действительно привели все значения сдвиг_фазы_12 и все значения сдвиг_фазы_13 в пределы заданного диапазона, процесс может быть завершен. Если новые напряжения еще не привели все значения сдвиг_фазы_12 и все значения сдвиг_фазы_13 в пределы заданного диапазона, то процесс может быть повторен столько раз, сколько потребуется, чтобы привести все значения сдвиг_фазы_12 и все значения сдвиг_фазы_13 в пределы заданного диапазона.

[00201] D. Пример альтернативного устройства-мишени

[00202] Как описано выше, в системе 100 может быть предусмотрен контейнер 110 для образцов в качестве мишени для формирования изображения. В некоторых других случаях может быть желательно обеспечить устройство-мишень вместо контейнера 100 для образцов, причем устройство-мишень специально предназначено для целей калибровки и проверки управления качеством. Такое специальное устройство-мишень может выполнено по форме и размеру с возможностью размещения его в системе 100 вместо контейнера 110 для образцов, так что специальное устройство-мишень может иметь толщину и поверхность формирования изображения, аналогичные обеспечиваемым контейнером для образцов. Специальное устройство-мишень может также включать один или более оптических узоров на целевой поверхности изображения. В контексте системы SIM может потребоваться уделить особе внимание определению этих оптических узоров. Оптические узоры, которые могут подходить для специального устройства-мишени, используемого в системе, отличной от SIM, могут оказаться непригодными для использования в системе SIM. Например, оптический узор, в котором используют массив прямых линий, параллельных друг другу и одинаково удаленных друг от друга, массив точек, выровненных в идеальную решетку, или некоторый другой узор с регулярно повторяющимися элементами может не обеспечивать желаемых эффектов муаровых интерференционных полос в результате наложения спектров в системе SIM. Другими словами, такие узоры могут не позволять отличать частотные пики структурно освещенных интерференционных полос от пиков частот артефактов целевого узора.

[00203] Ввиду вышесказанного может быть желательно обеспечить рандомизацию в оптическом узоре в устройстве-мишени, которое специально предназначено для использования в системе SIM. Это может включать узоры из точек, линий или других компонентов, которые расположены случайным неупорядоченным образом. В некоторых случаях оптический узор может быть псевдорандомизированным. Пример такой псевдорандомизации показан на ФИГ. 9A и 9B. На ФИГ. 9A показан набор точек в упорядоченном расположении, так что эти точки равноудалены друг от друга. Эта конфигурация на ФИГ. 9A может быть пригодна для использования в устройстве-мишени для системы, отличной от SIM, но не в устройстве-мишени для системы SIM. Для обеспечения псевдорандомизации проектирование мишени может начаться с упорядоченного массива точек с последующим перемещением точек случайным образом, чтобы получить узор, подобный показанному на ФИГ. 9B. Конфигурация с точками в виде псевдорандомизированного узора, как показано на ФИГ. 9B, может быть пригодна для использования в устройстве-мишени для системы SIM.

[00204] В примере, описанном выше со ссылкой на ФИГ. 9A и 9B, узор на ФИГ. 9B является «псевдорандомизированным», а не «рандомизированным», поскольку этот узор первоначально был представлен в упорядоченном расположении. Эта «псевдорандомизация» может быть предпочтительнее «чистой рандомизации», поскольку процесс рандомизации (т. е. преобразование узора, изображенного на ФИГ. 9A, в узор, подобный показанному на ФИГ. 9B) может позволить обеспечить определенную минимальную величину разноса между точками в «псевдорандомизированном» узоре. Другими словами, процесс псевдорандомизации может обеспечивать, чтобы точки в узоре находились по меньшей мере на определенном расстоянии друг от друга. Это может быть важно в формировании изображений SIM, поскольку результаты формирования изображений SIM могут быть неприемлемыми или так или иначе неидеальными, если точки в целевом оптическом узоре расположены слишком близко друг к другу. Псевдорандомизация может в противном случае позволить изменить положения точек из упорядоченного массива на ФИГ. 9A, чтобы он стал полностью случайным, если не принимать во внимание принудительного осуществления правила минимального разноса между точками.

[00205] Специальное устройство-мишень для калибровки и проверки управления качеством может включать другие оптические компоненты в дополнение или вместо включения узора из точек, как описано выше. Например, устройство-мишень может включать структурированный массив линий. Такой массив линий может включать пары линий. Каждая пара линий может быть наклонена под требуемым/ожидаемым углом структурированного освещения. Таким образом, когда структурированный свет сдвинут синфазно или несинфазно относительно пар линий, различия в получающейся интенсивности (в результате изменяющейся конструктивной/синфазной и деструктивной/противофазной интерференции) могут позволить измерять уровень параллельности между двумя узорами. Как показано на ФИГ. 10, когда структурированное освещение (b/d) сдвинуто синфазно (b) и несинфазно (d) относительно пар (a) линий, это приводит к большей (c) или меньшей (e) измеренной интенсивности из-за конструктивной и деструктивной интерференции соответственно. Если два узора, вытравленные пары линий и структурированное освещение, идеально параллельны/не расположены под углом друг к другу, то можно ожидать, что получающийся в результате профиль интенсивности обеспечит одинаково наклоненные линии, такие как показанные на ФИГ. 11A. Однако, если узор структурированного освещения находится под углом, получающаяся в результате сигнатура интенсивности может обнаружить циклические темные участки, такие как показанные на ФИГ. 11B, в зависимости от степени отклонения от оси.

[00206] Может быть желательно, чтобы специальное устройство-мишень включало канал для текучей среды, содержащий текучую среду, которая флуоресцирует в ответ на свет из оптической системы 200. Некоторые такие каналы для текучей среды могут быть относительно толстыми в зависимости от того, насколько контейнер 110 для образцов может также содержать каналы текучей среды (например, как часть проточной кюветы). Относительно толстые каналы для текучей среды менее подходят для формирования изображений методом SIM, поскольку на повторно формируемых изображениях интерференционных полос может быть измерена меньшая модуляция.

[00207] На ФИГ. 12 показаны примеры различных графиков модуляции, основанных на глубине канала для текучей среды. На графике 600 показан входной сигнал в виде модуляции в зависимости от фазы. На графике 602 показан пример сигнала из относительно толстого канала для текучей среды (например, толщиной приблизительно 75 мкм), представляющего модуляцию при повторном формировании изображения интерференционных полос. Как показано, модуляция при повторном формировании изображения с относительно толстым каналом для текучей среды существенно меньше, чем входная модуляция. На графике 604 показан пример сигнала из относительно тонкого канала для текучей среды (например, толщиной приблизительно 3 мкм), представляющего модуляцию при повторном формировании изображения интерференционных полос. Как показано, модуляция при повторном формировании изображения с относительно тонким каналом для текучей среды существенно ближе к входной модуляции, чем модуляция при повторном формировании изображения с относительно толстым каналом для текучей среды. Только в качестве примера модуляция при повторном формировании изображения с относительно толстым каналом для текучей среды может составлять приблизительно 30% от входной модуляции; тогда как модуляция при повторном формировании изображения относительно тонкого канала может составлять приблизительно 70% от входной модуляции. На графике 606 показан пример сигнала из еще более тонкого канала для текучей среды (например, сколь угодно тоньше 3 мкм), представляющего модуляцию при повторном формировании изображения интерференционных полос.

[00208] Как можно увидеть из сравнения этих графиков 600, 602, 604, 606, модуляция при повторном формировании изображения тем ближе к входной модуляции, чем тоньше канал для текучей среды. Модуляция при повторном формировании изображения приближается к входной модуляции по мере приближения толщины канала для текучей среды к 0 мкм. Это может поощрять делать канал настолько тонким, насколько это возможно при изготовлении. Однако изготовление слишком тонкого канала для текучей среды может отрицательно сказаться на светоустойчивости красителя в канале для текучей среды. Поэтому может быть желательно найти подходящий баланс между светоустойчивостью красителя в канале для текучей среды и точностью модуляции при повторном формировании изображения. Только в качестве примера надлежащий баланс может быть найден при толщине канала для текучей среды приблизительно 3 мкм. В альтернативном варианте осуществления приемлемый баланс может быть найден при толщине канала для текучей среды от приблизительно 2 мкм до приблизительно 10 мкм.

[00209] V. Разное

[00210] Вышеприведенное описание предоставлено для того, чтобы специалист в данной области мог реализовать на практике различные конфигурации, описанные в настоящем документе. Хотя технология, являющаяся объектом изобретения, описана, в частности, со ссылкой на различные фигуры и конфигурации, следует понимать, что она приведена только в качестве иллюстрации и не должна рассматриваться как ограничивающая объем технологии, являющейся объектом изобретения.

[00211] Существует множество других способов реализации технологии, являющейся объектом изобретения. Различные функции и элементы, описанные в настоящем документе, можно разделять отличным от показанных образом без отступления от объема технологии, являющейся объектом изобретения. Для специалистов в данной области могут быть очевидны различные модификации этих вариантов реализации, и общие принципы, определенные в настоящем документе, могут применяться к другим вариантам реализации. Таким образом, специалист в данной области может вносить множество изменений и модификаций в технологию, являющуюся объектом изобретения, без отступления от объема технологии, являющейся объектом изобретения. Например, может быть использовано разное количество данных модулей или блоков, может быть использован другой тип или типы данных модулей или блоков, может быть добавлен данный модуль или блок или может быть опущен данный модуль или блок.

[00212] Некоторые версии примеров, описанных в настоящем документе, могут быть реализованы с использованием компьютерной системы, которая может содержать по меньшей мере один процессор, обменивающийся данными с рядом периферийных устройств посредством подсистемы шин. Эти периферийные устройства могут включать подсистему хранения, включая, например, запоминающие устройства, и подсистему хранения файлов, устройства ввода пользовательского интерфейса, устройства вывода пользовательского интерфейса и подсистему сетевого интерфейса. Устройства ввода и вывода могут обеспечивать взаимодействие пользователя с компьютерной системой. Подсистема сетевого интерфейса может обеспечивать интерфейс с внешними сетями, включая интерфейс с соответствующими интерфейсными устройствами в других компьютерных системах. Устройства ввода пользовательского интерфейса могут включать клавиатуру; указывающие устройства, такие как мышь, трекбол, сенсорная панель или графический планшет; сканер; сенсорный экран, встроенный в дисплей; устройства звукового ввода, такие как системы распознавания речи; и устройства ввода других типов. В целом использование термина «устройство ввода» подразумевает включение всех возможных типов устройств и способов ввода информации в компьютерную систему.

[00213] Устройства вывода пользовательского интерфейса могут включать подсистему отображения, принтер, факсимильную машину или невизуальные устройства отображения, такие как устройства вывода звука. Подсистема отображения может включать электронно-лучевую трубку (ЭЛТ), плоскопанельное устройство, такое как жидкокристаллический дисплей (ЖКД), проекционное устройство или какой-либо другой механизм для создания видимого изображения. Подсистема отображения может также обеспечивать невизуальное отображение, такое как устройства вывода звука. В целом использование термина «устройство вывода» подразумевает включение всех возможных типов устройств и способов вывода информации из компьютерной системы пользователю или на другую машину либо компьютерную систему.

[00214] Подсистема хранения данных может хранить программные конструкты и конструкты данных, обеспечивающие функциональность некоторых или всех из модулей и способов, описанных в настоящем документе. Как правило, эти программные модули могут быть исполнены процессором компьютерной системы самостоятельно или в комбинации с другими процессорами. Запоминающее устройство, используемое в подсистеме хранения данных, может включать некоторое количество запоминающих устройств, включая основное оперативное запоминающее устройство (ОЗУ) для хранения команд и данных во время исполнения программы, и постоянное запоминающее устройство (ПЗУ), в котором хранятся фиксированные команды. Подсистема хранения файлов может обеспечивать постоянное запоминающее устройство для файлов программ и данных и может включать накопитель на жестком диске, накопитель на гибких дисках вместе со связанными съемными носителями, накопитель CD-ROM, оптический диск или картриджи съемных носителей. Модули, реализующие функциональные возможности определенных вариантов реализации, могут храниться подсистемой хранения файлов в подсистеме хранения данных или в других машинах, доступных процессору.

[00215] Компьютерная система сама по себе может быть разных типов, включая персональный компьютер, портативный компьютер, рабочую станцию, компьютерный терминал, сетевой компьютер, телевизор, большую ЭВМ, ферму серверов, широко распределенный набор слабо связанных сетевых компьютеров или любую другую систему обработки данных или пользовательское устройство. Из-за постоянно меняющегося характера компьютеров и сетей пример, описанный в настоящем документе, предназначен только в качестве конкретного примера в целях иллюстрации описанной технологии. Возможны многие другие конфигурации компьютерной системы, имеющей больше или меньше компонентов, чем компьютерная система, описанная в настоящем документе.

[00216] Как готовое изделие, а не способ энергонезависимый машиночитаемый носитель (CRM) может быть загружен программными командами, исполняемыми процессором. При исполнении программных команд они реализуют один или более реализуемых на компьютере способов, описанных выше. В альтернативном варианте осуществления программные команды могут быть загружены на энергонезависимый CRM и при объединении с надлежащим оборудованием могут стать компонентом одной или более реализуемых на компьютере систем, которые практически осуществляют описанные способы.

[00217] Подчеркнутые и/или выделенные курсивом заголовки и подзаголовки используются только для удобства, не ограничивают технологию, являющуюся объектом изобретения, и не упоминаются в связи с интерпретацией описания технологии, являющейся объектом изобретения. Все структурные и функциональные эквиваленты элементов различных вариантов реализации, описанных в настоящем описании, которые известны или станут позднее известными специалистам в данной области, в явной форме включены в настоящий документ путем ссылки и считаются охваченными технологией, являющейся объектом изобретения. Более того, ничто из описанного в настоящем документе не предназначено для общественности, независимо от того, указано ли такое раскрытие в приведенном выше описании в явном виде.

[00218] Следует понимать, что все комбинации вышеуказанных концепций и дополнительных концепций, более подробно описанных ниже (при условии, что такие концепции не являются взаимно противоречащими), рассматриваются как часть объекта изобретения, описанного в данном документе. В частности, все комбинации заявленного объекта изобретения, появляющиеся в конце данного описания, считаются частью объекта изобретения, описанного в данном документе.

Изобретение относится к микроскопии структурированного освещения. Способ обработки изображений применяют для формирования отчета, представляющего значения параметров, соответствующих оптической системе микроскопии структурированного освещения (SIM). Значения параметров основаны по меньшей мере частично на выполненном вычислении модуляции, соответствующей набору изображений, захваченных оптической системой SIM. Минимальный срез (FWHM) определяют по меньшей мере частично на основании среднего значения FWHM по изображениям в первом наборе изображений. На определенном минимальном срезе FWHM выполняют оценку параметров. Параметры наилучшей фокусировки определяют по меньшей мере частично на основании выполненной оценки. Для каждого изображения в наборе выполняют оценку фазы. Вычисление модуляции выполняют по меньшей мере частично на основании определенных параметров наилучшей фокусировки. Отчет по меньшей мере частично основан на выполненном вычислении модуляции. Изобретение обеспечивает улучшение качества реконструированного изображения. 3 н. и 17 з.п. ф-лы, 22 ил.

1. Способ обработки изображений, включающий в себя:

прием множества наборов изображений, причем каждый набор изображений множества наборов изображений включает в себя изображения, захваченные с использованием микроскопии структурированного освещения (SIM) в оптической системе на расстоянии от объекта, которое отличается от расстояния от объекта, при котором захватывают изображения в других наборах изображений множества наборов изображений, а каждое изображение множества наборов изображений имеет связанный канал и связанный угол решетки;

выделение первого набора изображений из множества наборов изображений по меньшей мере частично на основании расстояния, соответствующего первому набору изображений;

измерение значения полной ширины на половине максимума (FWHM), соответствующего каждому изображению в первом наборе изображений;

определение минимального среза FWHM по меньшей мере частично на основании среднего значения FWHM по изображениям в первом наборе изображений;

выполнение оценки параметров на определенном минимальном срезе FWHM, соответствующем первому набору изображений;

определение параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей первому набору изображений;

сохранение определенных параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей первому набору изображений;

выполнение оценки фазы для каждого изображения в первом наборе изображений;

выполнение вычисления модуляции по меньшей мере частично на основании определенных параметров наилучшей фокусировки, соответствующих первому набору изображений; и

формирование отчета, представляющего значения параметров, соответствующих оптической системе, по меньшей мере частично на основании выполненного вычисления модуляции, соответствующей первому набору изображений.

2. Способ по п. 1, дополнительно включающий в себя:

выделение второго набора изображений из множества наборов изображений по меньшей мере частично на основании расстояния, соответствующего второму набору изображений;

измерение значения полной ширины на половине максимума (FWHM), соответствующего каждому изображению во втором наборе изображений;

определение минимального среза FWHM по меньшей мере частично на основании среднего значения FWHM по изображениям во втором наборе изображений;

выполнение оценки параметров на определенном минимальном срезе FWHM, соответствующем второму набору изображений;

определение параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей второму набору изображений;

сохранение определенных параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей второму набору изображений;

выполнение оценки фазы для каждого изображения во втором наборе изображений; и

выполнение вычисления модуляции по меньшей мере частично на основании определенных параметров наилучшей фокусировки, соответствующих второму набору изображений;

причем формируемый отчет основан по меньшей мере частично на комбинации выполненного вычисления модуляции, соответствующей первому набору изображений, и выполненного вычисления модуляции, соответствующей второму набору изображений.

3. Способ по любому одному или более из пп. 1, 2, в котором измерение значения FWHM, соответствующего каждому изображению в первом наборе изображений, выполняют в центральном окне оценки каждого изображения в первом наборе изображений.

4. Способ по любому одному или более из пп. 1-3, в котором выполнение оценки параметров в определенном минимальном срезе FWHM, соответствующем первому набору изображений, осуществляют в центральном окне оценки определенного минимального среза FWHM.

5. Способ по любому одному или более из пп. 1-4, дополнительно включающий в себя:

включение сравнения параметров в отчете с заданным набором спецификаций параметров;

определение того, что параметр в отчете отклоняется от заданного набора спецификаций параметров; и

регулирование одного или более компонентов в оптической системе по меньшей мере частично на основании определения того, что параметр в отчете отклоняется от заданного набора спецификаций параметров.

6. Способ по любому одному или более из пп. 1-5, в котором сформированный отчет включает в себя значения параметров, выбранные из группы, состоящей из расстояний между линзой объектива в оптической системе и объектом, канала, соответствующего каждому изображению множества изображений, углового индекса, модуляции, значений FWHM, шага решетки и углов решетки.

7. Способ по любому одному или более из пп. 1-6, дополнительно включающий в себя вычисление сдвига фазы между парами изображений первого набора изображений, причем каждая пара изображений из пар изображений имеет общие канал и угол решетки, а сформированный отчет включает в себя вычисленные сдвиги фазы.

8. Способ по п. 7, дополнительно включающий в себя:

сравнение вычисленных сдвигов фазы с заданным диапазоном сдвигов фазы;

определение того, что по меньшей мере один из вычисленных сдвигов фазы находится вне заданного диапазона сдвигов фазы; и

в ответ на определение того, что по меньшей мере один из вычисленных сдвигов фазы находится вне заданного диапазона сдвигов фазы, вычисление значений усиления для коррекции сдвигов фазы, которые находятся вне заданного диапазона сдвигов фазы.

9. Способ по п. 8, дополнительно включающий в себя:

установление новых фазосдвигающих напряжений по меньшей мере частично на основании вычисленных значений усиления;

приложение новых фазосдвигающих напряжений к пьезоэлектрическому элементу, причем пьезоэлектрический элемент обеспечивает сдвиги фаз в оптической системе; и

захват нового набора изображений с новыми фазосдвигающими напряжениями, прикладываемыми к пьезоэлектрическому элементу.

10. Считываемый процессором носитель информации, включающий в себя содержимое, которое выполнено с возможностью инициирования обработки компьютерной системой данных путем выполнения способа по любому одному из пп. 1-9.

11. Устройство для обработки изображений, содержащее:

первый оптический узел для излучения структурированного освещения в направлении мишени, причем первый оптический узел включает в себя:

светоизлучающий узел,

первую фазовую маску для придания первого узора свету, излучаемому светоизлучающим узлом,

вторую фазовую маску для придания второго узора свету, излучаемому светоизлучающим узлом, и

фазорегулирующий узел для регулирования фазы света, структурированного первой фазовой маской и второй фазовой маской;

второй оптический узел, причем второй оптический узел включает в себя датчик изображения для захвата изображений мишени, которую освещает первый оптический узел; и

процессор для выполнения следующего:

приема множества наборов изображений, причем каждый набор изображений множества наборов изображений включает в себя изображения, захваченные с использованием второго оптического узла на расстоянии от объекта, которое отличается от расстояния от объекта, при котором захватывают изображения в других наборах изображений множества наборов изображений, а каждое изображение множества изображений имеет связанный канал и связанный угол решетки,

выделения первого набора изображений из множества наборов изображений по меньшей мере частично на основании расстояния, соответствующего первому набору изображений,

измерения значения полной ширины на половине максимума (FWHM), соответствующего каждому изображению в первом наборе изображений,

определения минимального среза FWHM по меньшей мере частично на основании среднего значения FWHM по изображениям в первом наборе изображений,

выполнения оценки параметров на определенном минимальном срезе FWHM, соответствующем первому набору изображений,

определения параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей первому набору изображений,

сохранения определенных параметров наилучшей фокусировки по меньшей мере частично на основании выполненной оценки параметров, соответствующей первому набору изображений,

выполнения оценки фазы для каждого изображения в первом наборе изображений,

выполнения вычисления модуляции по меньшей мере частично на основании определенных параметров наилучшей фокусировки, соответствующих первому набору изображений, и

формирования отчета, представляющего значения параметров, соответствующих оптической системе, по меньшей мере частично на основании выполненного вычисления модуляции, соответствующей первому набору изображений.

12. Устройство по п. 11, в котором мишень включает в себя контейнер для образцов.

13. Устройство по любому одному или более из пп. 11, 12, в котором первый оптический узел дополнительно включает в себя переключатель решетки, причем переключатель решетки выборочно направляет свет или позволяет ему излучаться из светоизлучающего узла в направлении первой фазовой маски или второй фазовой маски.

14. Устройство по любому одному или более из пп. 11-13, в котором фазорегулирующий узел включает в себя выполненный с возможностью перемещения отражающий элемент.

15. Устройство по п. 14, в котором фазорегулирующий узел дополнительно включает в себя исполнительный механизм для перемещения выполненного с возможностью перемещения отражающего элемента.

16. Устройство по любому одному или более из пп. 11-15, в котором процессор дополнительно выполнен с возможностью вычисления сдвига фазы между парами изображений первого набора изображений, причем каждая пара изображений из пар изображений имеет общие канал и угол решетки.

17. Устройство по п. 16, в котором процессор дополнительно выполнен с возможностью сравнения вычисленных сдвигов фазы с заданным диапазоном сдвигов фазы.

18. Устройство по п. 17, в котором процессор дополнительно выполнен с возможностью:

определения того, что по меньшей мере один из вычисленных сдвигов фазы находится вне заданного диапазона сдвигов фазы; и

в ответ на определение того, что по меньшей мере один из вычисленных сдвигов фазы находится вне заданного диапазона сдвигов фазы, вычисления значений усиления для коррекции сдвигов фазы, которые находятся вне заданного диапазона сдвигов фазы.

19. Устройство по п. 18, в котором процессор дополнительно выполнен с возможностью установления новых фазосдвигающих напряжений по меньшей мере частично на основании вычисленных значений усиления, а фазорегулирующий узел включает в себя пьезоэлектрический элемент для регулирования фазы света, структурированного первой фазовой маской и второй фазовой маской, причем новые фазосдвигающие напряжения активируют пьезоэлектрический элемент, чтобы обеспечить сдвиги фазы, которые ближе к заданному диапазону значений.

20. Устройство по любому одному или более из пп. 11-19, дополнительно содержащее нацеливающее устройство, включающее в себя предварительно сформированный оптический узор, причем нацеливающее устройство выполнено с возможностью разрешения первому оптическому узлу излучать структурированный свет в направлении предварительно сформированного оптического узора, и при этом нацеливающее устройство выполнено с возможностью разрешения датчику изображения захватывать изображения предварительно сформированного оптического узора, который освещен первым оптическим узлом.