[0001] Настоящая заявка выделена из заявки №2019140878 на выдачу патента РФ на изобретение, поданной 20.06.2019, с испрашиванием приоритета по дате подачи первой заявки US 62/692,303, поданной в патентное ведомство США 29.06.2018.
Уровень техники
[0002] Микроскопия структурированного освещения (МСО) - это методика, позволяющая с помощью пространственно-упорядоченного (т.е. имеющего определенный рисунок) света визуализировать образец с увеличением латерального разрешения микроскопа в два и более раз. В некоторых случаях, во время визуализации образца, получают три изображения интерференционного рисунка образца при разных фазах рисунка (например, 0°, 120° и 240°) так, что на каждое место на образце поступает освещение в некоем диапазоне интенсивности, при этом процедуру повторяют, изменяя ориентацию рисунка путем вращения относительно оптической оси на 3 отдельных угла (например, 0°, 60° и 120°). Захваченные изображения (например, девять изображений) могут быть собраны в единое изображение с расширенным диапазоном пространственных частот, с возможностью его обратного преобразования в действительное пространство с формированием изображения с разрешением, более высоким, чем у изображения, захватываемого традиционным микроскопом.
[0003] В некоторых вариантах осуществления известных систем МСО линейно-поляризованный световой пучок направляют через оптический светоделитель, расщепляющий пучок на составляющие двух или более отдельных порядков, с возможностью их соединения и проецирования на визуализируемый образец в виде рисунка интерференционных полос с синусоидальным изменением интенсивности. Примерами светоделителей, способных формировать пучки с высокой степенью когерентности и стабильными углами распространения, являются дифракционные решетки. В результате интерференции при соединении двух таких пучков возможно образование единообразного регулярно повторяющегося интерференционного рисунка, шаг в котором зависит от ряда факторов, среди которых - угол между интерферирующими пучками.
[0004] В ходе захвата и/или последующей сборки и реконструкции изображений для создания единого изображения с расширенным диапазоном пространственных частот может быть нужно учитывать следующие параметры структурированного освещения: расстояние между соседними интерференционными полосами (т.е. частоту интерференционного рисунка), фазу или угол рисунка структурированного освещения, а также ориентацию интерференционного рисунка относительно освещаемого образца. В идеальной системе визуализации, не подверженной влиянию таких факторов, как механическая неустойчивость и изменения температуры, не происходило бы отклонение этих параметров или иное их изменение со временем, и были бы известны точные параметры частоты, фазы и ориентации МСО, относящиеся к отдельно взятому образцу изображения. Однако под влиянием таких факторов, как механическая неустойчивость пути пучка возбуждения и/или тепловое расширение/сжатие визуализируемого образца, может происходить отклонение этих параметров или иное их изменение со временем.
[0005] В связи с этим, система МСО-визуализации может быть должна оценивать параметры структурированного освещения для учета их изменения со временем. Поскольку многие системы МСО-визуализации не осуществляют обработку изображений МСО в реальном времени (например, они обрабатывают захваченные изображения не в реальном времени), такие системы МСО могут тратить значительное количество вычислительного времени на обработку изображения МСО для оценки параметров структурированного освещения для этого изображения.
Раскрытие сущности изобретения
[0006] Варианты осуществления раскрываемого изобретения относятся к прогнозированию параметров структурированного освещения для отдельного момента времени, отдельной точки пространства и/или отдельной температуры по значениям параметров структурированного освещения, оцененным по изображениям структурированного освещения, захваченным системой структурированного освещения.
[0007] В одном примере способ содержит шаги, на которых: с помощью системы структурированного освещения захватывают первое изображение образца; с помощью вычислительного устройства оценивают первый параметр структурированного освещения по меньшей мере по захваченному первому изображению; с помощью указанной системы структурированного освещения захватывают второе изображение указанного образца; с помощью указанного вычислительного устройства оценивают второй параметр структурированного освещения по меньшей мере по захваченному второму изображению; и по меньшей мере по первому параметру структурированного освещения или второму параметру структурированного освещения с помощью указанного вычислительного устройства прогнозируют третий параметр структурированного освещения, соответствующий третьему изображению. Каждый из первого, второго и третьего параметров структурированного освещения может представлять собой фазу, частоту, ориентацию или порядок модуляции.
[0008] В некоторых вариантах осуществления первое изображение захватывают в первый момент времени, второе изображение захватывают во второй момент времени после первого момента времени, третье изображение захватывают в третий момент времени между первым моментом времени и вторым моментом времени, при этом третий параметр структурированного освещения прогнозируют в третий момент времени, используя по меньшей мере способ интерполяции. Способ интерполяции может содержать шаги, на которых: с помощью вычислительного устройства определяют скорость изменения с первого параметра структурированного освещения в первый момент времени до второго параметра структурированного освещения во второй момент времени; и по меньшей мере по определенной скорости изменения с помощью указанного вычислительного устройства прогнозируют третий параметр структурированного освещения в третий момент времени.
[0009] В некоторых вариантах осуществления способ дополнительно содержит шаг, на котором: с помощью вычислительного устройства строят изображение высокого разрешения на основе по меньшей мере третьего изображения и третьего параметра структурированного освещения.
[0010] В некоторых вариантах осуществления: первое изображение захватывают в первый момент времени, второе изображение захватывают во второй момент времени после первого момента времени, третье изображение захватывают в третий момент времени после или до и первого момента времени, и второго момента времени, при этом третий параметр структурированного освещения прогнозируют в третий момент времени, используя по меньшей мере способ экстраполяции.
[0011] В некоторых вариантах осуществления способ дополнительно содержит шаг, на котором: на основе по меньше мере третьего параметра структурированного освещения регулируют аппаратный компонент системы структурированного освещения для компенсации изменений параметра структурированного освещения прежде, чем захватить третье изображение в третий момент времени. Регулирование аппаратного компонента может включать в себя: регулирование поворотного зеркала для регулирования фазы или ориентации рисунка структурированного освещения и/или столика поступательного перемещения, несущего дифракционную решетку, для регулирования фазы или ориентации рисунка структурированного освещения, и/или столика поступательного перемещения образца для регулирования фазы или ориентации рисунка структурированного освещения.
[0012] В некоторых вариантах осуществления способ дополнительно содержит шаги, на которых: сохраняют в памяти системы структурированного освещения: первый параметр структурированного освещения, второй параметр структурированного освещения и третий параметр структурированного освещения; и используют сохраненный первый параметр структурированного освещения, и/или сохраненный второй параметр структурированного освещения, и/или сохраненный третий параметр структурированного освещения, и/или сохраненное значение, в основе которого лежат известные физические характеристики системы структурированного освещения, для уменьшения области поиска четвертого параметра структурированного освещения для четвертого изображения.
[0013] В некоторых вариантах осуществления прогнозирование третьего параметра структурированного освещения, соответствующего третьему изображению, включает в себя шаг, на котором: осуществляют аппроксимацию методом наименьших квадратов в отношении по меньшей мере первого параметра структурированного освещения и второго параметра структурированного освещения. В некоторых вариантах прогнозирование третьего параметра структурированного освещения, соответствующего третьему изображению, включает в себя шаг, на котором: используют второй параметр структурированного освещения.
[0014] В некоторых вариантах осуществления первое изображение образца захватывают при первой температуре образца; первый параметр структурированного освещения оценивают при первой температуре образца; второе изображение образца захватывают при второй температуре образца; второй параметр структурированного освещения оценивают при второй температуре образца; а третий параметр структурированного освещения прогнозируют при третьей температуре образца.
[0015] В некоторых вариантах осуществления способ дополнительно содержит шаги, на которых: делят первое изображение образца на множество подучастков изображения; с помощью указанного вычислительного устройства оценивают четвертый параметр структурированного освещения по меньшей мере по первому подучастку изображения из множества подучастков изображения; с помощью указанного вычислительного устройства оценивают пятый параметр структурированного освещения по меньшей мере по второму подучастку изображения из множества подучастков изображения; по меньшей мере по четвертому параметру структурированного освещения или пятому параметру структурированного освещения с помощью вычислительного устройства прогнозируют шестой параметр структурированного освещения, соответствующий третьему подучастку изображения из множества подучастков изображения.
[0016] В некоторых вариантах осуществления способ дополнительно содержит шаги, на которых: делят первое изображение образца на множество подучастков изображения; с помощью указанного вычислительного устройства оценивают четвертый параметр структурированного освещения по меньшей мере по первому подучастку изображения из множества подучастков изображения; и используют оцененный четвертый параметр структурированного освещения в качестве спрогнозированного параметра структурированного освещения второго подучастка изображения из множества подучастков изображения.
[0017] В одном примере долговременный машиночитаемый носитель может содержать хранимые на нем исполняемые инструкции, которые, при исполнении их процессором, побуждают процессор выполнять шаги, на которых: захватывают первое изображение образца с помощью системы структурированного освещения; оценивают первый параметр структурированного освещения по меньшей мере по захваченному первому изображению; захватывают второе изображение указанного образца с помощью указанной системы структурированного освещения; оценивают второй параметр структурированного освещения по меньшей мере по захваченному второму изображению; и прогнозируют третий параметр структурированного освещения, соответствующий третьему изображению, по меньшей мере по первому или второму параметру структурированного освещения.
[0018] В некоторых вариантах осуществления первое изображение захватывают при первом положении образца, второе изображение захватывают при втором положении образца, третье изображение захватывают при третьем положении образца между первым положением образца и вторым положением образца, и прогнозируют третий параметр структурированного освещения при третьем положении образца, используя по меньшей мере способ интерполяции. Способ интерполяции может содержать шаги, на которых: с помощью указанного вычислительного устройства определяют скорость изменения с первого параметра структурированного освещения при первом положении образца до второго параметра структурированного освещения при втором положении образца; и по меньшей мере по определенной скорости изменения прогнозируют третий параметр структурированного освещения при третьем положении образца.
[0019] В некоторых вариантах осуществления указанные инструкции, при исполнении их процессором, побуждают процессор дополнительно выполнить шаг, на котором строят изображение высокого разрешения на основе по меньшей мере третьего изображения и третьего параметра структурированного освещения.
[0020] В некоторых вариантах осуществления третье положение образца следует за первым положением образца и вторым положением образца, при этом третий параметр структурированного освещения прогнозируют при третьем положении образца, используя по меньшей мере способ экстраполяции.
[0021] В некоторых вариантах осуществления указанные инструкции, при исполнении их процессором, побуждают процессор дополнительно выполнить шаг, на котором регулируют, на основе по меньшей мере третьего параметра структурированного освещения, аппаратный компонент системы структурированного освещения для компенсации изменений параметра структурированного освещения прежде, чем осуществить захват изображения при третьем положении образца.
[0022] В некоторых вариантах осуществления указанные инструкции, при исполнении их процессором, побуждают процессор дополнительно выполнить шаги, на которых: сохраняют в памяти системы структурированного освещения: первый параметр структурированного освещения, второй параметр структурированного освещения и третий параметр структурированного освещения; и используют сохраненный первый параметр структурированного освещения, и/или сохраненный второй параметра структурированного освещения, и/или сохраненный третий параметр структурированного освещения, и/или сохраненное значение, в основе которого лежат известные физические характеристики системы структурированного освещения, для уменьшения области поиска четвертого параметра структурированного освещения для четвертого изображения.
[0023] В одном примере система визуализации со структурированным освещением содержит: светоизлучатель для излучения света; светоделитель для расщепления света, излучаемого светоизлучателем, для проецирования рисунка структурированного освещения на плоскость образца; процессор; и долговременный машиночитаемый носитель с хранимыми на нем исполняемыми инструкциями, которые, при исполнении их процессором, побуждают процессор выполнить шаги, на которых: захватывают первое изображение образца; оценивают первый параметр структурированного освещения по меньшей мере по захваченному первому изображению; захватывают второе изображение образца; оценивают второй параметр структурированного освещения по меньшей мере по захваченному второму изображению; и прогнозируют третий параметр структурированного освещения, соответствующий третьему изображению, по меньшей мере по первому или второму параметру структурированного освещения.
[0024] В одном примере способ содержит шаги, на которых: с помощью системы структурированного освещения захватывают первое множество изображений образца; с помощью вычислительного устройства оценивают первый параметр структурированного освещения по меньшей мере по захваченному первому множеству изображений; с помощью указанной системы структурированного освещения захватывают второе множество изображений образца; с помощью указанного вычислительного устройства оценивают второй параметр структурированного освещения по меньшей мере по захваченному второму множеству изображений; и по меньшей мере по первому параметру структурированного освещения или второму параметру структурированного освещения с помощью указанного вычислительного устройства прогнозируют третий параметр структурированного освещения, соответствующий одному или нескольким изображениям.
[0025] Прочие признаки и аспекты раскрываемого технического решения станут очевидны из нижеследующего раздела «Осуществление изобретения» при его рассмотрении совместно с прилагаемыми чертежами, иллюстрирующими, в качестве примера, признаки некоторых вариантов осуществления раскрываемого в настоящем документе технического решения. Раздел «Раскрытие сущности изобретения» не предназначен для ограничения объема каких-либо раскрытых в настоящем документе изобретений, объем которых определен формулой изобретения и эквивалентами.
[0026] Следует понимать, что все комбинации изложенных выше идей (при условии, что эти идеи не являются взаимно несовместимыми) рассматриваются как часть раскрытого в настоящем документе объекта изобретения. В частности, все комбинации заявленного объекта изобретения, указанные в конце настоящего раскрытия, рассматриваются как часть раскрытого в настоящем документе объекта изобретения.
Краткое описание чертежей
[0027] В настоящем описании один или несколько вариантов осуществления детально раскрыты со ссылкой нижеследующие фигуры. Фигуры представлены исключительно в иллюстративных целях и просто изображают примеры осуществления. Также следует отметить, что для ясности и удобства иллюстрирования элементы на фигурах не обязательно изображены в масштабе.
[0028] Некоторые из фигур, включенных в настоящий документ, иллюстрируют различные варианты осуществления раскрываемого технического решения с разных углов зрения. Несмотря на то, что в тексте описания такие виды могут именоваться видами «сверху», «снизу» или «сбоку», подобные наименования носят исключительно описательный характер, не предполагая и не требуя того, чтобы раскрываемое техническое решение осуществлялось или применялось в той или иной конкретной ориентации в пространстве, если явно не указано иное.
[0029] ФИГ. 1A иллюстрирует на одном примере нежелательные изменения частоты, которые могут происходить со временем в системе МСО-визуализации, проецирующей одномерный рисунок структурированного освещения на образец.
[0030] ФИГ. 1B иллюстрирует на одном примере нежелательные изменения фазы, которые могут происходить со временем в системе МСО-визуализации, проецирующей одномерный рисунок структурированного освещения на образец.
[0031] ФИГ. 1C иллюстрирует на одном примере нежелательные изменения ориентации, которые могут происходить со временем в системе МСО-визуализации, проецирующей одномерный рисунок структурированного освещения на образец.
[0032] ФИГ. 2 иллюстрирует на одном примере систему МСО-визуализации с возможностью осуществления прогнозирования параметров структурированного освещения в соответствии с некоторыми из раскрытых здесь вариантов осуществления.
[0033] ФИГ. 3 - оптическая схема, иллюстрирующая пример оптической конфигурации двухплечевой системы МСО-визуализации с возможностью осуществления прогнозирования параметров структурированного освещения в соответствии с некоторыми из раскрытых здесь вариантов осуществления.
[0034] ФИГ. 4 иллюстрирует на одном примере упрощенные рисунки полос освещения, которые могут быть спроецированы на плоскость образца вертикальной решеткой и горизонтальной решеткой системы МСО-визуализации с ФИГ. 3 во время одного цикла визуализации для создания изображения высокого разрешения с помощью структурированного света.
[0035] ФИГ. 5A - принципиальная схема, иллюстрирующая пример оптической конфигурации системы МСО-визуализации препаратов с двумя оптическими решетками с возможностью осуществления прогнозирования параметров структурированного освещения в соответствии с некоторыми из раскрытых здесь вариантов осуществления.
[0036] ФИГ. 5B - принципиальная схема, иллюстрирующая пример оптической конфигурации системы МСО-визуализации препаратов с двумя оптическими решетками с возможностью осуществления прогнозирования параметров структурированного освещения в соответствии с некоторыми из раскрытых здесь вариантов осуществления.
[0037] ФИГ. 6 иллюстрирует на одном примере упрощенные рисунки полос освещения, которые могут быть спроецированы на плоскость образца первой дифракционной решеткой и второй дифракционной решеткой системы МСО-визуализации с ФИГ. 5A-5B во время захвата изображений для цикла визуализации с помощью структурированного освещения.
[0038] ФИГ. 7 изображает на одном примере оценку фазового параметра, изменяющегося в пространстве (X) и времени (T).
[0039] ФИГ. 8 иллюстрирует на одном примере тренд изменения оцененного значения параметра в зависимости от x.
[0040] ФИГ. 9 - технологическая схема, иллюстрирующая пример способа интерполяции для прогнозирования параметров структурированного освещения для отдельного момента времени по значениям параметров структурированного освещения, оцененным по изображениям, захваченным до и после указанного момента времени, в соответствии с некоторыми из раскрытых здесь вариантов осуществления.
[0041] ФИГ. 10 - технологическая схема, иллюстрирующая пример способа экстраполяции для прогнозирования параметров структурированного освещения для отдельного момента времени по значениям параметров структурированного освещения, оцененным по двум или более изображениям, захваченным до указанного момента времени, в соответствии с некоторыми из раскрытых здесь вариантов осуществления.
[0042] ФИГ. 11 - технологическая схема, иллюстрирующая пример способа использования спрогнозированного параметра структурированного освещения в ходе реконструкции изображения высокого разрешения для компенсации нежелательных изменений параметров структурированного освещения со временем, в соответствии с некоторыми из раскрытых здесь вариантов осуществления.
[0043] ФИГ. 12 - технологическая схема, иллюстрирующая пример способа использования регулировок аппаратных компонентов системы МСО-визуализации на основе спрогнозированных параметров структурированного освещения для компенсации изменений параметров структурированного освещения со временем, в соответствии с некоторыми из раскрытых здесь вариантов осуществления.
[0044] ФИГ. 13 - пример вычислительного компонента с возможностью использования совместно с различными вариантами осуществления настоящего раскрытия.
[0045] Фигуры не являются исчерпывающими и не ограничивают настоящее раскрытие конкретной раскрываемой формой.
Осуществление изобретения
[0046] В контексте настоящего документа, когда речь идет о параметр структурированного освещения, термин «частота» означает расстояние между полосами или линиями рисунка структурированного освещения (например, интерференционного рисунка или рисунка, создаваемого решеткой). Например, рисунок с большим расстоянием между полосами будет иметь более низкую частоту, чем рисунок с меньшим расстоянием между полосами.
[0047] В контексте настоящего документа, когда речь идет о параметре структурированного освещения, термин «фаза» означает фазу рисунка структурированного освещения, освещающего образец. Например, фазу можно изменять путем поступательного перемещения рисунка структурированного освещения относительно освещаемого образца.
[0048] В контексте настоящего документа, когда речь идет о параметре структурированного освещения, термин «ориентация» означает ориентацию рисунка структурированного освещения (например, интерференционного рисунка или рисунка, создаваемого решеткой) относительно образца, освещаемого этим рисунком. Например, ориентацию можно изменять путем вращения рисунка структурированного освещения относительно освещаемого образца.
[0049] В контексте настоящего документа, когда речь идет о параметре структурированного освещения, термин «прогнозировать» или «прогнозирование» означает расчет значения (значений) параметра без его непосредственного измерения или оценку параметра по захваченному изображению, соответствующему данному параметру. Например, фазу рисунка структурированного освещения можно прогнозировать в момент времени t1 путем интерполяции между значениями фазы, непосредственно измеренными или оцененными (например, по захваченным фазовым изображениям) в моменты t2 и t3, где t2 < t1 < t3. В другом примере частоту рисунка структурированного освещения можно прогнозировать в момент времени t1 путем экстраполяции значений частоты, непосредственно измеренных или оцененных (например, по захваченным фазовым изображениям) в моменты t2 и t3, где t2 < t3 < t1.
[0050] В контексте настоящего документа, когда речь идет о свете, дифрагируемом дифракционной решеткой, термин «порядок» или «число порядка» служит для обозначения числа целых длин волн, представляющего разность длин оптического пути из соседних щелей или структур дифракционной решетки для усиливающей интерференции. При взаимодействии падающего светового пучка с повторяющимся рядом структур решетки или иных светоделительных структур возможно перенаправление или дифракция частей светового пучка в предсказуемых угловых направлениях относительно исходного пучка. Термин «нулевой порядок» или «максимум нулевого порядка» служит для обозначения центральной светлой полосы, излучаемой дифракционной решеткой, где отсутствует дифракция. Термин «первый порядок» служит для обозначения двух светлых полос, дифрагированных по обеим сторонам полосы нулевого порядка, где разность длин пути составляет ±1 длину волны. Дифракция более высоких порядков происходит на углы большей величины относительно исходного пучка. Свойствами решетки можно управлять для регулирования части интенсивности пучка, направляемой в разные порядки. Например, может быть изготовлена фазовая решетка для максимизации пропускания пучков ±1 порядков и минимизации пропускания пучков нулевого порядка.
[0051] В контексте настоящего документа, когда речь идет об образце, термин «элемент» служит для обозначения точки или зоны на рисунке, которые можно отличить от других точек или зон по относительному положению. Отдельный элемент может включать в себя одну или несколько молекул конкретного типа. Например, элемент может включать в себя единственную целевую молекулу нуклеиновой кислоты с конкретной последовательностью, либо элемент может включать в себя несколько молекул нуклеиновой кислоты с одной и той же последовательностью (и/или ее комплементарной последовательностью).
[0052] В контексте настоящего документа, термин «плоскость xy» служит для обозначения 2-мерной зоны, ограниченной прямолинейными осями x и у в декартовой системе координат. При использовании применительно к детектору или предмету наблюдения детектора, такая зона может быть дополнительно охарактеризована как ортогональная оси пучка или направлению наблюдения между детектором и обнаруживаемым предметом.
[0053] В контексте настоящего документа, термин «координата z» служит для обозначения информации, указывающей местоположение точки, линии или зоны по оси, ортогональной плоскости xy. В частных вариантах ось z ортогональна зоне объекта, наблюдаемого детектором. Например, направление фокуса оптической системы может быть указано по оси z.
[0054] В контексте настоящего документа, термин «оптически сопряженный» означает, что один элемент выполнен с возможностью непосредственной или опосредованной передачи света другому элементу.
[0055] Как сказано выше, оценка параметров для обработки изображения МСО может быть нужна для внесения поправки на нежелательные изменения параметров структурированного освещения со временем. Например, ФИГ. 1A-1C иллюстрируют нежелательные изменения частоты (ФИГ. 1A), фазы (ФИГ. 1B) и ориентации (ФИГ. 1C), которые могут происходить со временем в системе МСО-визуализации, проецирующей одномерный рисунок структурированного освещения на образец с упорядоченной структурой. В частности, ФИГ. 1A иллюстрирует образец 50 с элементами 51, освещаемый одномерным рисунком структурированного освещения с полосами 60, до и после сдвигов по частоте. До каких-либо сдвигов по частоте, шаг или расстояние P между центрами соседних полос 60 соответствует начальной частоте f. Со временем, с изменениями температуры в системе, шаг P может стать больше или меньше. Например, тепловое расширение может привести к увеличению шага P до P + ΔP1, с соответствующим уменьшением частоты f до f - Δf1. И наоборот, тепловое сжатие может привести к уменьшению шага P до P - ΔP1, с соответствующим увеличением частоты f до f + Δf2.
[0056] ФИГ. 1B иллюстрирует образец 50, освещаемый одномерным рисунком структурированного света с полосами 60, до и после изменений фазы. Показано, что до ухода фазы, первое состояние Ф по фазе может соответствовать полному освещению полосами каждого второго столбца элементов 51 образца 50. Со временем, может произойти сдвиг положения полос 60 относительно образца 50 со смещением всех фазовых изображений на ΔФ. Например, механические вибрации в системе МСО-визуализации (например, на пути пучка возбуждения), недостаточная прецизионность столика поступательного перемещения решетки или образца, изменения температуры и/или иные факторы могут привести к нежелательному уходу фазы. Результатом уходов фазы на ΔФ является изменение первого состояния по фазе до Ф + ΔФ, при этом центр полос уже не находится на каждом втором столбце элементов.
[0057] ФИГ. 1C иллюстрирует образец 50, освещаемый одномерным рисунком структурированного света с полосами 60, до и после изменений ориентации. Показано, что до изменения ориентации, полосы ориентированы относительно образца 50 полностью вертикально. Со временем, возможно изменение ориентации под действием таких факторов, как изменения на пути пучка возбуждения, перемещение образца, изменения температуры и/или иных факторов. После поворота ориентации на угол Δθ, полосы уже не полностью вертикальны относительно образца.
[0058] Оценка параметров в ходе процесса МСО-визуализации для точного учета изменений параметров структурированного освещения, речь о которых шла выше, помогает обеспечить точную реконструкцию изображения без артефактов из набора дискретизированных изображения. При этом, такой процесс может быть затратным с точки зрения вычислительных ресурсов и зачастую выполняется после получения изображений. Для лимитированных по времени систем МСО-визуализации, в которых обработка и реконструкция изображений, а значит и оценка таких параметров, как частота, фаза, ориентация и порядок модуляции, происходят в реальном времени, такой объем необходимых вычислений может стать причиной потери пропускной способности по данным (например, за единицу времени может происходить обработка меньшего количества данных). В таких системах скорость визуализации образцов может превышать возможную скорость непосредственной оценки параметров структурированного освещения по дискретизированным изображениям. В связи с этим, существует потребность в способе получения оцененного значения параметра с низкой сложностью и малым временем обработки.
[0059] Для достижения этой цели, в настоящем документе раскрыты варианты технического решения, относящиеся к прогнозированию параметров структурированного освещения для отдельного момента времени, отдельной точки пространства и/или отдельной температуры по значениям параметров структурированного освещения, оцененным по изображениям, захваченным системой структурированного освещения. Частные варианты относятся к прогнозированию частоты, фазы, ориентации и/или порядка модуляции структурированного освещения.
[0060] В соответствии с некоторыми вариантами осуществления, параметр структурированного освещения можно прогнозировать для заданного момента времени, точки пространства и/или температуры путем интерполяции значений параметров структурированного освещения, оцененных по захваченным изображениям. Например, первую частоту можно оценивать по первому дискретизированному изображению, вторую частоту можно оценивать по второму дискретизированному изображению, при этом частоту, соответствующую моменту времени между первым и вторым захваченными изображениями (например, частоту для изображения, отснятого между первым и вторым изображениями) можно прогнозировать путем интерполяции по меньшей мере по определенной скорости изменения частоты между первым и вторым захваченными изображениями.
[0061] В соответствии с некоторыми вариантами осуществления, параметр структурированного освещения можно прогнозировать для какого-либо данного момента времени, точки пространства и/или температуры путем экстраполяции значений параметра структурированного освещения, оцененных по двум захваченным изображениям. Например, первую ориентацию можно оценивать по первому дискретизированному изображению, вторую ориентация можно оценивать по второму дискретизированному изображению, при этом ориентацию, соответствующую моменту времени после первого и второго захваченных изображений (например, ориентацию для третьего изображения, отснятого после первого и второго изображений) можно прогнозировать путем экстраполяции по меньшей мере по определенной скорости изменения ориентации от первого захваченного изображения до второго захваченного изображения. Во втором примере первую ориентацию можно оценивать по первому дискретизированному изображению, вторую ориентацию можно оценивать по второму дискретизированному изображению, а ориентацию, соответствующую моменту времени после первого и второго захваченных изображений (например, ориентацию для третьего изображения, отснятого после первого и второго изображений) можно прогнозировать путем фиксации значения, полученного на основе второго захваченного изображения.
[0062] В некоторых вариантах осуществления оцененные и спрогнозированные параметры структурированного освещения можно использовать для сужения области поиска других прогнозируемых параметров структурированного освещения. Например, при наличии оцененного значения параметра структурированного освещения для первого момента времени, первой точки пространства и/или первой температуры, можно прогнозировать значение параметра структурированного освещения для второго момента времени, второй точки пространства и/или второй температуры, близких к первому моменту времени, первой точке пространства и/или первой температуре, с учетом спрогнозированного или оцененного значения в первый момент времени, в первой точке пространстве и/или при первой температуре.
[0063] В некоторых вариантах осуществления оцененные и спрогнозированные параметры структурированного освещения можно сохранять в памяти системы структурированного освещения для последующего использования системой. Например, спрогнозированные и оцененные параметры можно сохранять в статистическом файле, например, в поисковой таблице. Спрогнозированные параметры, сохраняемые в памяти, могут быть определены по оцененным параметрам или заданы, исходя из физических характеристик системы структурированного освещения. Например, может быть сохранен номинальный шаг решетки системы структурированного освещения. Впоследствии можно обращаться к сохраненным параметрам для выполнения таких операций, как: реконструкция откалиброванного изображения, предоставление данных обратной связи аппаратному компоненту для внесения поправки на изменения параметров структурированного освещения и сужение области поиска при прогнозировании дополнительных параметров структурированного освещения.
[0064] Прежде чем приступить к описанию раскрываемых здесь различных вариантов осуществления технических решений для прогнозирования параметров структурированного освещения, целесообразно описать пример системы МСО-визуализации, с которой возможна реализация этих технических решений. ФИГ. 2-6 иллюстрируют три примера систем МСО-визуализации. Следует отметить, что, несмотря на то, что эти системы раскрыты, в основном, применительно к системам МСО-визуализации, создающим одномерные рисунки освещения, раскрытое здесь техническое решение может быть реализовано посредством систем МСО-визуализации, создающих рисунки освещения с большим числом измерений (например, двухмерные рисунки решетки).
[0065] ФИГ. 2 иллюстрирует систему 100 визуализации с помощью микроскопии структурированного освещения (МСО) с возможностью осуществления прогнозирования параметров структурированного освещения в соответствии с некоторыми из раскрытых здесь вариантов осуществления. Например, система 100 может представлять собой систему флуоресцентной микроскопии со структурированным освещением, в которой для визуализации биологического образца применяют пространственно-структурированный свет возбуждения.
[0066] В примере на ФИГ. 2 светоизлучатель 150 выполнен с возможностью выдачи светового пучка, коллимируемого коллимирующей линзой 151. Коллимированный свет структурируют (упорядочивают) посредством структурирующего свет оптического блока 155 и направляют посредством дихроичного зеркала 160 через линзу 142 объектива на образец в контейнере 110 для образцов, расположенном на столике 170 перемещения. Если образец является флуоресцентным, он флуоресцирует под действием структурированного света возбуждения, при этом происходит сбор образующегося света линзой 142 объектива и его направление к датчику изображения системы 140 камеры для детектирования флуоресценции.
[0067] Структурирующий свет оптический блок 155 включает в себя одну или несколько оптических дифракционных решеток или иных элементов расщепления пучка (например, светоделительный куб или пластину) для создания рисунка освещения (например, полос, обычно - синусоидальных), проецируемого на образцы в контейнере 110 для образцов. Дифракционные решетки могут представлять собой одномерные или двухмерные пропускающие или отражательные решетки. Дифракционные решетки могут представлять собой амплитудные или фазовые синусоидальные решетки.
[0068] В некоторых вариантах осуществления для дифракционной решетки (решеток) может не быть нужен столик вращения для изменения ориентации рисунка структурированного освещения. В других вариантах осуществления дифракционная решетка(-и) может быть установлена на столике вращения. В некоторых вариантах осуществления дифракционные решетки могут находиться в фиксированном состоянии во время работы системы визуализации (т.е. не требуют вращательного или линейного перемещения). Например, в частном варианте осуществления, дополнительно раскрытом ниже, в число дифракционных решеток могут входить две фиксированные одномерные пропускающие дифракционные решетки, ориентированные перпендикулярно друг другу (например, горизонтальная дифракционная решетка и вертикальная дифракционная решетка).
[0069] Как проиллюстрировано в примере на ФИГ. 2, структурирующий свет оптический блок 155 выдает дифрагированные световые пучки первых порядков (например, порядков m=±1), при этом блокируя или минимизируя все прочие порядки, в том числе - нулевые порядки. При этом в альтернативных вариантах возможно проецирование на образец света дополнительных порядков.
[0070] Во время каждого цикла визуализации, система 100 визуализации задействует структурирующий свет оптический блок 155 для получения множества изображений при различных фазах, при этом интерференционный рисунок смещают латерально в направлении модулирования (например, в плоскости x-y и перпендикулярно полосам), при этом данную процедуру повторяют один или несколько раз, изменяя ориентацию рисунка путем вращения вокруг оптической оси (т.е. относительно плоскости x-y образца). Затем захваченные изображения могут быть вычислительно реконструированы для формирования изображения с более высоким разрешением (например, изображения с латеральным пространственным разрешением в два раза выше, чем у отдельных изображений).
[0071] Светоизлучатель 150 в системе 100 может представлять собой некогерентный светоизлучатель (например, излучать световые пучки, выдаваемые одним или несколькими диодами возбуждения) или когерентный светоизлучатель, например, излучатель света, выдаваемого одним или несколькими лазерами или лазерными диодами. Как проиллюстрировано в примере системы 100, светоизлучатель 150 включает в себя оптоволоконный кабель 152 для направления выдаваемого оптического пучка. При этом возможно использование других конфигураций светоизлучателя 150. В вариантах осуществления с использованием структурированного освещения в многоканальной системе визуализации (например, многоканального флуоресцентного микроскопа с использованием света нескольких длин волн), оптоволоконный кабель 152 может оптически сопрягаться с множеством разных источников света (не показаны), при этом каждый источник света излучает свет отличной от других длины волны. Несмотря на то, что система 100 показана с единственным светоизлучателем 150, некоторые варианты осуществления могут включать в себя несколько светоизлучателей 150. Например, несколько светоизлучателей могут входить в состав системы визуализации со структурированным освещением, содержащей несколько плеч, как подробнее раскрыто ниже.
[0072] В некоторых вариантах осуществления система 100 может включать в себя цилиндрическую линзу 156, которая может включать в себя элемент линзы с возможностью сочленения по оси z для регулирования формы и пути структурированного пучка. Например, компонент цилиндрической линзы может быть выполнен с возможностью сочленения с учетом диапазона толщин образцов (например, различных толщин покровного стекла) в контейнере 110.
[0073] В примере системы 100, модуль или устройство 190 подачи текучей среды может направлять поток реагентов (например, флуоресцентно-меченых нуклеотидов, буферных растворов, ферментов, расщепляющих реагентов и т.п.) к контейнеру 110 для образцов (и через него) и сливному клапану 120. Контейнер 110 для образцов может включать в себя одну или несколько подложек, на которых располагают образцы. Например, если система предназначена для анализа большого числа различных последовательностей нуклеиновых кислот, контейнер 110 для образцов может включать в себя одну или несколько подложек для связывания с ними, прикрепления или присоединения к ним подлежащих секвенированию нуклеиновых кислот. Подложка может включать в себя любую инертную подложку или матрицу с возможностью прикрепления к ней нуклеиновых кислот, например, стеклянные поверхности, пластмассовые поверхности, латексные, декстрановые, полистирольные поверхности, полипропиленовые поверхности, полиакриламидные гели, золотые поверхности и кремниевые пластины. В некоторых случаях применения подложка расположена в пределах канала или иной зоны во множестве мест, сформированных с образованием матрицы или структуры от края до края контейнера 110 для образцов. Система 100 также может включать в себя исполнительный механизм 130 температурной станции и нагреватель-охладитель 135 с возможностью, при необходимости, регулирования температурных режимов текучих сред в пределах контейнера 110 для образцов.
[0074] В частных вариантах осуществления контейнер 110 для образцов может быть реализован в виде структурированной проточной ячейки, включающей в себя светопропускающую крышку, подложку и заключенную между ними жидкость, при этом биологический образец может быть расположен на внутренней поверхности светопропускающей крышки или внутренней поверхности подложки. Проточная ячейка может включать в себя большое количество (например, тысячи, миллионы или миллиарды) лунок или областей, расположенных по схеме с образованием определенной матрицы (например, гексагональной матрицы, прямоугольной матрицы и т.п.) в подложке. Каждая область может образовывать кластер (например, моноклональный кластер) биологического образца, например, ДНК, РНК или иного геномного материала, который может быть секвенирован, например, путем секвенирования посредством синтеза. Проточная ячейка может быть дополнительно поделена на несколько отстоящих друг от друга дорожек (например, восемь дорожек), при этом каждая дорожка содержит гексагональную матрицу кластеров.
[0075] Контейнер 110 для образцов может быть установлен на предметном столике 170 для обеспечения перемещения и выравнивания контейнера 110 для образцов относительно линзы 142 объектива. Предметный столик может иметь один или несколько исполнительных механизмов, обеспечивающих возможность его перемещения в любом из трех измерений. Например, в декартовой системе координат, исполнительные механизмы могут быть выполнены с возможностью перемещения столика в направлениях X, Y и Z относительно линзы объектива. Это обеспечивает возможность выравнивания одного или нескольких местоположений образца на контейнере 110 для образцов по оптической оси с линзой 142 объектива. Перемещение предметного столика 170 относительно линзы 142 объектива может быть обеспечено путем перемещения самого предметного столика, линзы объектива, иного компонента системы визуализации или вышеперечисленного в какой-либо комбинации. Дополнительные варианты осуществления могут также включать в себя перемещение системы визуализации целиком над неподвижным образцом. В альтернативном варианте контейнер 110 для образцов может находиться в фиксированном состоянии во время визуализации.
[0076] Некоторые варианты осуществления могут включать в себя фокусирующий (по оси z) компонент 175 для регулирования положения оптических компонентов относительно контейнера 110 для образцов в направлении фокуса (обычно именуемом «ось z» или «направление z»). Фокусирующий компонент 175 может включать в себя один или несколько исполнительных механизмов, физически соединенных с оптическим столиком или предметным столиком, или с ними обоими для перемещения контейнера 110 для образцов на предметном столике 170 относительно оптических компонентов (например, линзы 142 объектива) для надлежащего фокусирования для выполнения визуализации. Например, исполнительный механизм может быть физически соединен с соответствующим столиком, например, посредством механического, магнитного, гидравлического или иного крепления, либо находиться в непосредственном или опосредованном контакте со столиком. Указанные один или несколько исполнительных механизмов могут быть выполнены с возможностью перемещения столика в направлении z, при этом удерживая предметный столик в одной и той же плоскости (например, поддерживая уровень или положение по горизонтали перпендикулярно оптической оси). Один или несколько исполнительных механизмов также могут быть выполнены с возможностью наклона столика. Например, это может быть сделано так, чтобы контейнер 110 для образцов можно было динамически выравнивать с учетом любого уклона его поверхностей.
[0077] Структурированный свет, исходящий от испытуемого образца в визуализируемом месте анализа, может быть направлен через дихроичное зеркало 160 к одному или нескольким детекторам системы 140 камеры. Некоторые варианты осуществления могут включать в себя блок 165 переключения фильтров с одним или несколькими фильтрами излучения, выполненными с возможностью пропускания излучения отдельных длин волн и блокирования (или отражения) излучения других длин волн. Например, один или несколько фильтров излучения выполнены с возможностью переключения между разными каналами системы визуализации. В частном варианте осуществления фильтры излучения могут быть осуществлены как дихроичные зеркала, направляющие излучаемый свет разных длин волн к разным датчикам изображения системы 140 камеры.
[0078] Система 140 камеры может включать в себя один или несколько датчиков изображения для контроля и отслеживания процесса визуализации (например, секвенирования) контейнера 110 для образцов. Например, система 140 камеры может быть осуществлена как камера датчика изображения на основе прибора с зарядовой связью (ПЗС), при этом возможно использование иных технических решений датчика изображения (например, активно-пиксельных датчиков).
[0079] Выходные данные (например, изображения) от системы 140 камеры могут быть переданы в компонент 191 МСО-визуализации в реальном времени, который может быть реализован в виде компьютерной программы с возможностью, как подробнее раскрыто ниже, реконструкции изображений, захваченных во время каждого цикла визуализации, для создания изображения с более высоким пространственным разрешением. В реконструированных изображениях могут быть учтены изменения параметров структурированного освещения, которые могут произойти со временем согласно прогнозу. Компонент 191 МСО-визуализации также выполнен с возможностью отслеживания спрогнозированных параметров МСО и/или создания прогнозов параметров МСО, исходя из ранее оцененных и/или спрогнозированных параметров МСО.
[0080] Может быть предусмотрен контроллер 195 для управления работой системы 100 визуализации со структурированным освещением, в том числе - для синхронизации различных оптических компонентов системы 100. Контроллер может быть выполнен с возможностью управления такими аспектами работы системы как, например, конфигурирование структурирующего свет оптического блока 155 (например, выбор и/или линейное поступательное перемещение дифракционных решеток), перемещение цилиндрической линзы 156, фокусирование, перемещение столика и операции визуализации. Контроллер может быть также выполнен с возможностью управления аппаратными элементами системы 100 для внесения поправки на изменения параметров структурированного освещения со временем. Например, контроллер выполнен с возможностью передачи управляющих сигналов двигателям или иным устройствам, управляющим конфигурацией структурирующего свет оптического блока 155, столика 170 перемещения или какого-либо другого элемента системы 100 для внесения поправки на происходящие со временем изменения фазы, частоты и/или ориентации структурированного освещения или их компенсации. В вариантах осуществления передача этих сигналов может происходить в зависимости от параметров структурированного освещения, спрогнозированных посредством компонента 191 МСО-визуализации. В некоторых вариантах контроллер 195 может содержать память для хранения спрогнозированных и/или оцененных параметров структурированного освещения, соответствующих различным моментам времени и/или положениям образца.
[0081] В различных вариантах осуществления контроллер 195 может быть реализован на основе аппаратных средств, алгоритмов (например, машинно-исполняемых инструкций) или их комбинации. Например, в некоторых вариантах осуществления контроллер может включать в себя одно или несколько центральных процессорных устройств (ЦПУ), графических процессорных устройств (ГПУ) или процессоров с сопряженной с ними памятью. В другом примере контроллер может содержать аппаратные средства или иные схемы для управления указанной работой, такие как процессор вычислительной машины и долговременный машиночитаемый носитель с хранимыми в нем машиночитаемыми инструкциями. Например, указанные схемы могут включать в себя: программируемую пользователем вентильную матрицу (ППВМ), и/или специализированную заказную интегральную схему (СИС), и/или программируемую логическую интегральную схему (ПЛИС), и/или сложную программируемую логическую схему (СПЛИС), и/или программируемую логическую матрицу (ПЛМ), и/или программируемую матричную логику (ПМЛ) или аналогичное процессорное устройство или схему. В еще одном примере контроллер может содержать комбинацию указанной схемы с одним или несколькими процессорными устройствами.
[0082] ФИГ. 3 - оптическая схема, иллюстрирующая пример оптической конфигурации двухплечевой системы 200 МСО-визуализации с возможностью осуществления прогнозирования параметров структурированного освещения в соответствии с некоторыми из раскрытых здесь вариантов осуществления. Первое плечо системы 200 включает в себя светоизлучатель 210A, первый оптический коллиматор 220A для коллимирования света, выдаваемого светоизлучателем 210A, дифракционную решетку 230A в первой ориентации относительно оптической оси, поворотное зеркало 240A и второй оптический коллиматор 250A. Второе плечо системы 200 включает в себя светоизлучатель 210B, первый оптический коллиматор 220B для коллимирования света, выдаваемого светоизлучателем 210B, дифракционную решетку 230B во второй ориентации относительно оптической оси, поворотное зеркало 240B и второй оптический коллиматор 250B. Несмотря на то, что в данном примере показаны дифракционные решетки, в других вариантах возможно использование других элементов расщепления пучка, например, светоделительного куба или пластины с возможностью расщепления поступающего света на каждом плече системы 200 МСО-визуализации.
[0083] Каждый светоизлучатель 210A-210B может представлять собой некогерентный светоизлучатель (например, излучать световые пучки, выдаваемые одним или несколькими светоизлучающими диодами (СИД)), или когерентный светоизлучатель, например, излучатель света, выдаваемого одним или несколькими лазерами или лазерными диодами. В примере системы 200 каждый светоизлучатель 210A-210B представляет собой оптоволоконный кабель, выдающий оптический пучок, коллимируемый соответствующим коллиматором 220A-220B.
[0084] В некоторых вариантах каждый оптоволоконный кабель может быть оптически сопряжен с соответствующим источником света (не показан), например, лазером. Во время визуализации, каждый оптоволоконный кабель можно включать или выключать посредством высокоскоростного затвора (не показан), расположенного на оптическом пути между оптоволоконным кабелем и источником света, или путем эксплуатации соответствующего оптоволоконному кабелю источника света в импульсном режиме с заранее заданной частотой во время визуализации. В некоторых вариантах осуществления каждый оптоволоконный кабель может быть оптически сопряжен с одним и тем же источником света. Такие варианты осуществления содержат светоделитель или иной подходящий оптический элемент с возможностью направления света от источника света в каждый из оптоволоконных кабелей. В таких примерах каждый оптоволоконный кабель можно включать или выключать посредством высокоскоростного затвора (не показан), расположенного на оптическом пути между оптоволоконным кабелем и светоделителем.
[0085] В примере системы 200 МСО-визуализации первое плечо содержит фиксированную вертикальную решетку 230A для проецирования рисунка решетки в первой ориентации (например, вертикального интерференционного рисунка) на образец, при этом второе плечо содержит фиксированную горизонтальную решетку 230B для проецирования рисунка решетки во второй ориентации (например, горизонтального интерференционного рисунка) на образец 271. Решетки системы 200 МСО-визуализации не нужно механически вращать или поступательно перемещать, что может обеспечить улучшение показателей скорости, надежности и повторяемости системы.
[0086] В альтернативных вариантах осуществления решетки 230A и 230B могут быть установлены на соответствующих столиках линейного перемещения, выполненных с возможностью поступательного перемещения для изменения длины оптического пути (и, тем самым, фазы) света, испускаемого решетками 230A и 230B. Ось линейного перемещения столиков может быть перпендикулярна или иным образом смещена относительно ориентации соответствующей решетки для осуществления поступательного перемещения рисунка решетки вдоль образца 271.
[0087] Решетки 230A-230B могут представлять собой пропускающие дифракционные решетки, содержащие множество дифракционных элементов (например, параллельных щелей или канавок), сформированных в стеклянной подложке или на иной подходящей поверхности. Решетки могут быть осуществлены как фазовые решетки с возможностью периодического изменения показателя преломления материала решетки. Расстояние между канавками или элементами может быть выбрано для дифракции света под подходящими углами и настройки на минимальный различимый размер элемента визуализируемых образцов для работы системы 200 МСО-визуализации. В других вариантах решетки могут представлять собой отражательные дифракционные решетки.
[0088] В примере системы 200 МСО-визуализации вертикальный и горизонтальный рисунки расположены со смещением приблизительно на 90 градусов. В других вариантах осуществления возможны иные ориентации решеток для создания смещения приблизительно на 90 градусов. Например, решетки могут быть ориентированы с возможностью проецирования ими изображений, расположенных со смещением ±45 градусов от плоскости x или у образца 271. В частности, конфигурация примера системы 200 МСО-визуализации может обеспечивать преимущество, если образец 271 структурирован с образованием упорядоченной структуры с элементами, расположенными по прямоугольной сетке, так как структурное разрешение может быть улучшено за счет использования всего лишь двух перпендикулярных решеток (например, вертикальной решетки и горизонтальной решетки).
[0089] Решетки 230A-230B в примере системы 200 выполнены с возможностью дифракции входящих пучков в несколько порядков (например, 0-й порядок, ±1-е порядки, ±2-е порядки и т.п.), из которых свет ±1-х порядков может быть спроецирован на образец 271. В данном примере показано, что вертикальная решетка 230A дифрагирует коллимированный световой пучок в дифрагированные пучки первого порядка (±1 порядки), рассеивая первые порядки на плоскости страницы, при этом горизонтальная решетка 230B дифрагирует коллимированный световой пучок в дифрагированные пучки первого порядка, рассеивая указанные порядки над и под плоскостью страницы (т.е. в плоскости, перпендикулярной странице). Для повышения эффективности системы, пучки нулевого порядка и пучки всех других более высоких порядков (т.е. ±2 и более высоких порядков) могут быть блокированы (т.е. отфильтрованы из рисунка освещения, проецируемого на образец 271). Элемент блокирования пучка (не показан), например, фильтр порядков, может быть помещен на оптический путь вслед за каждой дифракционной решеткой для блокирования пучка 0-го порядка и пучков более высокого порядка. В некоторых вариантах дифракционные решетки 230A-230B могут быть выполнены с возможностью дифракции пучков только в первые порядки, при этом 0-ые порядки (недифрагированный пучок) могут быть блокированы каким-либо элементом блокирования пучка.
[0090] Каждое плечо включает в себя оптический фазовый модулятор или фазовращатель 240A-240B для сдвига фазы дифрагированного света, выдаваемого каждой из решеток 230. Например, во время визуализации с помощью структурированного освещения, можно осуществлять сдвиг оптической фазы каждого дифрагированного пучка на некоторую долю (например, 1/2, 1/3, 1/4 и т.п.) шага (λ) каждой полосы структурированного рисунка. В примере на ФИГ. 3 фазовые модуляторы 240A и 240B осуществлены как поворотные окна с возможностью использования гальванометра или иного вращательного исполнительного механизма для вращения и модулирования длины оптического пути каждого дифрагированного светового пучка. Например, окно 240A выполнено с возможностью вращения вокруг вертикальной оси для сдвига изображения, проецируемого вертикальной решеткой 230A на образец 271, влево или вправо, при этом окно 240B выполнено с возможностью вращения вокруг горизонтальной оси для сдвига изображения, проецируемого горизонтальной решеткой 230B на образец 271, вверх или вниз.
[0091] В других вариантах возможно использование иных фазовых модуляторов, изменяющих длину оптического пути дифрагированного света (например, столиков линейного поступательного перемещения, клиньев и т.п.). Кроме того, несмотря на то, что оптические фазовые модуляторы 240A-240B показаны расположенными вслед за решеткой 230A-230B, в других вариантах они могут быть расположены в других местах в системе освещения.
[0092] В альтернативных вариантах осуществления единственный фазовый модулятор выполнен с возможностью работы в двух разных направлениях для разных интерференционных рисунков, либо единственный фазовый модулятор выполнен с возможностью регулирования длин обоих путей за счет единственного перемещения. Например, вслед за зеркалом 260 с отверстиями 261 может быть размещено большое поворотное оптическое окно. В данном случае, большое окно может быть использовано вместо окон 240A и 240B для модулирования фаз обеих групп дифрагированных пучков, создаваемых вертикальной и горизонтальной дифракционными решетками. Ось вращения большого поворотного окна расположена не параллельно оптической оси одной из решеток, а со смещением на 45 градусов (или с каким-либо иным угловым смещением) от оптической оси и вертикальной, и горизонтальной решеток с возможностью сдвига фазы в обоих направлениях по одной общей оси вращения большого окна. В некоторых вариантах осуществленя вместо большого поворотного окна может быть использовано клиновидное оптическое тело с возможностью вращения вокруг номинальной оси пучка.
[0093] В примере системы 200 зеркало 260 с отверстиями 261 создает единый оптический путь от указанных двух плеч без потерь (например, без значительной потери оптической мощности, не считая небольшого поглощения в отражающем покрытии). Зеркало 260 может быть расположено так, чтобы обеспечить пространственное разрешение дифрагированных порядков от каждой из решеток, и с возможностью блокирования нежелательных порядков. Зеркало 260 пропускает свет первых порядков, выдаваемый первым плечом, через отверстия 261. Зеркало 260 отражает свет первых порядков, выдаваемый вторым плечом. Таким образом, ориентацию рисунка структурированного освещения можно изменять с вертикальной (например, решетки 230A) на горизонтальную (например, решетки 230B) путем включения или выключения каждого из излучателей или путем открытия и закрытия оптического затвора, направляющего свет из источника света по волоконно-оптическому кабелю. В других вариантах осуществления рисунок структурированного освещения можно изменять посредством оптического переключателя для перехода с одного плеча, освещающего образец, на другое.
[0094] В примере системы 200 визуализации также проиллюстрированы: цилиндрическая линза 265, полуотражательное зеркало 280, объектив 270 и камера 290. Например, цилиндрическая линза 265 может быть выполнена с возможностью сочленения по оси z для регулирования формы и пути структурированного пучка. Полуотражательное зеркало 280 может представлять собой дихроичное зеркало для отражения света структурированного освещения, поступающего от каждого плеча в объектив 270 для проецирования на образец 271, и для пропускания света, излучаемого образцом 271 (например, флуоресцентного света, излучаемого на длинах волн, отличных от света возбуждения) к камере 290.
[0095] Выходные данные (например, изображения) от камеры 290 могут быть переданы в компонент МСО-визуализации в реальном времени (не показан), который может быть реализован в виде прикладного программного средства с возможностью реконструкции изображений, захваченных в каждом цикле визуализации, для создания изображения с более высоким пространственным разрешением, как подробнее раскрыто ниже. В реконструированных изображениях могут быть учтены прогнозируемые во времени изменения параметров структурированного освещения. Компонент МСО-визуализации в реальном времени также выполнен с возможностью отслеживания спрогнозированных параметров МСО и/или создания прогнозов параметров МСО, исходя из ранее оцененных и/или спрогнозированных параметров МСО.
[0096] Может быть предусмотрен контроллер (не показан) для управления работой системы 200 визуализации со структурированным освещением, в том числе - для синхронизации различных оптических компонентов системы 200. Контроллер может быть выполнен с возможностью управления такими аспектами работы системы как, например, конфигурирование каждого из оптических плеч (например, включение/выключение каждого оптического плеча во время осуществления захвата фазовых изображений, приведение в действие фазовых модуляторов 240A-240B), перемещение цилиндрической линзы 265, перемещение столика (при наличии) с образцом 271 и операций визуализации. Контроллер также может быть выполнен с возможностью управления аппаратными элементами системы 200 для внесения поправки на изменения параметров структурированного освещения со временем. Например, контроллер выполнен с возможностью передачи управляющих сигналов устройствам (например, фазовым модуляторам 240A-240B), управления конфигурацией каждого из оптических плеч или какого-либо другого элемента системы 100 для внесения поправки на изменения со временем фазы, частоты и/или ориентации структурированного освещения или компенсации таких изменений. В другом примере, если решетки 230A-230B установлены на столиках линейного перемещения (например, вместо использования фазовых модуляторов 240A-240B), контроллер выполнен с возможностью управления столиками линейного перемещения для внесения поправки на изменения фазы или их компенсации. В вариантах осуществления передача указанных сигналов может происходить в соответствии с параметрами структурированного освещения, спрогнозированными посредством компонента МСО-визуализации. В некоторых вариантах контроллер может содержать память для хранения спрогнозированных и/или оцененных параметров структурированного освещения, соответствующих разным моментам времени и/или положениям образца.
[0097] Следует отметить, что для простоты изложения некоторые оптические компоненты системы 200 МСО-визуализации могли не быть упомянуты выше. Кроме того, несмотря на то, что в данном примере система 200 проиллюстрирована как одноканальная система, в других вариантах она может быть осуществлена как многоканальная система (например, за счет использования двух разных камер и источников света с излучением на двух разных длинах волн).
[0098] ФИГ. 4 иллюстрирует упрощенные интерференционные рисунки освещения, которые могут быть спроецированы на плоскость образца 271 вертикальной решеткой 230A и горизонтальной решеткой 230B системы 200 МСО-визуализации во время одного цикла визуализации для создания изображения высокого разрешения с помощью структурированного света. В данном примере могут быть захвачены три фазовых изображения при вертикальной ориентации освещения посредством вертикальной решетки 230A и три фазовых изображения при горизонтальной ориентации освещения посредством горизонтальной решетки 230B. Для каждой ориентации, фазу проецируемых полос можно сдвигать пошагово на 1/3 λ (например, путем установки фазового модулятора 230A или 230B в три разных положения) для захвата трех фазовых изображений рисунка соответствующей ориентации.
[0099] В ходе захвата каждого фазового изображения, любой свет, испускаемый образцом, может быть захвачен камерой 290. Например, флуоресцентные красители, находящиеся на разных элементах образца 271, могут флуоресцировать, а образующийся свет может быть собран линзой 270 объектива и направлен к датчику изображения камеры 290 для детектирования флуоресценции. Захваченные шесть изображений могут быть предназначены для визуализации образца целиком или какого-либо места на более крупном образце.
[00100] Когда все изображения для цикла визуализации (в данном примере - шесть изображений) будут захвачены, из захваченных изображений может быть создано изображение с высоким разрешением. Например, изображение с высоким разрешением можно реконструировать из шести изображений на ФИГ. 4. Можно использовать подходящие алгоритмы для объединения указанных нескольких изображений для синтезирования единого изображения образца с пространственным разрешением, значительно лучшим, чем у любого отдельного составляющего его изображения.
[00101] Во время создания изображения с высоким разрешением, нежелательные сдвиги или изменения параметров структурированного освещения (например, фазы, частоты, ориентации) можно алгоритмически компенсировать с учетом параметров структурированного освещения, спрогнозированных в соответствии с настоящим раскрытием (например, спрогнозированных изменений фазы, частоты или ориентации). Например, можно компенсировать уходы фазы, ориентации и/или частоты изображений при вертикальном и/или горизонтальном освещении.
[00102] В некоторых вариантах нежелательные сдвиги или изменения параметров структурированного освещения можно компенсировать до захвата изображения путем управления одним или несколькими аппаратными элементами системы 200 для компенсации этих изменений в системе МСО-визуализации. Например, до начала последовательности визуализации и/или между захватами изображений последовательности визуализации, можно компенсировать уход фазы каждого оптического плеча путем регулирования фазосдвигающего элемента (например, поворотного зеркала, линейного исполнительного механизма и т.п.). В некоторых вариантах можно применить комбинацию аппаратной и алгоритмической компенсации.
[00103] Несмотря на то, что система 200 иллюстрирует двухплечевую систему визуализации со структурированным освещением, содержащую две решетки, ориентированные под двумя разными углами, следует отметить, что в других вариантах осуществления раскрытое здесь техническое решение может быть реализовано посредством систем с более чем двумя плечами. Если элементы образца с упорядоченной структурой распределены на прямоугольной сетке, для повышения разрешения достаточно двух перпендикулярных углов (например, вертикальной решетки и горизонтальной решетки), как раскрыто выше. С другой стороны, для повышения разрешения изображений во всех направлениях для других образцов (например, гексагонально-структурированных образцов), возможно использование трех углов решетки. Например, трехплечевая система может содержать три светоизлучателя и три фиксированные дифракционные решетки (по одной на плечо), причем каждая дифракционная решетка ориентирована вокруг оптической оси системы с возможностью проецирования рисунка соответствующей ориентации на образец (например, 0°-ного рисунка, 120°-ного рисунка или 240°-ного рисунка). Такие системы могут содержать дополнительные зеркала с отверстиями для объединения дополнительных изображений дополнительных решеток в систему без потерь. В альтернативном варианте такие системы могут содержать один или несколько поляризационных светоделителей для объединения изображений каждой из решеток.
[00104] ФИГ. 5A-5B - принципиальные схемы, иллюстрирующие пример оптической конфигурации системы 500 МСО-визуализации препаратов с двумя оптическими решетками с возможностью осуществления прогнозирования параметров структурированного освещения в соответствии с некоторыми из раскрытых здесь вариантов осуществления. В примере системы 500 все изменения рисунка решетки, проецируемой на образец 570, (например, сдвиги фазы рисунка или вращения) можно осуществлять путем линейного поступательного перемещения столика 530 перемещения по единственной оси перемещения для выбора решетки 531 или 532 (т.е. выбора ориентации решетки) или для сдвига фазы одной из решеток 531-532.
[00105] Система 500 содержит светоизлучатель 510 (например, оптоволоконный кабель, оптически сопряженный с источником света), первый оптический коллиматор 520 (например, коллимирующую линзу) для коллимирования света, выдаваемого светоизлучателем 510, столик 530 линейного перемещения с установленными на нем первой дифракционной решеткой 531 (например, горизонтальной решеткой) и второй дифракционной решеткой 532 (например, вертикальной решеткой), цилиндрическую линзу 540, полуотражательное зеркало 550 (например, дихроичное зеркало), объектив 560, образец 570 и камеру 580. Для простоты изложения, оптические компоненты системы 500 МСО-визуализации могут не быть показаны ФИГ. 5A. Кроме того, несмотря на то, что в данном примере система 500 проиллюстрирована как одноканальная система, в других вариантах она может быть осуществлена как многоканальная система (например, за счет использования двух разных камер и источников света, излучающих на двух разных длинах волн).
[00106] На ФИГ. 5A показано, что решетка 531 (например, горизонтальная дифракционная решетка) выполнена с возможностью дифракции коллимированного светового пучка в дифрагированные световые пучки первого порядка (на плоскости страницы). На ФИГ. 5B показано, что дифракционная решетка 532 (например, вертикальная дифракционная решетка) выполнена с возможностью дифракции пучка в первые порядки (над и под плоскостью страницы). В этой конфигурации, для визуализации образца 570 нужно только одно оптическое плечо с единственным излучателем 510 (например, оптоволоконным кабелем) и единственный столик линейного перемещения, что может обеспечить такие преимущества, как уменьшение количества подвижных частей системы, для улучшения показателей в части скорости, сложности и стоимости. Кроме того, отсутствие поляризатора в системе 500 может обеспечить преимущество в части высокой оптической эффективности, речь о котором шла выше. В частности, конфигурация примера системы 200 МСО-визуализации может обеспечивать преимущество, если образец 570 имеет упорядоченную структуру с элементами, расположенными по прямоугольной сетке, так как структурное разрешение может быть улучшено за счет использования всего лишь двух перпендикулярных решеток (например, вертикальной решетки и горизонтальной решетки).
[00107] Для повышения эффективности системы можно блокировать (т.е. отфильтровывать из рисунка освещения, проецируемой на образец 570) пучки нулевого порядка и пучки всех более высоких порядков дифракции (т.е. ±2-ых и более высоких порядков), выдаваемые каждой решеткой. Например, элемент блокирования пучка (не показан), например, фильтр порядков, может быть помещен на оптический путь вслед за столиком 530 перемещения. В некоторых вариантах дифракционные решетки 531-532 могут быть выполнены с возможностью дифракции пучков только в первые порядки, при этом 0-ые порядки (недифрагированный пучок) могут быть блокированы каким-либо элементом блокирования пучка.
[00108] В примере системы 500 указанные две решетки могут быть расположены под углом приблизительно ±45° относительно оси перемещения (или с каким-либо иным угловым смещением относительно оси перемещения, например, приблизительно +40°/-50°, приблизительно +30°/-60° и т.п.) с возможностью осуществления сдвига фазы для каждой решетки 531-532 по единственной оси линейного перемещения. В некоторых вариантах указанные две решетки могут быть объединены с образованием одного физического оптического элемента. Например, одна сторона физического оптического элемента может содержать рисунок решетки в первой ориентации, а соседняя сторона физического оптического элемента - рисунок решетки во второй ориентации, ортогональной первой ориентации.
[00109] Столик 530 одноосного линейного перемещения может включать в себя один или несколько исполнительных механизмов, обеспечивающих возможность его перемещения по оси X относительно плоскости образца или по оси Y относительно плоскости образца. Во время работы столик 530 линейного перемещения может обеспечивать достаточное перемещение (например, приблизительно 12-15 мм) и точность (например, повторяемость менее приблизительно 0.5 микрометра) для точного проецирования рисунков освещения для эффективной реконструкции изображений. В тех вариантах, где столик 530 перемещения применяют в автоматизированной системе визуализации, например, флуоресцентном микроскопе, он может быть выполнен с возможностью обеспечения высокой скорости работы, минимальной вибрации и длительного срока службы. В вариантах осуществления столик 530 линейного перемещения может включать в себя подшипники с поперечными роликами, линейный двигатель, высокоточный датчик линейного перемещения и/или иные компоненты. Например, столик 530 перемещения может быть реализован в виде столика с высокоточным шаговым двигателем или пьезо-столика перемещения с возможностью поступательного перемещения посредством контроллера.
[00110] Выходные данные (например, изображения) от камеры 580 могут быть переданы в компонент МСО-визуализации в реальном времени (не показан), который может быть реализован в виде прикладного программного средства с возможностью реконструкции изображений, захваченных в каждом цикле визуализации, для создания изображения с более высоким пространственным разрешением, как подробнее раскрыто ниже. В реконструированных изображениях могут быть учтены прогнозируемые во времени изменения параметров структурированного освещения. Компонент МСО-визуализации в реальном времени также выполнен с возможностью отслеживания спрогнозированных параметров МСО и/или создания прогнозов параметров МСО, исходя из ранее оцененных и/или спрогнозированных параметров МСО.
[00111] Может быть предусмотрен контроллер (не показан) для управления работой системы 500 визуализации со структурированным освещением, в том числе - для синхронизации различных оптических компонентов системы 500. Контроллер может быть выполнен с возможностью управления такими аспектами работы системы как, например, поступательное перемещение столика 530 линейного перемещения, перемещение цилиндрической линзы 540, перемещение столика (при наличии), образца 570 и операций визуализации. Контроллер выполнен с возможностью управления аппаратными элементами системы 500 для внесения поправки на изменения параметров структурированного освещения со временем. Например, контроллер выполнен с возможностью передачи управляющих сигналов устройствам (например, столику 530 линейного перемещения) для внесения поправки на изменения со временем фазы, частоты и/или ориентации структурированного освещения или компенсации таких изменений. В вариантах осуществления передача указанных сигналов может происходить в соответствии с параметрами структурированного освещения, спрогнозированными посредством компонента МСО-визуализации. В некоторых вариантах контроллер может содержать память для хранения спрогнозированных и/или оцененных параметров структурированного освещения, соответствующих разным моментам времени и/или положениям образца.
[00112] Несмотря на то, что ФИГ. 5A-5B иллюстрируют систему визуализации препаратов с двумя оптическими решетками с возможностью осуществления прогнозирования параметров структурированного освещения, прогнозирование параметров структурированного освещения может быть реализовано в системах МСО-визуализации с исполнительным механизмом линейного перемещения, на котором установлены более двух дифракционных решеток.
[00113] ФИГ. 6 иллюстрирует упрощенные интерференционные рисунки освещения, которые могут быть спроецированы на плоскость образца 570 первой дифракционной решеткой и второй дифракционной решеткой системы 500 МСО-визуализации препаратов с двумя оптическими решетками во время захвата изображений для цикла визуализации с помощью структурированного освещения. Например, система 500 МСО-визуализации может содержать первую дифракционную решетку 531 и вторую дифракционную решетку 532 для формирования рисунков освещения на ФИГ. 6. Как проиллюстрировано в примере на ФИГ. 6, указанные две решетки проецируют перпендикулярные интерференционные рисунки на поверхность образца 570 и расположены со смещением приблизительно ±45° от оси перемещения столика 530 линейного перемещения.
[00114] Например, первая решетка (например, решетка 531) выполнена с возможностью проецирования полос освещения первого порядка на образец 570. Любой свет, испускаемый образцом, может быть захвачен камерой 580, при этом может быть захвачено первое фазовое изображение первого рисунка (например, рисунка под углом +45°) для создания первого фазового изображения. Для захвата дополнительных сдвинутых по фазе изображений можно осуществить сдвиг фазы рисунка, проецируемого решеткой, путем поступательного перемещения столика линейного перемещения. На ФИГ. 6 данные перемещения для сдвига фазы показаны как шаги 1 и 2. Перемещения для сдвига фазы могут обеспечивать небольшие (например, не более приблизительно 3-5 микрометров) перемещения решеток для небольшого сдвига интерференционного рисунка, проецируемого на решетке.
[00115] После того, как будут захвачены все сдвинутые по фазе изображения для дифракционной решетки, система 500 может осуществить переход от одной дифракционной решетки к другой путем поступательного перемещения столика 530 линейного перемещения для создания оптического сопряжения между другой дифракционной решеткой и источником света системы визуализации (например, переход от ФИГ. 5A к 5B). Данное перемещение проиллюстрировано в виде шага 3 в примере на ФИГ. 6. В случае смены дифракционной решетки, столик линейного перемещения может обеспечить относительно большое поступательное перемещение (например, порядка 12-15 мм).
[00116] Далее можно осуществить захват серии фазовых изображений для следующей решетки. Например, как проиллюстрировано ФИГ. 6, вторая дифракционная решетка выполнена с возможностью проецирования полос освещения первого порядка на образец, при этом можно осуществлять сдвиг положения проецируемых полос путем поступательного перемещения столика 530 линейного перемещения для захвата трех фазовых изображений рисунка решетки (например, шаги 4 и 5 на ФИГ. 6).
[00117] Когда все изображения для цикла визуализации (в данном примере - шесть изображений) будут захвачены, из захваченных изображений может быть создано изображение с высоким разрешением. Например, изображение с высоким разрешением можно реконструировать из шести изображений на ФИГ. 6. Можно использовать подходящие алгоритмы для объединения указанных нескольких изображений для синтезирования единого изображения образца с пространственным разрешением, значительно лучшим, чем у любого отдельного составляющего его изображения.
[00118] Во время создания изображения с высоким разрешением, нежелательные сдвиги или изменения параметров структурированного освещения (например, фазы, частоты, ориентации) можно алгоритмически компенсировать с учетом параметров структурированного освещения, спрогнозированных в соответствии с настоящим раскрытием (например, спрогнозированных изменений фазы, частоты или ориентации). Например, можно компенсировать уходы фазы, ориентации и/или частоты изображений при вертикальном и/или горизонтальном освещении.
[00119] В некоторых вариантах нежелательные сдвиги или изменения параметров структурированного освещения можно компенсировать до захвата изображения путем управления одним или несколькими аппаратными элементами системы 500 для компенсации изменений в системе МСО-визуализации. Например, до начала последовательности визуализации и/или между захватами изображений последовательности визуализации, уход фазы можно компенсировать путем поступательного перемещения столика 530 линейного перемещения. В некоторых вариантах можно применить комбинацию аппаратной и алгоритмической компенсации.
[00120] В соответствии с раскрытыми здесь вариантами осуществления, параметры структурированного освещения можно прогнозировать для отдельного момента времени по значениям параметров структурированного освещения, оцененным по изображениям, захваченным до и/или после того момента времени. Например, ограниченность вычислительных ресурсов может обуславливать ограничение скорости, с которой система МСО-визуализации (например, система 100, 200 или 500) может непосредственно оценивать такие параметры структурированного освещения, как фаза, частота и/или ориентация, по захваченным изображениям. В некоторых случаях, когда система МСО-визуализации может непосредственно оценивать или измерять параметр структурированного освещения по каждому фазовому изображению, может не быть нужно прогнозировать параметры структурированного освещения. Однако в других случаях система МСО-визуализации может быть выполнена с возможностью непосредственной оценки или измерения параметра структурированного освещения только для некоторых фазовых изображений цикла визуализации, один раз за цикл визуализации или даже реже (например, в каждом 3, 5, 10, 50 или 100-ом цикле визуализации). В подобных случаях, чтобы не отставать от скорости дискретизации изображений системы, может быть целесообразно использовать значение параметра структурированного освещения, непосредственно оцененное для отдельного момента времени и/или точки пространства, для создания прогнозов о параметре структурированного освещения в другие моменты времени и/или в других точках пространства.
[00121] Одним из способов оценки параметров структурированного освещения, математически иллюстрирующих данный принцип, является соотнесение с опорным значением.
, (1)
где h(x) - опорное значение, которое может быть либо известным, либо выведенным из данных изображения, c(x) - выведено из данных изображения, соотносимых с опорным значением, а f - оцениваемое значение (в данном примере - частота). Следует отметить, что, в соответствии с раскрываемым изобретением, также возможны альтернативные способы оценки.
[00122] В примере Уравнения (1), для каждого из некоторого числа гипотетических значений f может быть сгенерирован один результат соотнесения. Оцененное значение f параметра может быть получено в виде значения f, при котором величина соотнесенности максимальная. При этом, во многих случаях, для получения максимального результата соотнесения может быть нужно опробовать большое число гипотетических значений f. Чем больше область поиска, тем больше может быть объем необходимых вычислений и, как следствие, тем ниже может быть пропускная способность системы (т.е. меньше данных может быть обработано за единицу времени).
[00123] Данную проблему можно избежать за счет использования информации по результатам прошлой оценки f для установления «окрестности» определяемого нового значения f. В качестве примера, рассмотрим ФИГ. 7, иллюстрирующую оцененное значение (φ), изменяющееся в пространстве (X) и времени (T). Из ФИГ. 7 видно, что начальное значение φ может быть получено для координат X и T, соответствующих блоку A. Предположив, что происходит медленное изменение оцененного значения в пространстве или времени, оцененное значение из блока A (φA) можно использовать в качестве начального значения для любого из блоков В или E. В частности, область поиска для блоков В и E можно ограничить значениями в «окрестности» значения φ, полученного из блока A. Данное решение позволяет значительно сократить время, необходимое для определения значения φ и, как следствие, соответственно увеличить количество данных, обрабатываемых в единицу времени.
[00124] Для расширения данной концепции, можно прогнозировать тренд изменения оцененного значения в пространстве (X) или во времени (T). В качестве примера рассмотрим ФИГ. 7, где оцененное значение для блока возрастает на ΔφX в пространственном измерении и на ΔφТ во временном измерении. Из данного наблюдения можно вывести начальное оцененное значение для Блока В в виде φA + ΔφX, как показано на ФИГ. 8. Кроме того, можно вывести начальное оцененное значение для Блока E в виде φA + ΔφТ. Также могут быть реализованы иные предикторы в измерениях X и T с использованием значений из нескольких блоков.
[00125] ФИГ. 9 - технологическая схема, иллюстрирующая пример способа 900 интерполяции для прогнозирования структурированного освещения по оцененным значениям параметров структурированного освещения, полученным из нескольких изображений, захваченных системой структурированного освещения. В вариантах осуществления способ 700 может быть реализован путем исполнения машиночитаемых инструкций, хранимых в памяти системы МСО-визуализации (например, системы 100, 200 или 500).
[00126] На шаге 910 можно получить первый образец изображения МСО. Например, можно захватить фазовое изображение образца в первый момент времени. На шаге 920 можно оценить параметр структурированного освещения по захваченному первому изображению. Например, можно оценить фазу, или частоту, или ориентацию, или порядок модуляции структурированного освещения. Оцененное значение может быть получено в отдельный момент времени, отдельной точке пространства и/или при отдельной температуре.
[00127] На шаге 930 можно получить второй образец изображения МСО. Например, можно захватить фазовое изображение образца во второй момент времени после первого момента времени, когда был захвачен первый образец изображения МСО. В некоторых вариантах первое изображение образца и второе изображение образца могут быть захвачены во время одной и той же последовательности визуализации (например, как часть последовательности визуализации, создающей шесть фазовых изображений или девять фазовых изображений, из которых создают изображение с более высоким разрешением). В других вариантах первое изображение и второе изображение могут быть захвачены во время разных последовательностей визуализации. На шаге 940 можно оценить параметр структурированного освещения по захваченному второму изображению. Например, можно оценить фазу, или частоту, или ориентацию, или порядок модуляции структурированного освещения. Оцененное значение может быть получено в отдельный момент времени, отдельной точке пространства и/или при отдельной температуре.
[00128] На шаге 950 по меньшей мере по значению параметра структурированного освещения, оцененному по первому изображению, и значению параметра структурированного освещения, оцененному по второму изображению, можно спрогнозировать параметр структурированного освещения, соответствующий третьему изображению, причем третье изображение соответствует моменту времени, точке пространства (например, положению образца), и/или температуре (например, температуре образца) между первым изображением и вторым изображением. Например, третье изображение можно было бы захватить после первого изображения, но до второго изображения. В другом примере третье изображение может быть захвачено в более поздний момент времени в положении между первым изображением и вторым изображением.
[00129] В некоторых вариантах в основе данного прогноза может лежать по меньшей мере определенная скорость изменения параметра структурированного освещения между двумя моментами времени. Математически это можно проиллюстрировать следующим образом: если будет определено, что для первого момента времени T1 и второго момента T2 величина ухода фазы структурированного освещения составила ΔφТ, то скорость изменения (например, ухода) фазы можно выразить в виде ΔφТ / (T2 - T1). Путем интерполяции можно прогнозировать величину ухода фазы для момента времени T3. Например, если произошел уход фазы от смещения на 5 градусов в момент времени T1 до смещения на 15 градусов в момент времени T2, можно спрогнозировать, что в момент времени T3 на полпути между указанными двумя моментами времени произошел уход фазы на величину смещения 10 градусов.
[00130] Несмотря на то, что способ 900 в первую очередь раскрыт на примере применения интерполяции для прогнозирования параметра структурированного освещения в отдельный момент времени, в отдельной точке пространства и/или при отдельной температуре по двум известным оцененным значениям параметра структурированного освещения, следует отметить, что способ 900 можно распространить на случай с более чем двумя известными оцененными значениями. В таких случаях, прогнозировать параметр структурированного освещения можно с помощью подходящей функции оценки тренда. Например, в случае оценки линейного тренда, можно аппроксимировать известные оцененные значения методом наименьших квадратов для интерполяции и прогнозирования параметра структурированного освещения в отдельный момент времени, в отдельной точке пространства и/или при отдельной температуре. В некоторых вариантах прогноз параметра структурированного освещения можно корректировать со временем по мере сбора дополнительных оцененных значений. Кроме того, несмотря на то, что способ 900 раскрыт на примере использования значений, оцененных по первому изображению и второму изображению, для прогнозирования параметра, соответствующего третьему изображению, в некоторых вариантах можно использовать только одно из этих двух оцененных значений (например, путем фиксации этого оцененного значения) для прогнозирования параметра.
[00131] Кроме того, несмотря на то, что способ 900 раскрыт на примере использования интерполяции для прогнозирования параметра структурированного освещения в конкретный момент времени по двум известным оцененным значениям параметра структурированного освещения в разные моменты времени, способ 900 также можно расширить для учета размеров пространства (например, местоположения или поднабора визуализируемого образца) и температуры. В некоторых случаях, можно применять совместный прогноз, учитывающий несколько параметров (например, пространство, время и/или температуру). Например, как проиллюстрировано ФИГ. 7, при прогнозировании параметров структурированного освещения можно рассматривать тренд и во времени, и в пространстве. Или же можно рассматривать только тренд изменения параметра структурированного освещения только в пространстве.
[00132] ФИГ. 10 - технологическая схема, иллюстрирующая пример способа 1000 экстраполяции для прогнозирования параметров структурированного освещения по оцененным значениям параметров структурированного освещения, полученным из двух или более изображений. В вариантах осуществления способ 700 может быть реализован путем исполнения машиночитаемых инструкций, хранимых в памяти системы МСО-визуализации (например, системы 100, 200 или 500).
[00133] Шаги 910-940 способа 1000 можно выполнять, как раскрыто выше на примере способа 900. Например, можно оценить частоту структурированного освещения в первый момент времени и второй момент времени по захваченным изображениям.
[00134] На шаге 1050 по меньшей мере по значению параметра структурированного освещения, оцененному по первому изображению, и значению параметра структурированного освещения, оцененному по второму изображению, можно спрогнозировать параметр структурированного освещения, соответствующий третьему изображению, причем третье изображение соответствует моменту времени, точке пространства (например, положению образца), и/или температуре (например, температуре образца) после и первого изображения, и второго изображения или до и первого изображения, и второго изображения. В некоторых вариантах в основе данного прогноза может лежать по меньшей мере определенная скорость изменения параметра структурированного освещения между указанными двумя моментами времени. Математически это можно проиллюстрировать следующим образом: если будет определено, что для первого момента T1 времени и второго момента T2 времени величина ухода частоты структурированного освещения составила Δf, то скорость изменения (например, ухода) частоты можно выразить в виде Δf / (T2 - T1). Путем экстраполяции можно спрогнозировать величину ухода частоты для более позднего момента T3 времени.
[00135] Несмотря на то, что способ 1000 раскрыт на примере применения экстраполяции для прогнозирования параметра структурированного освещения в отдельный момент времени, в отдельной точке пространства и/или при отдельной температуре по двум известным оцененным значениям параметра структурированного освещения, следует отметить, что, как и в случае способа 900, способ 1000 можно распространить на случай с более чем двумя известными оцененными значениями. В таких случаях, прогнозировать параметр структурированного освещения можно с помощью подходящей функции оценки тренда. Например, в случае оценки линейного тренда, можно аппроксимировать известные оцененные значения методом наименьших квадратов для экстраполяции и прогнозирования параметра структурированного освещения. В некоторых вариантах прогноз параметра структурированного освещения можно корректировать со временем по мере сбора дополнительных оцененных значений.
[00136] Кроме того, несмотря на то, что способ 1000 раскрыт на примере использования значений, оцененных по первому изображению и второму изображению, для прогнозирования параметра, соответствующего третьему изображению, в некоторых вариантах можно использовать только одно из этих двух оцененных значений (например, путем фиксации этого оцененного значения) для прогнозирования параметра.
[00137] Кроме того, несмотря на то, что способ 1000 раскрыт на примере использования экстраполяции для прогнозирования параметра структурированного освещения в конкретный момент времени по двум известным оцененным значениям параметра структурированного освещения в разные моменты времени, как и в случае способа 900, способ 1000 также можно расширить для учета других измерений, например - пространства и температуры.
[00138] В вариантах осуществления способов 900 и 1000, параметр структурированного освещения, оцененный по первому изображению, параметр структурированного освещения, оцененный по второму изображению, и/или параметр структурированного освещения, спрогнозированный для третьего изображения, можно сохранить в памяти системы МСО-визуализации. Например, оцененные/спрогнозированные параметры можно сохранить в статистический файл, например, поисковую таблицу, с возможностью обращения к нему во время создания изображения с высоким разрешением, осуществления регулировок аппаратных компонентов систем МСО-визуализации для компенсации изменений параметров структурированного освещения, и/или для облегчения прогнозирования других параметров структурированного освещения в другие моменты времени, других точках пространства и/или при другой температуре. В вариантах осуществления можно сохранять значения времени, местоположения образца и температуры образца, соответствующие каждому оцененному или спрогнозированному значению.
[00139] В вариантах осуществления способов 900 и 1000 первое и второе оцененные значения, по которым прогнозируют параметр структурированного освещения, могут быть созданы с помощью множества изображений. Таким образом, одно или несколько изображений из первого набора изображений (например, 1, 2, 3, 4, 5, 6 и т.п.) в последовательности визуализации можно использовать для создания первого оцененного значения, а одно или несколько изображений из второго набора изображений (например, 1, 2, 3, 4, 5) в последовательности визуализации можно использовать для создания второго оцененного значения.
[00140] ФИГ. 11 - технологическая схема, иллюстрирующая пример способа 1100 использования спрогнозированного параметра структурированного освещения в ходе реконструкции изображения высокого разрешения для компенсации нежелательных изменений параметров структурированного освещения со временем. В вариантах осуществления способ 1100 может быть реализован путем исполнения машиночитаемых инструкций, хранимых в памяти системы МСО-визуализации (например, системы 100, 200 или 500).
[00141] На шаге 1110 можно спрогнозировать параметр структурированного освещения для захваченного изображения (например, фазового изображения), используя способ интерполяции. Например, можно спрогнозировать параметр структурированного освещения в момент времени, соответствующий захваченному изображению, реализовав способ 900. На шаге 1120 можно создать изображение с высоким разрешением, используя указанное захваченное изображение (например, фазовое изображение) и другие захваченные изображения (например, другие захваченные фазовые изображения). В ходе реконструкции изображения высокого разрешения, спрогнозированный параметр структурированного освещения можно использовать для компенсации изменений параметра структурированного освещения в измерении времени, пространства и/или температуры. Например, можно компенсировать изменения частоты, фазы и/или ориентации. В некоторых случаях, на шаге 1120 можно использовать несколько спрогнозированных параметров структурированного освещения. Например, параметры структурированного освещения можно прогнозировать для более чем одного фазового изображения. Кроме того, для отдельно взятого фазового изображения можно прогнозировать два и более из таких параметров, как фаза, частота и ориентация.
[00142] ФИГ. 12 - технологическая схема, иллюстрирующая пример способа 1200 использования регулировок аппаратных компонентов системы МСО-визуализации на основе спрогнозированного параметра структурированного освещения для компенсации изменений параметров структурированного освещения со временем. На шаге 1210 можно спрогнозировать параметр структурированного освещения, используя способ экстраполяции. Например, можно спрогнозировать параметр структурированного освещения в какой-либо момент времени в будущем путем реализации способа 1000.
[00143] На шаге 1220 можно отрегулировать механический и/или оптический компонент устройства МСО-визуализации с учетом по меньшей мере указанного спрогнозированного параметра структурированного освещения. Например, аппаратный компонент системы МСО-визуализации можно отрегулировать с учетом спрогнозированного ухода фазы в момент времени T перед тем, как осуществить захват фазового изображения в момент времени T.
[00144] Например, можно отрегулировать один или несколько компонентов структурирующего свет оптического блока 155 для компенсации изменений фазы и/или ориентации, спрогнозированных на какой-либо момент времени в будущем для системы 100 МСО-визуализации. В другом примере можно отрегулировать поворотное зеркало 240A или 240B для компенсации изменений фазы, спрогнозированных на какой-либо момент времени в будущем для системы 200 МСО-визуализации. В дополнительном примере можно осуществить поступательное перемещение столика 530 линейного поступательного перемещения для компенсации изменений фазы, спрогнозированных на какой-либо момент времени в будущем для системы 500 МСО-визуализации. В еще одном примере можно компенсировать изменения ориентации, спрогнозированные для системы МСО-визуализации, отрегулировав столик поступательного перемещения, несущий образец, и/или оптический путь от источника света до образца.
[00145] В некоторых вариантах осуществления раскрытые здесь способы прогнозирования параметров структурированного освещения можно применять к единственному захваченному образцу изображения путем деления захваченного образца изображения на множество подучастков изображения. Например, в некоторых вариантах способ может содержать шаги, на которых: получают образец изображения; делят образец изображения на множество подучастков изображения (например, три или более подучастков); оценивают первый параметр структурированного освещения по первому подучастку изображения из множества подучастков изображения; оценивают второй параметр структурированного освещения по второму подучастку изображения из множества подучастков изображения; и по меньшей мере по значению параметра структурированного освещения, оцененному по первому подучастку изображения и значению параметра структурированного освещения, оцененному по второму подучастку изображения, прогнозируют параметр структурированного освещения, соответствующий третьему подучастку изображения из множества подучастков изображения. Параметр структурированного освещения, прогнозируемый для третьего подучастка изображения, может представлять собой фазу, и/или частоту, и/или ориентацию, и/или порядок модуляции структурированного освещения. В некоторых вариантах параметр структурированного освещения для другого подучастка можно прогнозировать по параметрам структурированного освещения, полученным из более чем двух подучастков изображения. Например, к известным значениям, оцененным по подучасткам изображения, можно применить функцию оценки тренда или иную подходящую аппроксимирующую функцию для прогнозирования параметра структурированного освещения для другого подучастка изображения. В других вариантах значение параметра структурированного освещения, оцененное по первому подучастку изображения, можно использовать в качестве спрогнозированного параметра структурированного освещения для второго подучастка изображения.
[00146] При применении раскрытых здесь способов интерполяции, третий подучасток изображения может находиться в точке пространства (например, положении образца) или при температуре (например, температуре образца) между первым и вторым подучастками изображения. Например, третий подучасток изображения может находиться между первым и вторым подучастками изображения по оси декартовых координат. В двумерном декартовом пространстве, подучастки могут быть образованы сеткой, делящей изображение на прямоугольники равной площади, хотя возможны и альтернативные способы образования подучастка. В другом примере третий подучасток изображения может соответствовать температуре образца, которая выше температуры образца, соответствующей первому подучастку изображения, но ниже температуры образца, соответствующей второму подучастку изображения.
[00147] При применении раскрытых здесь способов экстраполяции, третий подучасток изображения может находиться в точке пространства (например, положении образца) или при температуре (например, температуре образца), следующей за первым подучастком изображения и вторым подучастком изображения или предшествующей им. Например, третий подучасток изображения может следовать и за первым подучастком изображения, и за вторым подучастком изображения по оси декартовых координат. В другом примере третий подучасток изображения может соответствовать температуре образца, которая ниже температур образца, соответствующих и первому подучастку изображения, и второму подучастку изображения.
[00148] В вариантах осуществления, указанные способы прогнозирования параметра структурированного освещения для подучастка(-ов) изображения по другим подучасткам изображения можно применять в комбинации с раскрытыми здесь способами прогнозирования параметров структурированного освещения для какого-либо изображения по параметрам структурированного освещения, оцененным по одному или нескольким другим изображениям.
[00149] В контексте настоящего документа термин «компонент» может означать некую функциональную единицу, которая может быть выполнена по одному или нескольким вариантам осуществления настоящей заявки. В контексте настоящего документа, компонент может быть выполнен с использованием аппаратных средств, программных средств в любой форме или их комбинации. Например, компонент может быть сформирован с использованием одного или нескольких процессоров, контроллеров, ППВМ, ЦПУ, ГПУ, СИС, ПЛМ, ПМЛ, СПЛИС, логических компонентов, программ системы программного обеспечения или иных механизмов. Различные компоненты в раскрытых в настоящем документе вариантах осуществления могут быть выполнены как отдельный компонент, либо раскрытые функции и признаки могут быть частично или полностью распределены в одном или нескольких компонентах. Иными словами, после ознакомления с настоящим описанием среднему специалисту в данной области техники будет понятно, что указанные признаки и функциональные возможности могут быть осуществлены в любом случае использования и могут быть реализованы в одном или нескольких отдельных или совместно используемых компонентах в различных комбинациях и перестановках. Несмотря на то, что различные признаки или функциональные элементы могут быть раскрыты по отдельности или заявлены как отдельные компоненты, среднему специалисту в данной области техники будет понятно, что эти признаки и функциональные возможности могут быть частью одного или нескольких программных или аппаратных элементов, при этом такое раскрытие ни явным, ни подразумеваемым образом не требует использования отдельных аппаратных или программных компонентов для реализации таких признаков или функциональных возможностей.
[00150] ФИГ. 13 иллюстрирует пример вычислительного компонента 1300, выполненного с возможностью реализации разнообразных признаков раскрытых здесь способов. Например, в вычислительном компоненте 1300 могут быть реализованы вычислительные или обрабатывающие функциональные возможности, которыми обладают устройства визуализации; ЭВМ в настольном и дорожном исполнении; портативные вычислительные устройства (планшеты, смартфоны и т.п.); базовые ЭВМ, сверхбыстродействующие ЭВМ, автоматизированные рабочие места и серверы; либо ЭВМ специального или общего назначения иного типа, которые могут быть желательны или пригодны для определенного случая использования или окружающей среды. В вычислительном компоненте 1300 также могут быть реализованы вычислительные возможности, являющиеся частью встроенной системы или иным образом имеющиеся в распоряжении в данном устройстве. В контексте настоящего документа, термин «вычислительное устройство» может означать аппаратное средство вычислительного компонента.
[00151] Вычислительный компонент 1300 может включать в себя, например, один или несколько процессоров, контроллеров, управляющих компонентов или иных процессорных устройств, например, процессор 1304. Процессор 1304 может быть реализован с использованием модуля обработки общего или специального назначения, например, микропроцессора, контроллера или иной логической схемы управления. Процессор 1304 может представлять собой вычислительное устройство какого-либо типа. В проиллюстрированном примере процессор 1304 соединен с шиной 1302, несмотря на то, что можно использовать любое средство связи для обеспечения взаимодействия вычислительного компонента 1300 с другими компонентами или его внешней связи.
[00152] Вычислительный компонент 1300 также может включать в себя один или несколько компонентов памяти, в настоящем описании упрощенно именуемых «основная память» 1308. Например, в предпочтительном варианте, оперативное запоминающее устройство (ОЗУ) или иное динамическое запоминающее устройство выполнено с возможностью хранения информации и инструкций, подлежащих исполнению процессором 1304. Основная память 1308 также выполнена с возможностью хранения временных переменных или иной промежуточной информации во время исполнения исполняемых процессором 1304 инструкций. Аналогичным образом, вычислительный компонент 1300 может включать в себя постоянное запоминающее устройство (ПЗУ) или иное статическое устройство хранения, соединенное с шиной 1302, для хранения статической информации и инструкций для процессора 1304.
[00153] Вычислительный компонент 1300 также может включать в себя один или несколько механизмов 1310 хранения информации в различных формах, в том числе, например, привод 1312 носителя и интерфейс 1320 блока хранения. Привод 1312 носителя может включать в себя привод или иной механизм для несъемных или съемных носителей 1314 данных. Например, может быть сформирован привод для жестких дисков, привод для твердотельных накопителей, привод для оптических дисков, привод для компакт-дисков, цифровых универсальных дисков или привод для дисков стандарта BLU-RAY (R или RW), или привод для иного съемного или несъемного носителя. Соответственно, носители 1314 данных могут включать в себя, например, жесткий диск, твердотельный накопитель, кассетный накопитель, оптический диск, компакт-диск, цифровой универсальный диск, диск стандарта BLU-RAY или иной несъемный или съемный носитель с возможностью чтения, записи или доступа посредством привода 1312. Как видно из этих примеров, носители 1314 данных могут включать в себя пригодный для ЭВМ носитель данных с хранимыми на нем программами для ЭВМ или данными.
[00154] В альтернативных вариантах осуществления механизм 1310 хранения информации может включать в себя иные аналогичные средства для обеспечения возможности загрузки программ для ЭВМ, иных инструкций или данных в вычислительный компонент 1300. В число таких средств могут входить, например, несъемный или съемный блок 1322 хранения и интерфейс 1320. Примерами таких блоков 1322 хранения и интерфейсов 1320 могут служить программный картридж и интерфейс картриджа, съемная память (например, флеш-память или иной съемный компонент памяти) и гнездо для памяти, гнездо и плата стандарта PCMCIA, и иные несъемные или съемные блоки 1322 хранения и интерфейсы 1320, обеспечивающие возможность передачи программных средств и данных с блока 1322 хранения в вычислительный компонент 1300.
[00155] Вычислительный компонент 1300 также может включать в себя интерфейс 1324 связи. Интерфейс 1324 связи выполнен с возможностью обеспечения передачи программных средств и данных между вычислительным компонентом 1300 и внешними устройствами. В число примеров интерфейса 1324 связи могут входить: интерфейс периферийных устройств, например, разъем взаимодействия периферийных компонентов типа экспресс (PCIe), модем или программный модем, сетевой интерфейс (например, сети Ethernet, плата сетевого интерфейса, интерфейсы WiMedia, IEEE 802.XX или иные), интерфейс устройства Bluetooth-связи, порт связи (например, порт универсальной последовательной шины (USB), порт USB-C, порт интерфейса THUNDERBOLT или иной порт), или иной интерфейс связи. Передача программных средств и данных через интерфейс 1324 связи может, как правило, происходить посредством электронных, электромагнитных (в том числе - оптических) или иных сигналов, обмен которыми можно осуществлять через данный интерфейс 1324 связи. Данные сигналы могут поступать в интерфейс 1324 связи по каналу 1328. Канал 1328 выполнен с возможностью передачи сигналов и может быть реализован посредством проводного или беспроводного средства связи. В число примеров такого канала могут входить телефонная линия, канал сотовой связи, канал радиочастотной связи, оптический канал связи, сетевой интерфейс, локальная или глобальная вычислительная сеть и иные каналы проводной или беспроводной связи.
[00156] В настоящем документе термины «машиночитаемый носитель», «пригодный для ЭВМ носитель» и «носитель программ для ЭВМ» может в широком смысле обозначать энергозависимый или энергонезависимый носитель долговременного хранения, например, память 1308, блок 1322 хранения и носители 1314. Эти и прочие формы носителей программ для ЭВМ или пригодных для ЭВМ носителей могут служить для вмещения одной или нескольких последовательностей одной или нескольких инструкций для исполнения процессором. Такие инструкции, запечатленные на носителе, в широком смысле именуются «текст программы для ЭВМ» или «программный продукт для ЭВМ» (которые могут быть сгруппированы в программы для ЭВМ или иные группы). При исполнении таких инструкций, они могут обеспечить возможность реализации вычислительным компонентом 1300 признаков или функций раскрытого в настоящей заявке изобретения.
[00157] Несмотря на то, что различные признаки, аспекты и функциональные возможности были раскрыты выше в виде примеров и вариантов осуществления, следует понимать, что эти признаки, аспекты и функциональные возможности, раскрытые в одном или нескольких отдельных вариантах осуществления, применимы не только в частных вариантах, в которых они были раскрыты, но также могут быть применимы, по отдельности или в различных комбинациях, в одном или нескольких других вариантах осуществления, независимо от того, представлены ли эти признаки как часть какого-либо раскрываемого варианта осуществления. Таким образом, охват и объем настоящей заявки не должен быть ограничен каким-либо из раскрытых выше примеров осуществления.
[00158] Если иное не указано явным образом, слова и выражения в тексте настоящего документа, а также их вариации, следует толковать как неисчерпывающие, а не как ограничивающие. Примерами могут служить: слово «включающий в себя» следует толковать как «включающий в себя, без ограничения» или нечто подобное; слово «пример» служит для обозначения некоторых частных случаев рассматриваемого предмета, а не их исчерпывающий или ограничивающий перечень; использование терминов в единственном числе следует понимать как «по меньшей мере один», «один или несколько» и т.п.; при этом такие определения, как «общепринятый», «традиционный», «обычный», «стандартный», «известный» и слова аналогичного значения следует толковать не как ограничивающие определяемое ими слово тем или иным периодом времени или предметом, существовавшим в то или иное время, а как включающие в себя общепринятые, традиционные, обычные или стандартные технические решения, существующие или известные в настоящее время или те, что будут существовать или будут известны когда-либо в будущем. Аналогичным образом, если в настоящем документе речь идет о технических решениях, которые могут быть очевидны или известны среднему специалисту в данной области техники, такие технические решения включают в себя те, что очевидны или известны специалистам в данной области техники в настоящее время или станут такими когда-либо в будущем.
[00159] Наличие таких расширяющих слов и выражений как «один или несколько», «по меньшей мере», «помимо прочего» и т.п. в некоторых случаях не обязательно означает, что при их отсутствии подразумевается или предполагается более узкое значение.
[00160] Различные варианты осуществления также раскрыты в настоящем документе на примерах блок-схем, технологических схем и иных иллюстраций. Ознакомившись с настоящим документом, средний специалист в данной области техники поймет, что проиллюстрированные варианты осуществления и альтернативные им варианты не ограничены представленными на иллюстрациях примерами. Например, блок-схемы и относящееся к ним описание не следует толковать как в обязательном порядке предусматривающие использование той или иной конкретной архитектуры или конфигурации.
[00161] Слова «по существу», «приблизительно», «около» в тексте настоящего раскрытия, в том числе - в формуле изобретения, служат для обозначения и учета незначительных отклонений, например тех, что обусловлены разбросом параметров при обработке. Например, они могут означать допуск не более ±5%, например, не более ±2%, например, не более ±1%, например, не более ±0.5%, например, не более ±0.2%, например, не более ±0.1%, например, не более ±0.05%.
[00162] Слова «первый», «второй», «третий» и т.д. в тексте настоящего документа служат для указания на то, что характеризуемые ими объекты являются отдельными единицами, а не для указания хронологического порядка, если иное не следует из контекста или явным образом не указано в настоящем документе.
[00163] Следует понимать, что вышеописанные различные варианты осуществления изобретения по настоящему раскрытию представлены исключительно в качестве примеров и не являются ограничивающими. Аналогичным образом, указанные различные схемы могут изображать пример архитектурной или иной конфигурации для раскрытия с целью облегчения понимания признаков и функциональных возможностей, которые может содержать раскрываемое изобретение. Раскрываемое изобретение не ограничено проиллюстрированными примерами архитектуры или конфигураций, при этом желательные признаки могут быть осуществлены посредством самых разных альтернативных архитектур и конфигураций. Более того, специалисту в данной области техники будет очевидно, как желательные признаки раскрываемого изобретения могут быть осуществлены посредством альтернативного функционального, логического или физического распределения и конфигураций. Кроме того, возможно использование множества различных названий составляющих частей модулей, отличных от указанных в настоящем документе. Кроме того, в том, что касается технологических схем, описаний работы и пунктов формулы изобретения, относящихся к способам, указанный в настоящем документе порядок шагов не обязательно означает, что функциональные возможности должны быть реализованы в различных вариантах осуществления в том же самом порядке, если иное не следует из контекста.
[00164] Несмотря на то, что различные признаки, аспекты и функциональные возможности были раскрыты выше в виде примеров и вариантов осуществления, следует понимать, что эти признаки, аспекты и функциональные возможности, раскрытые в одном или нескольких отдельных вариантах осуществления, применимы не только в частных вариантах, в которых они были раскрыты, но также могут быть применимы, по отдельности или в различных комбинациях, в одном или нескольких других вариантах осуществления, независимо от того, представлены ли эти признаки как часть какого-либо раскрываемого варианта осуществления. Таким образом, охват и объем настоящей заявки не должен быть ограничен каким-либо из раскрытых выше примеров осуществления.
[00165] Следует понимать, что все комбинации изложенных выше идей (если такие идеи не являются взаимно несовместимыми) считаются частью раскрытого в настоящей заявке объекта изобретения. В частности, предполагается, что все комбинации заявленного объекта изобретения, указанные в конце настоящего раскрытия, являются частью раскрытого в настоящей заявке объекта изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| ПРОГНОЗИРОВАНИЕ ПАРАМЕТРОВ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ | 2019 |
|
RU2740050C1 |
| ВИЗУАЛИЗАЦИЯ ПРЕПАРАТОВ С ПОМОЩЬЮ МИКРОСКОПИИ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ С ДВУМЯ ОПТИЧЕСКИМИ РЕШЕТКАМИ | 2019 |
|
RU2740858C1 |
| МНОГОПЛЕЧЕВАЯ СИСТЕМА ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ НА ОСНОВЕ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ | 2019 |
|
RU2747380C1 |
| СТРУКТУРИРОВАННОЕ ОСВЕЩЕНИЕ ОБРАЗЦА | 2019 |
|
RU2800625C2 |
| МИКРОСКОПИЯ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ УМЕНЬШЕННОЙ РАЗМЕРНОСТИ СО СТРУКТУРИРОВАННЫМИ МАССИВАМИ НАНОРАЗМЕРНЫХ ЛУНОК | 2019 |
|
RU2740776C1 |
| ФОРМИРОВАНИЕ ИЗОБРАЖЕНИЙ ПРИ СТРУКТУРИРОВАННОМ ОСВЕЩЕНИИ С ПРОСТРАНСТВЕННЫМ ВЫБОРОМ УГЛА РИСУНКА | 2019 |
|
RU2740206C1 |
| ПОВЫШЕННАЯ ЭФФЕКТИВНОСТЬ РАСЧЕТА ДЛЯ МИКРОСКОПИИ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ | 2020 |
|
RU2820783C1 |
| МИКРОСКОПИЯ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ С ЛИНЕЙНЫМ СКАНИРОВАНИЕМ | 2019 |
|
RU2736104C1 |
| УСТРОЙСТВО И СПОСОБ ОЦЕНКИ ЗНАЧЕНИЙ ПО ИЗОБРАЖЕНИЯМ | 2020 |
|
RU2825348C1 |
| МУЛЬТИПЛЕКСИРОВАНИЕ АКТИВНОГО СЕНСОРНОГО ДЕТЕКТОРА С ИСПОЛЬЗОВАНИЕМ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ | 2019 |
|
RU2738756C1 |
Изобретение относится к прогнозированию параметров структурированного освещения. Способ прогнозирования параметров структурированного освещения содержащий шаги, на которых захватывают первое изображение образца; в вычислительном устройстве оценивают первое значение параметра структурированного освещения с помощью первого изображения; захватывают второе изображение; оценивают второе значение параметра структурированного освещения с помощью захваченного второго изображения; и прогнозируют третье значение параметра структурированного освещения, которое соответствует третьему изображению. Прогнозирование третьего значения параметра структурированного освещения содержит шаг, на котором осуществляют аппроксимацию методом наименьших квадратов в отношении по меньшей мере первого значения параметра структурированного освещения или второго значения параметра структурированного освещения. Изобретение обеспечивает повышение качества изображения. 3 н. и 17 з.п. ф-лы, 16 ил.
1. Способ прогнозирования параметров структурированного освещения, содержащий шаги, на которых:
в системе структурированного освещения захватывают первое изображение образца;
в вычислительном устройстве оценивают первое значение параметра структурированного освещения с помощью по меньшей мере захваченного первого изображения;
в указанной системе структурированного освещения захватывают второе изображение указанного образца;
в указанном вычислительном устройстве оценивают второе значение параметра структурированного освещения с помощью по меньшей мере захваченного второго изображения; и
в указанном вычислительном устройстве прогнозируют третье значение параметра структурированного освещения, которое соответствует третьему изображению, с помощью по меньшей мере первого значения параметра структурированного освещения или второго значения параметра структурированного освещения, причем прогнозирование третьего значения параметра структурированного освещения содержит шаг, на котором осуществляют аппроксимацию методом наименьших квадратов в отношении по меньшей мере первого значения параметра структурированного освещения или второго значения параметра структурированного освещения.
2. Способ по п. 1, в котором первое изображение захватывают в первый момент времени, а второе изображение захватывают во второй момент времени, при этом второй момент времени находится после первого момента времени, причем третье изображение захватывают в третий момент времени, при этом третий момент времени находится между первым моментом времени и вторым моментом времени, причем прогнозирование третьего значения параметра структурированного освещения содержит шаг, на котором прогнозируют третье значение параметра структурированного освещения в третий момент времени, используя по меньшей мере способ интерполяции.
3. Способ по п. 1, дополнительно содержащий шаги, на которых:
в указанном вычислительном устройстве определяют скорость изменения с первого значения параметра структурированного освещения в первый момент времени до второго значения параметра структурированного освещения во второй момент времени; и
в указанном вычислительном устройстве прогнозируют третье значение параметра структурированного освещения в третий момент времени с помощью по меньшей мере определенной таким образом скорости изменения .
4. Способ по п. 1, дополнительно содержащий шаг, на котором в указанном вычислительном устройстве строят изображение высокого разрешения с помощью по меньшей мере третьего изображения и третьего значения параметра структурированного освещения.
5. Способ по п. 1, в котором первое изображение захватывают в первый момент времени, а второе изображение захватывают во второй момент времени, при этом второй момент времени находится после первого момента времени, причем третье изображение захватывают в третий момент времени, при этом третий момент времени находится после и первого момента времени, и второго момента времени, причем прогнозирование третьего значения параметра структурированного освещения содержит шаг, на котором прогнозируют третье значение параметра структурированного освещения в третий момент времени, используя по меньшей мере способ экстраполяции.
6. Способ по п. 5, дополнительно содержащий шаг, на котором, используя по меньше мере третье значение параметра структурированного освещения, регулируют аппаратный компонент системы структурированного освещения для компенсации изменений параметра структурированного освещения прежде, чем захватить третье изображение в третий момент времени.
7. Способ по п. 6, в котором регулирование аппаратного компонента содержит шаги, на которых регулируют одно или более из следующего: поворотное зеркало для регулирования фазы или ориентации рисунка структурированного освещения, столик поступательного перемещения, несущий дифракционную решетку, для регулирования фазы или ориентации рисунка структурированного освещения и столик поступательного перемещения образца для регулирования фазы или ориентации рисунка структурированного освещения.
8. Способ по п. 1, дополнительно содержащий шаги, на которых:
сохраняют в памяти системы структурированного освещения первое значение параметра структурированного освещения, второе значение параметра структурированного освещения и третье значение параметра структурированного освещения; и,
используя один или более из следующих параметров: сохраненное первое значение параметра структурированного освещения, сохраненное второе значение параметра структурированного освещения, сохраненное значение третьего параметра структурированного освещения и сохраненное значение, в основе которого лежат известные физические характеристики системы структурированного освещения, уменьшают область поиска четвертого значения параметра структурированного освещения для четвертого изображения.
9. Способ по п. 1, в котором:
первое изображение образца захватывают при первой температуре образца;
первое значение параметра структурированного освещения оценивают при первой температуре образца;
второе изображение образца захватывают при второй температуре образца;
второе значение параметра структурированного освещения оценивают при второй температуре образца; и
третье значение параметра структурированного освещения прогнозируют при третьей температуре образца.
10. Способ по п. 1, дополнительно содержащий шаги, на которых:
делят первое изображение образца на множество подучастков изображения;
в указанном вычислительном устройстве оценивают четвертое значение параметра структурированного освещения с помощью по меньшей мере первого подучастка изображения из множества подучастков изображения;
в указанном вычислительном устройстве оценивают пятое значение параметра структурированного освещения с помощью по меньшей мере второго подучастка изображения из множества подучастков изображения;
в вычислительном устройстве прогнозируют шестое значение параметра структурированного освещения, соответствующее третьему подучастку изображения из множества подучастков изображения, с помощью по меньшей мере
четвертого значения параметра структурированного освещения или пятого значения параметра структурированного освещения.
11. Способ по п. 1, дополнительно содержащий шаги, на которых:
делят первое изображение образца на множество подучастков изображения;
в указанном вычислительном устройстве оценивают четвертое значение параметра структурированного освещения с помощью по меньшей мере первого подучастка изображения из множества подучастков изображения;
используют оцененное четвертое значение параметра структурированного освещения в качестве спрогнозированного значения параметра структурированного освещения второго подучастка изображения из множества подучастков изображения.
12. Долговременный машиночитаемый носитель с хранимыми на нем исполняемыми инструкциями, которые, при исполнении их процессором, побуждают процессор выполнять шаги, на которых:
в системе структурированного освещения захватывают первое изображение образца;
оценивают первое значение параметра структурированного освещения с помощью по меньшей мере захваченного первого изображения;
в указанной системе структурированного освещения захватывают второе изображение указанного образца;
оценивают второе значение параметра структурированного освещения с помощью по меньшей мере захваченного второго изображения; и
прогнозируют третье значение параметра структурированного освещения, который соответствует третьему изображению, с помощью по меньшей мере первого значения параметра структурированного освещения или второго значения параметра структурированного освещения, причем прогнозирование третьего значения параметра структурированного освещения содержит шаг, на котором осуществляют аппроксимацию методом наименьших квадратов в отношении по меньшей мере первого значения параметра структурированного освещения или второго значения параметра структурированного освещения.
13. Долговременный машиночитаемый носитель по п. 12, в котором первое изображение захватывают при первом положении образца, второе изображение захватывают при втором положении образца, a третье изображение
захватывают при третьем положении образца между первым положением образца и вторым положением образца, причем прогнозирование третьего значения параметра структурированного освещения содержит шаг, на котором прогнозируют третье значение параметра структурированного освещения при третьем положении образца, используя по меньшей мере способ интерполяции.
14. Долговременный машиночитаемый носитель по п. 13, в котором способ интерполяции содержит шаги, на которых:
определяют скорость изменения с первого значения параметра структурированного освещения при первом положении образца до второго значения параметра структурированного освещения при втором положении образца; и
прогнозируют третье значение параметра структурированного освещения при третьем положении образца с помощью по меньшей мере определенной таким образом скорости изменения.
15. Долговременный машиночитаемый носитель по п. 12, в котором указанные инструкции, при исполнении их процессором, побуждают процессор дополнительно выполнить шаг, на котором строят изображение высокого разрешения с помощью по меньшей мере третьего изображения и третьего значения параметра структурированного освещения.
16. Долговременный машиночитаемый носитель по п. 12, в котором первое изображение захватывают при первом положении образца, второе изображение захватывают при втором положении образца, a третье изображение захватывают при третьем положении образца, причем третье положение образца следует за первым положением образца и вторым положением образца или находится перед указанными положениями, причем прогнозирование третьего значения параметра структурированного освещения содержит шаг, на котором прогнозируют третье значение параметра структурированного освещения при третьем положении образца, используя по меньшей мере способ экстраполяции.
17. Долговременный машиночитаемый носитель по п. 12, в котором указанные инструкции, при исполнении их процессором, побуждают процессор дополнительно выполнить шаг, на котором, используя по меньшей мере третье значение параметра структурированного освещения, регулируют аппаратный компонент системы структурированного освещения для компенсации изменений параметра структурированного освещения перед захватом изображения при третьем положении образца.
18. Долговременный машиночитаемый носитель по п. 17, в котором регулируемый аппаратный компонент включает в себя: поворотное зеркало для регулирования фазы или ориентации рисунка структурированного освещения, столик поступательного перемещения, несущий дифракционную решетку, для регулирования фазы или ориентации рисунка структурированного освещения или столик поступательного перемещения образца для регулирования фазы или ориентации рисунка структурированного освещения.
19. Долговременный машиночитаемый носитель по п. 12, в котором указанные инструкции, при исполнении их процессором, побуждают процессор дополнительно выполнить шаги, на которых:
сохраняют в памяти системы структурированного освещения первое значение параметра структурированного освещения, второе значение параметра структурированного освещения и третье значение параметра структурированного освещения; и
используя один или более из следующих параметров: сохраненное первое значение параметра структурированного освещения, сохраненное второе значение параметра структурированного освещения, сохраненное третье значение параметра структурированного освещения и сохраненное значение, в основе которого лежат известные физические характеристики системы структурированного освещения, уменьшают область поиска четвертого значения параметра структурированного освещения для четвертого изображения.
20. Система визуализации со структурированным освещением, содержащая:
светоизлучатель для излучения света;
светоделитель для расщепления света, излучаемого светоизлучателем, для проецирования рисунка структурированного освещения на плоскость образца;
процессор; и
долговременный машиночитаемый носитель с хранимыми на нем исполняемыми инструкциями, которые, при исполнении их процессором, побуждают процессор выполнить шаги, на которых:
захватывают первое изображение образца;
оценивают первое значение параметра структурированного освещения с помощью по меньшей мере захваченного первого изображения;
захватывают второе изображение образца;
оценивают второе значение параметра структурированного освещения с помощью по меньшей мере захваченного второго изображения; и
прогнозируют третье значение параметра структурированного освещения, соответствующее третьему изображению, с помощью по меньшей мере первого значения параметра структурированного освещения или второго значения параметра структурированного освещения, причем прогнозирование третьего значения параметра структурированного освещения содержит шаг, на котором осуществляют аппроксимацию методом наименьших квадратов в отношении по меньшей мере первого значения параметра структурированного освещения или второго значения параметра структурированного освещения.
| US 2005046872 A1, 03.03.2005 | |||
| Yeh, Li-Hao, Lei Tian, and Laura Waller | |||
| Топка с несколькими решетками для твердого топлива | 1918 |
|
SU8A1 |
| Muller, Marcel, et al | |||
| "Open-source image reconstruction of super-resolution structured illumination microscopy data in ImageJ." Nature | |||
