УСТРОЙСТВО И СПОСОБ ОЦЕНКИ ЗНАЧЕНИЙ ПО ИЗОБРАЖЕНИЯМ Российский патент 2024 года по МПК G02B21/06 

РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Настоящая заявка испрашивает приоритет по предварительной заявке на патент США № 62/944,687, озаглавленной Apparatus and Method of Estimating Values from Images, поданной 6 декабря 2019 г., описание которой полностью включено в настоящий документ путем ссылки.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0002] Объект изобретения, описанный в настоящем разделе, не следует считать известным техническим решением только на основании его упоминания в настоящем разделе. Аналогичным образом, проблема, упомянутая в настоящем разделе или связанная с объектом изобретения, представленным в настоящем разделе, не должна считаться признанной ранее в известных технических решениях. Объект изобретения в настоящем разделе лишь представляет различные подходы, которые сами по себе также могут соответствовать вариантам реализации заявленной технологии.

[0003] Микроскопия структурированного освещения (SIM) - это класс алгоритмов вычислительной визуализации, которые реконструируют изображения сверхвысокого разрешения из множества исходных изображений более низкого разрешения. Для обеспечения успешной реконструкции исходные необработанные изображения должны быть высокого качества. Высококачественные необработанные изображения требуют тщательной настройки, калибровки и оценки оптических характеристик прибора для формирования изображений. Помимо обычной характеризации прибора для формирования изображений оптика для формирования изображений методом SIM имеет дополнительные компоненты, которые требуют дополнительной характеризации и сертификации.

ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[0004] Возможно, было бы желательно создать системы и способы для обеспечения управления качеством и калибровки с помощью оптики для формирования изображений и связанных оптических компонентов в системе SIM, в частности в системе SIM, которую используют для формирования изображений биологических образцов, таких как нуклеотидные последовательности. В настоящем документе описаны устройства, системы и способы обработки изображений, захваченных с использованием SIM, для преодоления ранее существовавших проблем и достижения описанных в настоящем документе преимуществ.

[0005] Один вариант реализации относится к способу, который включает прием множества изображений, захваченных с использованием микроскопии структурированного освещения (SIM) в оптической системе, причем каждое изображение из множества изображений имеет первое поле обзора. Способ дополнительно включает определение окна, образующего второе поле обзора, представляющее собой часть первого поля обзора, так что второе поле обзора меньше первого поля обзора. Способ дополнительно включает перемещение окна по отношению к каждому изображению из множества изображений. Способ дополнительно включает захват множества подплиток в каждом изображении из множества изображений с одновременным перемещением окна по отношению к каждому изображению из множества изображений, причем каждая подплитка из множества из множества подплиток представляет собой часть соответствующего изображения из множества изображений, а часть, представленная каждой подплиткой из множества подплиток, определяется вторым полем обзора в положении, соответствующем моменту захвата подплитки из множества подплиток. Способ дополнительно включает оценку параметров, связанных с каждой подплиткой из множества подплиток, причем параметры включают два или более параметра, выбранные из группы, состоящей из модуляции, угла, разноса, фазового смещения и отклонения фазы. Способ дополнительно включает оценку значения полной ширины на половине максимума (FWHM), связанной с каждой подплиткой из множества подплиток. Способ дополнительно включает хранение оцененных параметров и значений FWHM в заданном формате.

[0006] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, множество изображений включает двенадцать изображений.

[0007] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, множество изображений включает первый набор изображений, связанных с первым цветом, и второй набор изображений, связанных со вторым цветом.

[0008] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, множество изображений включает первый набор изображений, связанных с первой ориентацией решетки, и второй набор изображений, связанных со второй ориентацией решетки.

[0009] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает захват множества изображений. Способ дополнительно включает при захвате множества изображений перемещение источника света относительно одной или более фазовых масок из первого положения во второе положение, причем первое положение обеспечивает первую ориентацию решетки, а второе положение обеспечивает вторую ориентацию решетки.

[0010] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, множество изображений включает первый набор изображений, связанных с первой фазой, и второй набор изображений, связанных со второй фазой.

[0011] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает захват множества изображений. Способ дополнительно включает при захвате множества изображений перемещение отражающего элемента из первого положения во второе положение, причем первое положение обеспечивает первую фазу, а второе положение обеспечивает вторую фазу.

[0012] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, заданный формат представляет собой таблицу.

[0013] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, таблица представляет собой двумерную таблицу.

[0014] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, способ дополнительно включает оценку параметра центрального окна, соответствующего центральной области в пределах первого поля обзора.

[0015] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает оценку модели искажения по меньшей мере частично на основании комбинации оцененных параметров и значений FWHM, сохраненных в заданном формате, а также оцененного параметра центрального окна.

[0016] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, оценка модели искажения включает вычитание оцененного параметра центрального окна из оцененных параметров и значений FWHM, сохраненных в заданном формате.

[0017] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, оценка модели искажения включает аппроксимацию функции квадратичной поверхности к значению разности.

[0018] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, аппроксимация функции квадратичной поверхности к результату вычитания включает использование средства оценки усадки.

[0019] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих четырех абзацев настоящего изложения сущности изобретения, способ дополнительно включает подтверждение оцененной модели искажения путем вычисления коэффициента определения для оцененной модели искажения и сравнения вычисленного коэффициента определения с заданным пороговым значением.

[0020] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих пяти абзацев настоящего изложения сущности изобретения, способ дополнительно включает оценку фазового смещения и применение фазового смещения к оцененной модели искажения.

[0021] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих шести абзацев настоящего изложения сущности изобретения, способ дополнительно включает генерирование двумерного изображения по меньшей мере частично на основании оцененной модели искажения, причем двумерное изображение включает в себя представления, указывающие места возникновения искажений в оптической системе.

[0022] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих семи абзацев настоящего изложения сущности изобретения, способ дополнительно включает захват следующего множества изображений с использованием SIM в оптической системе. Способ дополнительно включает генерирование изображения с высоким разрешением по меньшей мере частично на основании множества изображений, причем генерирование изображения с высоким разрешением включает коррекцию данных из следующего множества изображений по меньшей мере частично на основании оцененной модели искажения.

[0023] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, способ дополнительно включает захват следующего множества изображений с использованием SIM в оптической системе. Способ дополнительно включает генерирование изображения с высоким разрешением по меньшей мере частично на основании множества изображений, причем генерирование изображения с высоким разрешением включает коррекцию данных из следующего множества изображений по меньшей мере частично на основании оцененных параметров и значений FWHM, сохраненных в заданном формате.

[0024] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих двух абзацев настоящего изложения сущности изобретения, следующее множество изображений включает изображения нуклеотидов.

[0025] В некоторых вариантах реализации способа, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, способ дополнительно включает захват множества изображений с использованием SIM в оптической системе, причем принятое множество изображений включает захваченное множество изображений.

[0026] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, множество захваченных изображений являются изображениями оптической мишени.

[0027] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, оптическая мишень включает краситель, а захват множества изображений включает возбуждение молекул в красителе.

[0028] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, краситель имеет среднюю длину волны излучения, а возбуждение молекул в красителе включает излучение возбуждающего света по направлению к красителю, причем возбуждающий свет имеет длину волны, которая по существу больше средней длины волны излучения для красителя.

[0029] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, краситель включает кумариновый краситель.

[0030] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, возбуждающий свет имеет длину волны по меньшей мере приблизительно 520 нм.

[0031] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, способ дополнительно включает возможность наблюдения сгенерированных зеленым лазером интерференционных полос при длинах волн синей области спектра.

[0032] В некоторых вариантах реализации устройство включает первый оптический узел для излучения структурированного освещения в направлении мишени. Первый оптический узел содержит светоизлучающий узел, первую фазовую маску для придания первого рисунка свету, излучаемому светоизлучающим узлом, вторую фазовую маску для придания второго рисунка свету, излучаемому светоизлучающим узлом, и фазорегулирующий узел для регулирования фазы света, структурированного первой фазовой маской и второй фазовой маской. Устройство дополнительно включает второй оптический узел. Второй оптический узел включает датчик изображения для захвата изображений мишени, которую освещает первый оптический узел. Устройство дополнительно включает процессор. Процессор выполнен с возможностью приема множества изображений, захваченных с помощью датчика изображения, причем каждое изображение из множества изображений имеет первое поле обзора. Процессор дополнительно выполнен с возможностью определения окна, причем окно образует второе поле обзора, представляющее собой часть первого поля обзора, так что второе поле обзора меньше первого поля обзора. Процессор дополнительно выполнен с возможностью перемещения окна по отношению к каждому изображению из множества изображений. Процессор дополнительно выполнен с возможностью захвата множества подплиток в каждом изображении из множества изображений с одновременным перемещением окна по отношению к каждому изображению из множества изображений, причем каждая подплитка из множества из множества подплиток представляет собой часть соответствующего изображения из множества изображений, а часть, представленная каждой подплиткой из множества подплиток, определяется вторым полем обзора в положении, соответствующем моменту захвата подплитки из множества подплиток. Процессор дополнительно выполнен с возможностью оценки параметров, связанных с каждой подплиткой из множества подплиток, причем данные параметры включают два или более параметра, выбранные из группы, состоящей из модуляции, угла, разноса, фазового смещения и отклонения фазы. Процессор дополнительно выполнен с возможностью оценки значения полной ширины на половине максимума (FWHM), связанной с каждой подплиткой из множества подплиток. Процессор дополнительно выполнен с возможностью сохранения оцененных параметров и значений FWHM в заданном формате.

[0033] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, мишень включает контейнер для образцов.

[0034] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, мишень включает биологический образец в контейнере для образцов.

[0035] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, светоизлучающий узел выполнен с возможностью излучения света в по меньшей мере двух каналах.

[0036] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, по меньшей мере два канала включают по меньшей мере два цвета, причем каждый цвет из по меньшей мере двух цветов сопоставлен соответствующему каналу из указанных по меньшей мере двух каналов.

[0037] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, первый оптический узел дополнительно включает переключатель решетки. Переключатель решетки выполнен с возможностью избирательного направления или пропускания света, излучаемого светоизлучающим узлом, по направлению к первой фазовой маске или второй фазовой маске.

[0038] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, переключатель решетки включает по меньшей мере один выполненный с возможностью перемещения отражающий элемент.

[0039] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, переключатель решетки также содержит выполненную с возможностью поворота пластину, поддерживающую выполненный с возможностью перемещения отражающий элемент. Выполненная с возможностью поворота пластина выполнена с возможностью поворота, чтобы, таким образом, избирательно позиционировать отражающий элемент относительно первой фазовой маски или второй фазовой маски, чтобы, таким образом, избирательно направлять или пропускать свет, излучаемый светоизлучающим узлом, по направлению к первой фазовой маске или второй фазовой маске.

[0040] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, фазорегулирующий узел включает выполненный с возможностью перемещения отражающий элемент.

[0041] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, фазорегулирующий узел дополнительно включает исполнительный механизм для перемещения выполненного с возможностью перемещения отражающего элемента.

[0042] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, исполнительный механизм выполнен с возможностью перемещения выполненного с возможностью перемещения отражающего элемента вдоль линейного пути.

[0043] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из двух предшествующих абзацев настоящего изложения сущности изобретения, исполнительный механизм включает пьезоэлектрический элемент.

[0044] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью оценки параметра центрального окна, соответствующего центральной области в пределах первого поля обзора.

[0045] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью оценки модели искажения по меньшей мере частично на основании комбинации оцененных параметров и значений FWHM, сохраненных в заданном формате, а также оцененного параметра центрального окна.

[0046] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью оценки модели искажения путем включения вычитания оцененного параметра центрального окна из оцененных параметров и значений FWHM, сохраненных в заданном формате.

[0047] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью оценки режима искажения путем аппроксимации функции квадратичной поверхности к значению разности.

[0048] В некоторых вариантах реализации устройства, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью оценки режима искажения путем аппроксимации функции квадратичной поверхности к значению разности, включающей использование средства оценки усадки.

[0049] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из четырех предшествующих абзацев настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью подтверждения модели искажения путем вычисления коэффициента определения для оцененной модели искажения и сравнения вычисленного коэффициента определения с заданным пороговым значением.

[0050] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из пяти предшествующих абзацев настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью оценки фазового смещения и применения фазового смещения к оцененной модели искажения.

[0051] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из шести предшествующих абзацев настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью генерирования двумерного изображения по меньшей мере частично на основании оцененной модели искажения, причем двумерное изображение включает в себя представления, указывающие места возникновения искажений в оптической системе.

[0052] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из шести предшествующих абзацев настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью захвата следующего множества изображений с использованием SIM в оптической системе и генерирования изображения с высоким разрешением по меньшей мере частично на основании множества изображений. Генерирование изображения с высоким разрешением включает коррекцию данных из следующего множества изображений по меньшей мере частично на основании оцененной модели искажения.

[0053] В некоторых вариантах реализации устройства, таких как любой из описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения, процессор дополнительно выполнен с возможностью захвата следующего множества изображений с использованием SIM в оптической системе и генерирования изображения с высоким разрешением по меньшей мере частично на основании множества изображений. Генерирование изображения с высоким разрешением включает коррекцию данных из следующего множества изображений по меньшей мере частично на основании оцененных параметров и значений FWHM, сохраненных в заданном формате.

[0054] В некоторых вариантах реализации способ включает захват множества изображений с использованием микроскопии структурированного освещения (SIM) в оптической системе. Множество захваченных изображений представляют собой изображения оптической мишени. Оптическая мишень включает краситель. Захват множества изображений включает возбуждение молекул в красителе. Краситель имеет среднюю длину волны излучения. Возбуждение молекул в красителе включает излучение возбуждающего света по направлению к красителю. Возбуждающий свет имеет длину волны, которая по существу больше средней длины волны излучения красителя. Способ дополнительно включает наблюдение интерференционных полос на множестве изображений. Наблюдаемые интерференционные полосы имеют первую длину волны, связанную с первым цветом. Наблюдаемые интерференционные полосы генерируются источником света, излучающим свет со второй длиной волны, связанной со вторым цветом.

[0055] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, краситель включает кумариновый краситель.

[0056] В некоторых вариантах реализации способа, таких как описанный в предшествующем абзаце настоящего изложения сущности изобретения, возбуждающий свет имеет длину волны по меньшей мере приблизительно 520 нм.

[0057] В некоторых вариантах реализации способа, таких как любой из описанных в любом из трех предшествующих абзацев настоящего изложения сущности изобретения, первый цвет является синим, а второй - зеленым.

[0058] В некоторых вариантах реализации выполненный с возможностью считывания процессором носитель информации включает содержимое, которое выполнено с возможностью инициирования обработки компьютерной системой данных путем выполнения способа из одного или более способов, описанных в любом из предшествующих абзацев настоящего изложения сущности изобретения.

[0059] Следует понимать, что все комбинации вышеуказанных концепций и дополнительных концепций, более подробно описанных ниже (при условии, что указанные концепции не являются взаимно противоречащими), рассматриваются как часть обладающего признаками изобретения объекта изобретения, описанного в настоящем документе, и предназначены для достижения выгод/преимуществ, описанных в настоящем документе. В частности, все комбинации заявленного объекта изобретения, появляющиеся в конце настоящего описания, считаются частью объекта изобретения, описанного в настоящем документе.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0060] Подробное описание одного или более вариантов реализации представлено в приведенных ниже сопроводительных графических материалах и описании. Прочие признаки, аспекты и преимущества станут очевидными из описания, рисунков и формулы изобретения, в которых:

[0061] На ФИГ. 1A изображен пример формирования муаровой интерференционной полосы путем использования решетки с одномерной (1D) модуляцией.

[0062] На ФИГ. 1B изображена графическая иллюстрация интенсивностей освещения, создаваемого двумерным (2D) рисунком структурированного освещения.

[0063] На ФИГ. 1C изображен пример геометрической структуры для расположения нанолунок.

[0064] На ФИГ. 2 изображена принципиальная схема системы визуализации биологического образца SIM, которая может использовать пространственно структурированный возбуждающий свет для формирования изображения образца.

[0065] На ФИГ. 3 изображена принципиальная схема примера альтернативного оптического узла для использования в системе визуализации биологического образца SIM, изображенной на ФИГ. 2.

[0066] На ФИГ. 4 изображена принципиальная схема узла фазовой маски оптического узла, изображенного на ФИГ. 3.

[0067] На ФИГ. 5A изображена принципиальная схема оптического узла, изображенного на ФИГ. 3, с переключателем решетки в первом состоянии и выполненным с возможностью регулирования отражающим элементом в первом состоянии.

[0068] На ФИГ. 5B изображена принципиальная схема оптического узла, изображенного на ФИГ. 3, с переключателем решетки в первом состоянии и выполненным с возможностью регулирования отражающим элементом во втором состоянии.

[0069] На ФИГ. 5C изображена принципиальная схема оптического узла, изображенного на ФИГ. 3, с переключателем решетки во втором состоянии и выполненным с возможностью регулирования отражающим элементом в первом состоянии.

[0070] На ФИГ. 5D изображена принципиальная схема оптического узла, изображенного на ФИГ. 3, с переключателем решетки во втором состоянии и выполненным с возможностью регулирования отражающим элементом во втором состоянии.

[0071] На ФИГ. 6A приведено упрощенное изображение параллельных линий, изогнутых из-за искажения увеличивающей линзы.

[0072] На ФИГ. 6B показан первый набор измерений, выполненных на длинах волны, равных интервалу между номинально параллельными линиями.

[0073] На ФИГ. 6C изображен второй набор измерений, выполненных на длинах волны, равных интервалу между номинально параллельными линиями.

[0074] На ФИГ. 6D изображен пример подплиток или подполей изображения полного поля обзора (FOV).

[0075] На ФИГ. 7 изображена блок-схема примера способа генерирования и применения модели искажения при визуализации SIM.

[0076] На ФИГ. 8A-8C представлен схематический вид скользящего окна, перемещающегося в поперечном направлении по изображению.

[0077] На ФИГ. 9 представлена блок-схема, изображающая пример способа оценки моделей искажений.

[0078] На ФИГ. 10 представлено схематическое изображение антистоксова излучения.

[0079] Следует понимать, что некоторые или все из фигур являются схематическими представлениями для целей иллюстрации. Фигуры представлены с целью иллюстрации одного или более вариантов реализации с явным пониманием того, что они не будут использоваться для ограничения объема или смысла формулы изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

[0080] В некоторых аспектах способы и системы для обеспечения управления качеством и калибровкой с помощью оптики для формирования изображений и связанных оптических компонентов описаны в настоящем документе в рамках системы SIM, в частности в рамках системы SIM, которую используют для формирования изображений биологических образцов, таких как нуклеотидные последовательности.

[0081] В контексте формирования изображений биологических образцов, таких как нуклеотидные последовательности, SIM может обеспечивать возможность развертывания плотно упакованных образцов из проточных кювет с флуоресцентными сигналами из миллионов точек образа, тем самым уменьшая количество реагентов, необходимых для обработки, и увеличивая производительность обработки изображений. В некоторых случаях SIM может сделать возможным разрешение образцов, плотность упаковки которых выше дифракционного предела Аббе для развертки смежных источников света. Биологические образцы могут находиться в равномерно разнесенных нанолунках на проточной кювете или они могут находиться в распределенных случайным образом кластерах. Смежные нанолунки могут быть расположены относительно друг друга на расстоянии меньше дифракционного предела Аббе соответствующей оптической системы. Хотя настоящий пример относится к биологическим образцам в нанолунках проточной кюветы, изложенные в настоящем документе идеи могут быть применены к биологическим образцам в различных других устройствах; и в системах других видов с использованием SIM. Поэтому изложенные в настоящем документе идеи не обязательно ограничиваются формированием изображений биологических образцов.

[0082] I. Введение

[0083] Структурированное освещение может создавать изображения, которые имеют в несколько раз больше развернутых источников освещения, чем при нормальном освещении. Множественные изображения с меняющимися углами и фазовыми смещениями структурированного освещения используют для преобразования близко расположенных, иначе неразворачиваемых, элементов с высокой пространственной частотой в сигналы более низкой частоты, которые могут быть восприняты оптической системой без нарушения дифракционного передела Аббе. Этот предел физически заложен в формирование изображений природой света и оптики и выражается как функция от длины волны излучения и числовой апертуры (NA) конечной линзы объектива. При применении реконструкции SIM информацию из множества изображений преобразуют из пространственной области в область Фурье, объединяют и обрабатывают, затем реконструируют в улучшенное изображение. Набор исходных изображений более низкого разрешения, которые обрабатывают в системе и способе SIM, может быть назван «стек SIM». Изображения в каждом стеке SIM могут быть получены с помощью линзы объектива, которая находится в соответствующем z-положении или на расстоянии относительно объекта, изображение которого нужно сформировать. Могут быть получены несколько стеков SIM одного и того же объекта, причем каждый стек SIM имеет z-положение, которое отличается от z-положения других стеков SIM того же самого объекта.

[0084] В SIM используют решетку или формируют интерференционный рисунок между источником освещения и образцом, чтобы сформировать рисунок освещения, такой как рисунок, интенсивность которого меняется в соответствии с синусоидой или косинусоидой. В контексте SIM помимо обозначения поверхности, которая создает рисунок структурированного освещения, термин «дифракционная решетка» иногда означает спроецированный рисунок структурированного освещения. В альтернативном варианте осуществления рисунок структурированного освещения может быть сформирован в виде интерференционного рисунка между частями расщепленного когерентного луча.

[0085] Проекция структурированного освещения на плоскость образца, например, как показано на ФИГ. 1, смешивает рисунок освещения с флуоресцентными (или отражающими) источниками в образце и вызывает новый сигнал, иногда называемый муаровой интерференционной полосой или наложением спектров. Новый сигнал сдвигает информацию высокой пространственной частоты в более низкую пространственную частоту, которая может быть захвачена без нарушения дифракционного предела Аббе.

[0086] После захвата изображений образца, освещенного с помощью одномерного (1D) рисунка модуляции интенсивности, как показано на ФИГ. 1A, или двумерного (2D) рисунка модуляции интенсивности, как показано на ФИГ. 1B, решают систему линейных уравнений и используют ее для выделения из множества изображений муаровой интерференционной полосы или наложения спектров частей нового сигнала, который содержит информацию, сдвинутую от более высокой к более низкой пространственной частоте.

[0087] Чтобы решить линейные уравнения, захватывают несколько изображений с пошаговым сдвигом или смещением рисунка структурированного освещения. Для анализа могут быть захвачены изображения с меняющимися фазами на каждый угол и затем разделены по полосам для сдвига области Фурье и повторного объединения. Увеличение количества изображений может улучшить качество реконструируемых изображений за счет повышения отношения сигнал/шум. Однако это может также увеличить время вычисления. Представление Фурье разделенных полосами изображений сдвигают и суммируют для получения реконструированной суммы. В итоге с помощью обратного быстрого преобразования Фурье (FFT) из реконструированный суммы реконструируют новое изображение с высоким разрешением.

[0088] Стандартные алгоритмы для одномерного (1D) модулированного освещения могут включать в себя модификацию при использовании их с двумерным (2D) рисунком модулированного освещения. Это может включать разнос пиков освещенности и оценку угла пика освещенности, что может включать в себя двумерное (2D) разделение полосы. Модификация может также включать оценку фазы по Уикеру, в которой используют две точки (вместо одной), чтобы оценить фазу в двух измерениях. Одномерный (1D) интерференционный рисунок может быть сформирован одномерной дифракционной решеткой, как показано на ФИГ. 1A, или в результате интерференционного рисунка двух лучей. В некоторых случаях во время формирования изображения образца получают три изображения рисунков интерференционных полос с различными фазами рисунка (например, 0°, 120° и 240°), чтобы каждое местоположение на образце подвергалось воздействию диапазона интенсивностей освещения, причем эту процедуру повторяют, поворачивая ориентацию рисунка вокруг оптической оси на 2 (например, 45°, 135°) или 3 (например, 0°, 60° и 120°) отдельных угла.

[0089] На ФИГ. 1B показано распределение интенсивности, которое может быть получено посредством двумерной (2D) дифракционной решетки или посредством интерференции двух пар когерентных лучей света. В частности, двумерное (2D) структурированное освещение может быть сформировано двумя ортогональными одномерными (1D) дифракционными решетками, наложенными друг на друга. Как и в случае одномерных (1D) рисунков структурированного освещения, двумерные (2D) рисунки освещения могут быть сформированы либо путем использования двумерных (2D) дифракционных решеток, либо посредством интерференции между двумя парами когерентных лучей света, которые создают регулярно повторяющийся рисунок интерференционных полос. Два луча света создают рисунок интенсивности (горизонтальные яркие и темные линии) вдоль оси y и поэтому называются y-парой падающих лучей. Еще два луча света создают рисунок интенсивности (вертикальные яркие и темные линии) вдоль оси x и поэтому называются x-парой падающих лучей. Интерференция y-пары с x-парой лучей света создает двумерный (2D) рисунок освещения. На ФИГ. 1B показано распределение интенсивности такого двумерного (2D) рисунка освещения.

[0090] На ФИГ. 1C показано расположение нанолунок 10 на поверхности проточной кюветы в углах прямоугольника. На ФИГ. 1C также показаны линии 20 рисунка интерференционных полос структурированного освещения, спроецированного на нанолунки 10. В показанном примере линии 20 смещены под небольшим углом относительно расположенных на одной линии нанолунок 10, так что линии 20 не выровнены идеально (или не параллельны) ни с рядами нанолунок 10, ни со столбцами нанолунок 10. В альтернативном варианте осуществления линии 20 могут иметь любое другое соответствующее взаимное расположение с расположенными на одной линии столбцами или рядами нанолунок 10; или нанолунок 10, имеющих другое пространственное расположение. При использовании одномерного (1D) структурированного освещения угол пика освещенности выбран так, что изображения получают вдоль линии, соединяющей по диагонали противоположные углы прямоугольника. Например, можно получить два набора из трех изображений (всего шесть изображений) под углами +45 градусов и -45 градусов. Поскольку расстояние вдоль диагонали больше расстояния между любыми двумя сторонами прямоугольника, можно получить изображение более высокого разрешения. Нанолунки 10 могут быть расположены в виде других геометрических фигур, таких как шестиугольник. В таком случае можно получить три или более изображения вдоль каждой из трех диагоналей шестиугольника, что в итоге дает, например, девять или пятнадцать изображений.

[0091] II. Терминология

[0092] Термин «частота», используемый в настоящем документе в отношении параметра структурированного освещения, означает величину, обратную расстоянию между интерференционными полосами или линиями рисунка структурированного освещения (например, рисунка интерференционных полос или решетки), т. к. частота и период находятся в обратной зависимости. Например, рисунок, имеющий большее расстояние между интерференционными полосами, будет иметь частоту ниже, чем рисунок, имеющий меньшее расстояние между интерференционными полосами.

[0093] Термин «фаза», используемый в настоящем документе в отношении параметра структурированного освещения, означает фазу рисунка структурированного освещения, освещающего образец. Например, фаза может быть изменена перемещением рисунка структурированного освещения относительно освещаемого образца.

[0094] Термин «ориентация», используемый в настоящем документе в отношении параметра структурированного освещения, означает относительную ориентацию между рисунком структурированного освещения (например, рисунком интерференционных полос или решетки) и образцом, освещаемым этим рисунком. Например, ориентация может быть изменена вращением рисунка структурированного освещения относительно освещаемого образца.

[0095] Термины «предсказанный» или «предсказание», используемые в настоящем документе в отношении параметра структурированного освещения, означают либо (i) вычисление значений параметра без непосредственного измерения параметра, либо (ii) оценку параметра по захваченному изображению, соответствующему параметру. Например, фаза рисунка структурированного освещения в момент t1 времени может быть предсказана путем интерполяции между значениями фазы, непосредственно измеренными или оцененными (например, по захваченным фазовым изображениям) в моменты времени t2 и t3, причем t2 < t1 < t3. В качестве еще одного примера частота рисунка структурированного освещения в момент t1 времени может быть предсказана путем экстраполяции из значений частоты, непосредственно измеренных или оцененных (например, по захваченным фазовым изображениям) в моменты времени t2 и t3, причем t2 < t3 < t1.

[0096] Термин «порядок» или «порядковый номер», используемый в настоящем документе в отношении света, дифрагированного дифракционной решеткой, означает количество целочисленных длин волн, которые представляют разницу длины пути света из смежных щелей или структур дифракционной решетки для конструктивной интерференции. Взаимодействие падающего луча света с повторяющимся рядом структур решетки или других структур, расщепляющих луч, может перенаправить или дифрагировать части луча света в предсказуемых угловых направлениях относительно первоначального луча. Термин «нулевого порядка» или «максимум нулевого порядка» означает центральную яркую интерференционную полосу, излучаемую дифракционной решеткой, в которой нет дифракции. Термин «первого порядка» означает две яркие интерференционные полосы, дифрагированные в обе стороны от интерференционной полосы нулевого порядка, причем разница длин пути равна ±1 длине волны. Полосы более высокого порядка дифрагируются на более высокие углы от первоначального луча. Свойствами решетки можно манипулировать для управления степенью интенсивности луча, направляемой в полосы различного порядка. Например, фазовая решетка может быть изготовлена так, чтобы максимизировать передачу лучей ненулевых порядков и минимизировать передачу луча нулевого порядка.

[0097] Используемый в настоящем документе термин «оптическая передаточная функция» или его сокращенная форма «OTF» означает имеющую комплексные значения передаточную функцию, описывающую отклик системы формирования изображения как функцию от пространственной частоты. OTF может быть получена из преобразования Фурье функции рассеяния точки. В примерах, описанных в настоящем документе, важна только амплитудная часть OTF. Амплитудная часть OTF может называться «модуляционной передаточной функцией» или «MTF» в сокращенном виде.

[0098] Термин «элемент», используемый в настоящем документе в отношении образца, означает точку или область в структуре, которую можно отличить от других точек или областей на основании относительного расположения. Отдельный элемент может включать одну или более молекул определенного типа. Например, элемент может включать одну целевую молекулу нуклеиновой кислоты, имеющую конкретную последовательность, или элемент может включать несколько молекул нуклеиновой кислоты, имеющих одну и ту же последовательность (и/или комплементарную ей последовательность).

[0099] Используемый в настоящем документе термин «плоскость xy» означает 2-мерную область, определяемую прямыми осями x и y в декартовой системе координат. При использовании в отношении детектора и объекта, наблюдаемого детектором, область может быть дополнительно определена как ортогональная оси луча или направлению наблюдения между детектором и обнаруживаемым объектом.

[00100] Используемый в настоящем документе термин «координата z» означает информацию, которая определяет местоположение точки, линии или области вдоль оси, которая ортогональна плоскости xy в декартовой системе координат. В конкретных вариантах реализации ось z перпендикулярна области объекта, наблюдаемой детектором. Например, направление фокуса оптической системы может быть установлено вдоль оси z.

[00101] Используемый в настоящем документе термин «оптически связанный» означает один элемента, адаптируемый для прямой или косвенной передачи света другому элементу.

[00102] В настоящем документе элемент или стадия, перечисленные в единственном числе и предшествующие слова в единственном числе, следует понимать как не исключающие множественное число указанных элементов или стадий, если такое исключение не указано явным образом. Более того, ссылки на «один вариант реализации» не следует интерпретировать как исключающие существование дополнительных вариантов реализации, которые также включают в себя указанные элементы. Более того, если явно не указано иное, варианты реализации «содержащие» или «имеющие» элемент или множество элементов, имеющих конкретное свойство, могут включать в себя дополнительные элементы, независимо от того, имеют ли они это свойство или нет.

[00103] Термины «по существу», «около» и «приблизительно», используемые в данном описании, используются для описания и учета небольших отклонений, например, из-за разброса при обработке. Например, они могут относиться к составляющим ±5% или менее, например составляющим ±2% или менее, например составляющим ±1% или менее, например составляющим ±0,5% или менее, например составляющим ±0,2% или менее, например составляющим ±0,1% или менее, например составляющим ±0,05% или менее.

[00104] Термин «на основании» следует понимать как означающий, что нечто определено по меньшей мере частично тем, «на основании» чего оно указано. Чтобы указать, что нечто должно быть полностью определено чем-то другим, это описывают как основанное исключительно на чем-то, чем оно полностью определяется.

[00105] Используемый в настоящем документе термин «нуклеотидная последовательность» или «полинуклеотидная последовательность» следует понимать как включающий полинуклеотидную молекулу, а также в зависимости от контекста как лежащую в основе последовательность молекул. Последовательность полинуклеотида может содержать (или кодировать) информацию, указывающую определенные физические характеристики.

[00106] III. Примеры компонентов и сборок системы визуализации

[00107] В некоторых вариантах реализации систем SIM линейно поляризованный луч света направляют через оптический расщепитель луча, который расщепляет луч на два или более отдельных порядка, которые могут быть объединены и спроецированы на образец, изображение которого формируют, в виде рисунка интерференционных полос с синусоидальным изменением интенсивности. Расщепленные лучи имеют одинаковую мощность, чтобы достичь максимальной модуляции в плоскости образца. Примерами расщепителей луча являются дифракционные решетки, которые могут формировать лучи с высокой степенью когерентности и стабильными углами распространения. Когда два таких луча объединяются, интерференция между ними может создавать рисунок из равномерных регулярно повторяющихся интерференционных полос, причем расстояние между ними определяется факторами, включающими угол между интерферирующими лучами. Взаимосвязь между периодичностью (FP) интерференционных полос, углом (θ) падения и длиной волны света (λ) может быть выражена следующим уравнением (I):

FP=λ 2sin(θ), (I)

где период (FP) интерференционных полос и длина волны света (λ) даны в одних и тех же единицах измерения (например, нм), а θ является углом падения относительно нормали к поверхности, выраженным в радианах.

[00108] На ФИГ. 2-4B показаны примеры различных форм, которые могут принимать системы визуализации SIM. Следует отметить, что, хотя эти системы описаны прежде всего в контексте систем визуализации SIM, которые формируют одномерные (1D) рисунки освещения, описанная в настоящем документе технология может быть реализована с помощью систем визуализации SIM, которые формируют рисунки освещения большей размерности (например, двумерные рисунки решетки).

[00109] На ФИГ. 2 показана система 100 визуализации SIM, которая может реализовывать предсказание параметра структурированного освещения в соответствии с некоторыми вариантами реализации, описанными в настоящем документе. Например, система 100 может представлять собой систему флуоресцентной микроскопии структурированного освещения, которая использует пространственно структурированный возбуждающий свет для формирования изображения биологического образца.

[00110] В примере на ФИГ. 2 излучатель 150 света выполнен с возможностью испускания луча света, который коллимируют коллиматорной линзой 151. Коллимированный свет структурируют (придают рисунок) посредством оптического узла 155 структурирования света и направляют посредством дихроичного зеркала 160 через линзу 142 объектива на образец в контейнере 110 для образцов, который помещен на подвижный столик 170. В случае флуоресцентного образца образец флуоресцирует в ответ на структурированный возбуждающий свет, и получающийся в результате свет собирается линзой 142 объектива и направляется на датчик изображения системы 140 камеры для обнаружения флуоресценции.

[00111] Оптический узел 155 структурирования света включает одну или более оптических дифракционных решеток или других расщепляющих луч элементов (например, куб или пластину расщепителя луча) для формирования светового рисунка (например, интерференционных полос, обычно синусоидальных), который проецируют на образцы в контейнере 110 для образцов. Дифракционные решетки могут быть одномерными или двумерными передающими или отражающими решетками. Дифракционные решетки могут быть дифракционными решетками с синусоидальной амплитудой или решетками с синусоидальной фазой. В некоторых версиях оптический узел 155 структурирования света включает пару фазовых масок, причем каждая фазовая маска включает кусок стекла с градуировками, вытравленными в стекле.

[00112] В некоторых вариантах реализации дифракционные решетки могут не использовать вращающийся столик для изменения ориентации рисунка структурированного освещения. В других вариантах реализации дифракционная(-ые) решетка(-и) может (могут) быть установлена(-ы) на вращающемся столике. В некоторых вариантах реализации дифракционные решетки могут быть неподвижными во время работы системы визуализации (т. е. не требуют вращательного или линейного движения). Например, в конкретном варианте реализации, дополнительно описанном ниже, дифракционные решетки могут включать две фиксированные одномерные передающие дифракционные решетки, ориентированные перпендикулярно друг другу (например, горизонтальная дифракционная решетка и вертикальная дифракционная решетка).

[00113] Как показано в примере на ФИГ. 2, оптический узел 155 структурирования света испускает дифрагированные лучи света первого порядка, при этом блокируя или сводя к минимуму лучи других порядков, включая лучи нулевого порядка. Однако в альтернативных вариантах реализации на образец могут быть спроецированы лучи света дополнительных порядков.

[00114] В течение каждого цикла формирования изображения система 100 визуализации использует оптический узел 155 структурирования света для получения множества изображений при различных фазах с боковым смещением рисунка интерференционных полос в направлении модуляции (например, в плоскости x-y и перпендикулярно интерференционным полосам), причем эту процедуру повторяют один или более раз, поворачивая ориентацию рисунка вокруг оптической оси (т. е. относительно плоскости x-y образца). Затем захваченные изображения могут быть реконструированы при помощи вычислений для формирования изображения с более высоким разрешением (например, изображения, имеющего примерно в два раза большее боковое пространственное разрешение по сравнению с отдельными изображениями).

[00115] В системе 100 излучатель 150 света может быть некогерентным излучателем света (например, излучать лучи света, выводимые одним или более возбуждающими диодами) или когерентным излучателем света, таким как излучатель света, испускаемого одним или более лазерами или лазерными диодами. Как показано в примере системы 100, излучатель 150 света включает оптическое волокно 152 для направления оптического луча, подлежащего выпуску. Однако могут быть использованы другие конфигурации излучателя 150 света. В вариантах реализации, использующих структурированное освещение в многоканальной системе визуализации (например, в многоканальном флуоресцентном микроскопе, использующем множество длин волн света), оптическое волокно 152 может быть оптически связано со множеством различных источников света (не показаны), причем каждый источник света излучает свет с другой длиной волны. Хотя показано, что система 100 имеет один излучатель 150 света, некоторые варианты реализации могут включать множество излучателей 150 света. Например, множество излучателей света могут быть включены в случае системы визуализации со структурированным освещением, использующей множество плеч, которая дополнительно рассмотрена ниже.

[00116] В некоторых вариантах реализации система 100 может включать проекционную линзу 156, которая может включать элемент линзы для шарнирного соединения вдоль оси z для регулировки формы и пути структурированного луча. Например, компонент проекционной линзы 156 может быть шарнирно перемещен для учета диапазона толщин образцов (например, разной толщины покровного стекла) образца в контейнере 110.

[00117] В примере системы 100 модуль или устройство 190 подачи текучей среды может направлять поток реагентов (например, флуоресцентно-меченных нуклеотидов, буферов, ферментов, расщепляющих реагентов и т. д.) в (и через) контейнер 110 для образцов и сливной клапан 120. Контейнер 110 для образцов может содержать одну или более подложек, на которых обеспечены образцы. Например, в случае системы для анализа большого количества различных нуклеотидных последовательностей контейнер 110 для образцов может включать одну или более подложек, которые покрыты, к которым прикреплены или присоединены нуклеиновые кислоты, подлежащие секвенированию. Подложка может включать любую инертную подложку или матрицу, к которой могут быть прикреплены нуклеиновые кислоты, такую как, например, стеклянные поверхности, пластмассовые поверхности, латекс, декстран, полистироловые поверхности, полипропиленовые поверхности, полиакриламидные гели, золотые поверхности и кремниевые вафли. В некоторых областях применения подложка находится внутри канала или другой области во множестве местоположений, образованных в матрице или массиве по всему контейнеру 110 для образцов. Система 100 может также включать исполнительный механизм 130 блока температуры и нагреватель/охладитель 135, которые могут при необходимости регулировать температурный режим текучих сред в контейнере 110 для образцов.

[00118] В конкретных вариантах реализации контейнер 110 для образцов может быть реализован в виде структурированной проточной кюветы, содержащей прозрачную накладную пластину, подложку и содержащуюся между ними жидкость, а биологический образец может быть помещен на внутренней поверхности прозрачной накладной пластины или внутренней поверхности подложки. Проточная кювета может содержать большое количество (например, тысячи, миллионы или миллиарды) лунок (также называемых нанолунками) или областей, которые структурированы в массив определенной формы (например, шестиугольный массив, прямоугольный массив и т. д.) в подложке. Каждая область может образовывать кластер (например, моноклональный кластер) биологического образца, такого как ДНК, РНК или другой геномный материал, который может быть секвенирован, например, с использованием секвенирования путем синтеза. Проточная кювета может быть дополнительно разделена на ряд разнесенных дорожек (например, восемь дорожек), причем каждая дорожка содержит шестиугольный массив кластеров.

[00119] Контейнер 110 для образцов может быть установлен на столике 170 для образцов, чтобы обеспечивать перемещение и выравнивание контейнера для образов 110 относительно линзы 142 объектива. Столик для образцов может иметь один или более исполнительных механизмов, позволяющих ему перемещаться в любом из трех измерений. Например, с точки зрения декартовой системы координат могут быть предусмотрены исполнительные механизмы, позволяющие столику перемещаться в направлениях x, y и z относительно линзы объектива. Это может позволить расположить одно или несколько мест для образцов на контейнере 110 для образцов так, чтобы оптически совместить их с линзой 142 объектива. Перемещение столика 170 для образцов относительно линзы 142 объектива может быть достигнуто путем перемещения самого столика для образцов, линзы объектива, некоторых других компонентов системы визуализации или любой комбинации вышеперечисленного. Другие варианты реализации могут также включать перемещение всей системы визуализации над неподвижным образцом. В альтернативном варианте реализации контейнер 110 для образцов может быть неподвижен во время формирования изображения.

[00120] В некоторых вариантах реализации для управления позиционированием оптических компонентов относительно контейнера 110 для образцов в направлении фокуса (обычно называемом осью z или направлением z) может быть включен фокусирующий компонент 175 (оси z). Фокусирующий компонент 175 может включать один или более исполнительных механизмов, физически соединенных со столиком для оптики или столиком для образцов, либо и с тем и с другим, для перемещения контейнера 110 для образцов на столике 170 для образцов относительно оптических компонентов (например, линзы 142 объектива), чтобы обеспечивать надлежащую фокусировку для операции формирования изображения. Например, исполнительный механизм может быть физически соединен с соответствующим столиком, например, посредством прямого или опосредованного механического, магнитного, гидравлического или другого присоединения к столику или контакта со столиком. Один или более исполнительных механизмов могут быть выполнены с возможностью перемещения столика в направлении z с сохранением положения столика для образов в одной и той же плоскости (например, с сохранением уровня или горизонтального положения, перпендикулярного оптической оси). Один или более исполнительных механизмов могут быть также выполнены с возможностью наклонения столика. Это может быть сделано, например, для динамического выравнивания контейнера 110 для образцов с учетом любого наклона его поверхностей.

[00121] Структурированный свет, исходящий из тестового образца в местоположении образца, изображение которого формируют, может быть направлен посредством дихроичного зеркала 160 на один или более детекторов системы 140 камеры. Некоторые варианты реализации могут включать узел 165 переключения фильтров с одним или более эмиссионными фильтрами, причем один или более эмиссионных фильтров могут быть использованы для пропускания излучения с конкретными длинами волн и блокировки (или отражения) излучения с другими длинами волн. Например, один или более эмиссионных фильтров могут быть использованы для переключения между различными каналами системы визуализации. В конкретном варианте реализации эмиссионные фильтры могут быть реализованы в виде дихроичных зеркал, которые направляют излучаемый свет разных длин волн на разные датчики изображения системы 140 камеры.

[00122] Система 140 камеры может включать один или более датчиков изображения для контроля и отслеживания формирования изображения (например, секвенирования) контейнера 110 для образцов. Система 140 камеры может быть реализована, например, в виде камеры с датчиком изображения на приборе с зарядовой связью (ПЗС), однако могут быть использованы другие технологии датчика изображения (например, активно-пиксельный датчик). Хотя на ФИГ. 2 система 140 камеры и связанные оптические компоненты показаны расположенными над контейнером 110 для образцов, один или более датчиков или других компонентов камеры могут быть встроены в систему 100 множеством других способов, которые будут очевидны специалистам в данной области в контексте идей, представленных в настоящем документе. Например, один или более датчиков изображения могут быть расположены под контейнером 110 для образцов или могут быть даже встроены в контейнер 110 для образцов.

[00123] Выходные данные (например, изображения) из системы 140 камеры могут быть переданы в компонент 191 формирования изображений SIM в режиме реального времени, который может быть реализован в виде программного приложения, которое, как дополнительно описано ниже, может реконструировать изображения, захваченные во время каждого цикла формирования изображений, чтобы создавать изображение, имеющее более высокое пространственное разрешение. Реконструированные изображения могут учитывать изменения параметров структурированного освещения, которые предсказывают с течением времени. Кроме того, компонент 191 формирования изображений SIM может быть использован для отслеживания предсказываемых параметров SIM и/или для предсказания параметров SIM с учетом предыдущих оцененных и/или предсказанных параметров SIM.

[00124] Для управления работой системы 100 визуализации со структурированным освещением, в том числе синхронизацией различных оптических компонентов системы 100, может быть предусмотрен контроллер 195. Контроллер может быть реализован для управления аспектами работы системы, такими как, например, конфигурирование оптического узла 155 структурирования света (например, выбор и/или линейное перемещение дифракционных решеток), перемещение проекционной линзы 156, активация фокусирующего компонента 175, перемещение столика и операции формирования изображения. Контроллер может быть также выполнен с возможностью управления элементами оборудования системы 100 для коррекции изменений параметров структурированного освещения со временем. Например, контроллер может быть выполнен с возможностью передачи сигналов управления двигателям или другим устройствам, управляющим конфигурацией оптического узла 155 структурирования света, движением столика 170 или некоторыми другими элементами системы 100 для коррекции или компенсации изменений фазы, частоты и/или ориентации структурированного освещения со временем. В вариантах реализации эти сигналы могут быть переданы в соответствии с параметрами структурированного освещения, предсказанными с использованием компонента 191 формирования изображения SIM. В некоторых вариантах реализации контроллер 195 может включать запоминающее устройство для хранения предсказанных или оцененных параметров структурированного освещения, соответствующих различным моментам времени и/или положениям образца.

[00125] В различных вариантах реализации контроллер 195 может быть выполнен с возможностью использования оборудования, алгоритмов (например, машиноисполняемых команд) или комбинации вышеперечисленного. Например, в некоторых вариантах реализации контроллер может включать один или более центральных процессоров (ЦП), графических процессоров (ГП) или процессоров со связанным запоминающим устройством. В качестве еще одного примера контроллер может представлять собой оборудование или другую электрическую схему для управления работой, такую как компьютерный процессор и энергонезависимый машиночитаемый носитель с хранящимися на нем машиночитаемыми командами. Например, эта электрическая схема может включать одно или более из следующего: программируемая пользователем вентильная матрица (FPGA), интегральная схема специального назначения (ASIC), программируемое логическое устройство (PLD), сложное программируемое логическое устройство (CPLD), программируемая логическая матрица (PLA), программируемая матричная логика (PAL) и другие подобные устройства или электрические схемы обработки. В качестве еще одного примера контроллер может представлять собой комбинацию электрической схемы с одним или более процессорами.

[00126] На ФИГ. 3 показан пример альтернативного оптического узла 200, который может быть встроен в систему (например, вместо оптического узла 155). Оптический узел 200 данного примера включает светоизлучающий узел 210, фиксированный отражающий элемент 220, узел 230 фазовой маски, переключатель 250 решетки, выполненный с возможностью регулирования отражающий элемент 270 и узел 280 проекционной линзы. Светоизлучающий узел 210 может включать различные компоненты, включая, без ограничений, источник когерентного света (например, по меньшей мере один лазер и т. д.) и пару анаморфных призм, источник некогерентного света и коллиматор или любые другие подходящие компоненты, которые будут очевидны специалистам в данной области в контексте идей, представленных в настоящем документе. В некоторых версиях светоизлучающий узел 210 выполнен с возможностью излучения света через два или более отдельных канала (например, канал сигнала синего и канал сигнала зеленого). В версиях, в которых свет излучают в двух или более отдельных каналах, система 100 может включать два или более соответствующих датчика изображения, так что каждый датчик изображения предназначен для соответствующего датчика изображения. Кроме того, в некоторых версиях светоизлучающий узел 210 выполнен с возможностью излучения света в виде импульсов с заданной частотой (например, с использованием высокоскоростного затвора и т. д.).

[00127] Отражающий элемент 220 настоящего примера включает зеркало, положение которого фиксировано относительно других компонентов оптического узла 200. Как более подробно описано ниже, отражающий элемент 220 расположен и выполнен с возможностью отражения света, излучаемого из светоизлучающего узла 210, в направлении узла 230 фазовой маски и переключателя 250 решетки во время работы оптического узла 200.

[00128] Как лучше всего видно на ФИГ. 4, узел 230 фазовой маски настоящего примера включает пару треугольных стеклянных элементов 232, 242, неподвижно установленных на основании 240. Каждый стеклянный элемент 232, 242 включает отражатель 234, 244 вдоль одной стороны стеклянного элемента 232, 242. Каждый стеклянный элемент 232, 242 также включает фазовую маску 236, 246 вдоль другой стороны стеклянного элемента 232, 242. В настоящем примере каждая фазовая маска 236, 246 включает градуировки (например, параллельные прорези или канавки и т. д.), образующие решетку или рисунок интерференционных полос, вытравленных в стекле стеклянных элементов 232, 242. Шаг градуировки может быть выбран так, чтобы она дифрагировала свет под подходящими углами и была настроена для минимального размера разрешения образцов, изображение которых формируют, для работы системы 100. Как будет более подробно описано ниже, эти фазовые маски 236, 246 выполнены с возможностью создания муаровых интерференционных полос или наложения спектра во время работы оптического узла 200. Хотя в настоящем примере фазовые маски 236, 246 формируют путем вытравливания градуировок в стекле стеклянных элементов 232, 242, другие подходящие способы, которыми можно формировать маски 236, 246, будут очевидны специалистам в данной области в контексте идей, представленных в настоящем документе. Во время работы оптического узла 200 весь узел 230 фазовой маски остается неподвижным относительно других компонентов оптического узла 200.

[00129] Для повышения эффективности системы можно блокировать лучи нулевого порядка и все другие дифракционные лучи более высокого порядка, испускаемые каждой фазовой маской 236, 246 (например, отфильтровывать рисунок освещения, проецируемый на образец 110). Например, после прохождения узла 230 фазовой маски в оптику может быть вставлен элемент, блокирующий луч (не показан), такой как фильтр порядка. В некоторых вариантах реализации фазовые маски 236, 246 дифракционных решеток могут быть выполнены с возможностью дифрагирования лучей только в лучи первых порядков, а луч нулевого порядка (недифрагированный луч) может быть заблокирован некоторым элементом, блокирующим луч.

[00130] Как показано на ФИГ. 3, переключатель 250 решетки настоящего примера включает пластину 252, установленную на вал 254. Вал 254 также соединен с двигателем 256, выполненным с возможностью поворота вала 254 и пластины 252 вокруг оси A. На одном конце 260 пластины 252 имеется два зеркала 262, 264, причем каждое зеркало 262, 264 установлено на противоположной стороне пластины 252. Другой конец 266 пластины 252 ограничивает отверстие 268, которое позволяет свету проходить через него, как описано ниже. В некоторых версиях двигатель 256 является шаговым двигателем. Альтернативно двигатель 256 может иметь любую другую подходящую форму; и двигатель 256 может быть заменен на любой другой подходящий источник вращательного движения. Как показано на ФИГ. 5A-5D и как будет более подробно описано ниже, двигатель 256 может быть активирован для перевода переключателя 250 решетки между первым состоянием (ФИГ. 5A-5B) и вторым состоянием (ФИГ. 5C-5D) путем поворота вала 254 и пластины 252 вокруг оси A. Когда переключатель 250 решетки находится в первом состоянии, переключатель 250 решетки и узел 230 фазовой маски могут обеспечить первый угол решетки. Когда переключатель 250 решетки находится во втором состоянии, переключатель 250 решетки и узел 230 фазовой маски могут обеспечивать второй угол решетки.

[00131] Как также показано на ФИГ. 3, выполненный с возможностью регулирования отражающий элемент 270 настоящего примера включает зеркало, которое соединено с исполнительным механизмом 272, так что исполнительный механизм 272 выполнен с возможностью приведения в действие отражающего элемента 270 вдоль линейного пути LP1. В данном примере линейный путь LP1 параллелен оси A. В некоторых версиях исполнительный механизм 272 содержит пьезоэлектрический элемент. В качестве еще одного примера исполнительный механизм 272 может включать соленоид. В некоторых других версиях исполнительный механизм 272 включает шаговый двигатель или другой источник приведения во вращение, соединенный с механическим узлом (например, реечной передачей или червячной передачей и гайкой и т. д.), который выполнен с возможностью преобразования вращательного движения в линейное движение. Как более подробно описано ниже, благодаря исполнительному механизму 272, изменяющему положение отражающего элемента 270 вдоль линейного пути LP1, исполнительный механизм 272 и отражающий элемент 270 вместе выполнены с возможностью обеспечения фазовой модуляции для света, который передается через оптический узел 200. Другими словами, исполнительный механизм 272 и отражающий элемент 270 могут вместе обеспечивать узел регулировки фазы.

[00132] В качестве примера исполнительный механизм 272 может быть выполнен с возможностью приведения в действие отражающего элемента 270 в диапазоне движения приблизительно 5 мкм во время работы исполнительного механизма 272, что может обеспечивать перемещение интерференционных полос на приблизительно 240 градусов, как более подробно описано ниже. В альтернативном варианте осуществления исполнительный механизм 272 может быть выполнен с возможностью приведения в действие отражающего элемента 270 в диапазоне движения, меняющемся от приблизительно 2 мкм до приблизительно 10 мкм во время работы исполнительного механизма 272. Как более подробно описано ниже, исполнительный механизм 272 может быть приведен в действие для остановки движения отражающего элемента в двух, трех или более различных положениях в диапазоне движения вдоль линейного пути.

[00133] Узел 280 проекционной линзы может включать один или более элементов линзы (например, трубчатую линзу) и различные другие компоненты, которые будут очевидны специалистам в данной области в контексте идей, представленных в настоящем документе. Свет, проходящий через узел 280 проекционной линзы, может в конечном счете достигать контейнера 110 для образцов (например, проточной кюветы и т. д.). В некоторых случаях это может вызывать флуоресценцию биологического материала в контейнере 110 для образцов, причем эта флуоресценция улавливается датчиком изображения (например, датчиком изображения системы 140 камеры), позволяя анализировать биологический материал. Узел 280 проекционной линзы настоящего примера соединен с исполнительным механизмом 282, который выполнен с возможностью приведения в действие по меньшей мере части узла 280 проекционной линзы вдоль линейного пути LP2. В некоторых версиях исполнительный механизм 282 содержит пьезоэлектрический элемент. В качестве еще одного примера исполнительный механизм 282 может включать соленоид. В некоторых других версиях исполнительный механизм 282 включает шаговый двигатель или другой источник приведения во вращение, соединенный с механическим узлом (например, реечной передачей или червячной передачей и гайкой и т. д.), который выполнен с возможностью преобразования вращательного движения в линейное движение. Как более подробно описано ниже, благодаря исполнительному механизму 282, изменяющему положение по меньшей мере части узла 280 проекционной линзы вдоль линейного пути LP2, исполнительный механизм 282 и узел 280 проекционной линзы вместе выполнены с возможностью обеспечения регулировки фокальной плоскости решетки SIM.

[00134] Как отмечено выше, система 100 настоящего примера включает контроллер 195. Контроллер 195 может быть использован для управления работой оптического узла 200 и других компонентов системы 100, в том числе синхронизацией различных компонентов оптической системы 200 и системы 100. Контроллер 195 может быть реализован для управления аспектами работы системы, такими как, например, активация двигателя 256, активация исполнительного механизма 272, перемещение одного или более элементов узла 280 проекционной линзы посредством исполнительного механизма 282, активация фокусирующего компонента 175, активация системы 140 камеры и другие операции формирования изображения. Контроллер может быть также выполнен с возможностью управления элементами оборудования системы 100 для коррекции изменений параметров структурированного освещения со временем. Например, контроллер может быть выполнен с возможностью передачи сигналов управления устройствам (например, двигателю 256, исполнительному механизму 272 и т. д.) для коррекции или компенсации изменений фазы, частоты и/или ориентации структурированного освещения со временем. В вариантах реализации эти сигналы могут быть переданы в соответствии с параметрами структурированного освещения, предсказанными с использованием компонента формирования изображения SIM. В некоторых вариантах реализации контроллер может включать память для хранения предсказанных или оцененных параметров структурированного освещения, соответствующих различным моментам времени и/или положениям образца.

[00135] На ФИГ. 5A-5D показан оптический узел 200 на различных стадиях работы. На стадии, показанной на ФИГ. 5A, светоизлучающий узел 210 излучает свет в направлении отражающего элемента 220, который отражает свет к узлу 230 фазовой маски и переключателю 250 решетки. На этой стадии переключатель 250 решетки находится в первом состоянии, так что свет, отражаемый от отражающего элемента 220, далее отражается зеркалом 262. Свет, отраженный зеркалом 262, проходит через стеклянный элемент 242 и достигает отражателя 244, который отражает свет к фазовой маске 246. По мере прохождения светом фазовой маски 246 фазовая маска 246 придает узорчатую форму свету. Этот узорчатый или структурированный свет затем проходит через отверстие 268 пластины 252 и достигает отражающего элемента 270, который после этого отражает структурированный свет в направлении узла 280 проекционной линзы. После прохождения через узел 280 проекционной линзы структурированный свет достигает объекта, намеченного для формирования изображения (например, контейнера 110 для образцов); а система 140 камеры захватывает первое изображение целевого объекта.

[00136] После получения первого изображения в конфигурации оптической системы 200, показанной на ФИГ. 5A, исполнительный механизм 272 активируется для приведения отражающего элемента 270 из первого положения на линейном пути LP1 во второе положение на линейном пути LP1, так что оптическая система 200 после этого оказывается в конфигурации, показанной на ФИГ. 5B. На стадии, показанной на ФИГ. 5B, светоизлучающий узел 210 излучает свет в направлении отражающего элемента 220, который отражает свет к узлу 230 фазовой маски и переключателю 250 решетки. На этой стадии переключатель 250 решетки находится в первом состоянии, так что свет, отражаемый от отражающего элемента 220, далее отражается зеркалом 262. Свет, отраженный зеркалом 262, проходит через стеклянный элемент 242 и достигает отражателя 244, который отражает свет к фазовой маске 246. По мере прохождения светом фазовой маски 246 фазовая маска 246 придает узорчатую форму свету. Этот узорчатый или структурированный свет затем проходит через отверстие 268 пластины 252 и достигает отражающего элемента 270, который после этого отражает структурированный свет в направлении узла 280 проекционной линзы. После прохождения через узел 280 проекционной линзы структурированный свет достигает объекта, намеченного для формирования изображения (например, контейнера 110 для образцов); а система 140 камеры захватывает еще одно изображение целевого объекта.

[00137] Единственной разницей между стадией, показанной на ФИГ. 5A, и стадией, показанной на ФИГ. 5B, является то, что отражающий элемент 270 находится во втором состоянии (т. е. во втором положении вдоль линейного пути LP1). Таким образом, поскольку на этом этапе работы отражающий элемент 270 находится в другом положении, изображение, захваченное оптическим узлом 200 в конфигурации, показанной на ФИГ. 5B, будет иметь другую фазу, чем изображение, захваченное оптическим узлом 200 в конфигурации, показанной на ФИГ. 5A.

[00138] В некоторых версиях способа, описанного в настоящем документе, прежде чем переходить к стадии, показанной на ФИГ. 5C и описанной ниже, исполнительный механизм 272 активируют для приведения отражающего элемента 270 в третье положение вдоль линейного пути LP1, когда переключатель 250 решетки находится в первом состоянии. В таких версиях способа система 140 камеры может захватывать три изображения, пока переключатель 250 решетки находится в первом состоянии, причем каждое из этих трех изображений представляет разную фазу в зависимости от соответствующих положений отражающего элемента 270 вдоль линейного пути LP1. Конечно, исполнительный механизм 272 может быть также активирован для приведения отражающего элемента 270 в четвертое положение, пятое положение и т. д., так что во время захвата изображений, когда переключатель 250 решетки находится в первом состоянии, может быть использовано любое желаемое количество фаз.

[00139] После получения желаемого количества изображений с переключателем 250 решетки в первом состоянии, показанном на ФИГ. 5A-5B, двигатель 256 активируют для вращения вала 254 вокруг оси A, тем самым поворачивая пластину 252 вокруг оси A, чтобы перевести переключатель 250 решетки во второе состояние, показанное на ФИГ. 5C-5D. На стадии, показанной на ФИГ. 5C, исполнительный механизм 272 также был активирован для возврата отражающего элемента 270 из второго состояния (т. е. второго положения на линейном пути LP1) обратно в первое состояние (т. е. первое положение на линейном пути LP1). В некоторых других версиях отражающий элемент 270 остается во втором состоянии непосредственно после перевода переключателя 250 решетки из первого состояния во второе состояние; и отражающий элемент 270 переходит в первое состояние после захвата изображения, в то время как отражающий элемент 270 находится во втором состоянии, а переключатель 250 решетки находится во втором состоянии.

[00140] На стадии, показанной на ФИГ. 5C, светоизлучающий узел 210 излучает свет в направлении отражающего элемента 220, который отражает свет к узлу 230 фазовой маски и переключателю 250 решетки. При переключателе 250 решетки, теперь находящемся во втором состоянии, свет, отраженный от отражающего элемента 220, проходит через отверстие 268 и проходит дальше через стеклянный элемент 232. Свет, прошедший через стеклянный элемент 232, достигает отражателя 234, который отражает свет к фазовой маске 236. По мере прохождения светом фазовой маски 236 фазовая маска 236 придает узорчатую форму свету. Этот узорчатый или структурированный свет затем отражается от зеркала 264. Зеркало 264 отражает структурированный свет к отражающему элементу 270, который затем отражает структурированный свет к узлу 280 проекционной линзы. После прохождения через узел 280 проекционной линзы структурированный свет достигает объекта, намеченного для формирования изображения (например, контейнера 110 для образцов); а система 140 камеры захватывает еще одно изображение целевого объекта.

[00141] После получения изображения в конфигурации оптической системы 200, показанной на ФИГ. 5C, исполнительный механизм 272 активируется для приведения отражающего элемента 270 из первого состояния (т. е. первого положения на линейном пути LP1) во второе состояние (т. е. второе положение на линейном пути LP1), так что оптическая система 200 после этого оказывается в конфигурации, показанной на ФИГ. 5D. На стадии, показанной на ФИГ. 5D, светоизлучающий узел 210 излучает свет в направлении отражающего элемента 220, который отражает свет к узлу 230 фазовой маски и переключателю 250 решетки. При переключателе 250 решетки, теперь находящемся во втором состоянии, свет, отраженный от отражающего элемента 220, проходит через отверстие 268 и проходит дальше через стеклянный элемент 232. Свет, прошедший через стеклянный элемент 232, достигает отражателя 234, который отражает свет к фазовой маске 236. По мере прохождения светом фазовой маски 236 фазовая маска 236 придает узорчатую форму свету. Этот узорчатый или структурированный свет затем отражается от зеркала 264. Зеркало 264 отражает структурированный свет к отражающему элементу 270, который затем отражает структурированный свет к узлу 280 проекционной линзы. После прохождения через узел 280 проекционной линзы структурированный свет достигает объекта, намеченного для формирования изображения (например, контейнера 110 для образцов); а система 140 камеры захватывает еще одно изображение целевого объекта.

[00142] Единственной разницей между стадией, показанной на ФИГ. 5C, и стадией, показанной на ФИГ. 5D, является то, что отражающий элемент 270 находится во втором состоянии (т. е. во втором положении вдоль линейного пути LP1). Таким образом, поскольку отражающий элемент 270 находится в другом положении в течение этой стадии работы, изображение, захваченное оптическим узлом 200 в конфигурации, показанной на ФИГ. 5D, будет иметь другую фазу, чем изображение, захваченное оптическим узлом 200 в конфигурации, показанной на ФИГ. 5C.

[00143] В некоторых версиях способа, описанного в настоящем документе, исполнительный механизм 272 активируют для приведения отражающего элемента 270 в третье положение вдоль линейного пути LP1, когда переключатель 250 решетки находится во втором состоянии, прежде чем завершать процесс захвата изображений. В таких версиях способа система 140 камеры может захватывать три изображения, пока переключатель 250 решетки находится во втором состоянии, причем каждое из этих трех изображений представляет разную фазу в зависимости от соответствующих положений отражающего элемента 270 вдоль линейного пути LP1. Конечно, исполнительный механизм 272 может быть также активирован для приведения отражающего элемента 270 в четвертое положение, пятое положение и т. д., так что во время захвата изображений, когда переключатель 250 решетки находится во втором состоянии, может быть использовано любое желаемое количество фаз.

[00144] Как отмечено выше, способ захвата изображений может быть выполнен посредством двух или более отдельных каналов (например, канала сигнала синего и канала сигнала зеленого). Другими словами, способ, описанный выше со ссылкой на ФИГ. 5A-5D, может быть выполнен посредством двух или более отдельных каналов. Светоизлучающий узел 210 может быть выполнен с возможностью обеспечения обоих каналов; или каждый канал может иметь свой светоизлучающий узел 210. В некоторых версиях два отдельных канала активируют одновременно посредством оптического узла 200. В некоторых других версиях в течение стадии, показанной на ФИГ. 5A, активируют первый канал, затем в течение стадии, показанной на ФИГ. 5A, активируют второй канал, затем в течение стадии, показанной на ФИГ. 5B, активируют первый канал, затем в течение стадии, показанной на ФИГ. 5B, активируют второй канал и т. д. до тех пор, пока в течение стадии, показанной на ФИГ. 5D, не активируют второй канал. В качестве еще одного примера каждый канал может иметь свой собственный специальный оптический узел 200. В некоторых таких версиях могут быть использованы дополнительные оптические компоненты, чтобы дать возможность узлу 280 проекционной линзы каждого оптического узла 200 проецировать свет из каждого канала на одну и ту же мишень (например, контейнер 110 для образцов). В контексте идей, представленных в настоящем документе, специалистам в данной области будут очевидны другие подходящие способы, в которых один или более оптических узлов 200 могут дать возможность использовать два или более канала. Также следует понимать, что возможность использования двух или более каналов могут обеспечивать другие компоненты в системе 100 (например, узел 165 переключения фильтра). В версиях, в которых один канал имеет синий цвет, а другой канал имеет зеленый цвет, синий канал может работать со светом с длиной волны в диапазоне от приблизительно 450 нм до приблизительно 500 нм; а зеленый канал может работать со светом с длиной волны в диапазоне от приблизительно 500 нм до приблизительно 570 нм.

[00145] Как также отмечено выше, объект изобретения, изображение которого формируют с использованием оптического узла 200 в системе 100, может включать один или более биологических образцов (например, нуклеотидов и т. д.) в нанолунках на проточной кювете, так что некоторые формы контейнера 110 для образцов могут включать проточную кювету. Такие нанолунки могут быть расположены в виде правильного повторяющегося рисунка. В случае прямоугольного рисунка могут быть использованы два угла структурированного освещения по существу вдоль двух диагоналей, соединяющих противоположные углы прямоугольника в рисунке, чтобы пики интенсивности структурированного освещения были ориентированы по существу нормально двум диагоналям. В альтернативном варианте осуществления угол структурированного освещения может быть ориентирован вдоль того же самого направления, что и направление прямоугольной структуры нанолунок (т. е. не вдоль противоположных углов прямоугольника).

[00146] В случае повторяющейся шестиугольной структуры нанолунок с тремя диагоналями, соединяющими противоположные углы шестиугольников в рисунке, могут быть использованы три угла структурированного освещения с пиками интенсивности, которые ориентированы по существу нормально трем диагоналям. В альтернативном варианте осуществления может быть использована двухугловая структура освещения совместно с проточной кюветой, имеющей шестиугольную структуру нанолунок, так что не обязательно во всех случаях использовать три угла структурированного освещения совместно с шестиугольной структурой нанолунок. Кроме того, угол структурированного освещения может быть ориентирован вдоль того же самого направления, что и направление шестиугольной структуры нанолунок (т. е. не вдоль противоположных углов шестиугольника).

[00147] Независимо от вида структуры нанолунок смежные нанолунки могут быть расположены относительно друг друга на расстоянии меньше дифракционного предела Аббе соответствующей оптической системы. В альтернативном варианте осуществления образцы могут быть распределены случайным образом на плоскости формирования изображения без нанолунок. Или образцы могут быть расположены в правильном порядке на плоскости формирования изображения в виде структуры, отличной от структуры нанолунок.

[00148] IV. Примеры алгоритмов обработки изображения

[00149] A. Обзор способа обработки изображения SIM

[00150] Изображение, захваченное оптическим датчиком или датчиком изображения (например, встроенным в систему 140 камеры), может называться плиткой. Алгоритмы обработки изображения, которые описаны ниже, могут разбивать плитку захваченного изображения на подплитки. Каждая подплитка может быть оценена независимо. Ближайшая к центру подплитка может быть обработана иначе, чем другие подплитки. Цикл формирования изображения может захватывать множество плиток изображения с некоторым перекрытием. Подплитки могут быть реконструированы независимо друг от друга, даже параллельно. Реконструкции из улучшенных подплиток могут быть сшиты вместе для создания реконструированной плитки с улучшенным пространственным разрешением. В некоторых случаях плитку изображения разбивают на подплитки, так что линии пика приблизительно равномерно разнесены в пределах подплитки, тем самым достигая более хорошего качества изображения из реконструированных подплиток в поле обзора линзы.

[00151] В некоторых случаях каждой подплитке сопоставляют по меньшей мере три параметра. В число таких параметров могут входить угол пика освещенности, разнос пика освещенности и фазовое смещение. Угол пика освещенности может также называться углом решетки. Разнос пика освещенности может также называться разносом решетки. Другими словами, разнос пика освещенности определяет периодичность решетки (например, разнос между параллельными линиями определяется фазовыми масками 236, 246). Фазовое смещение или фаза представляет собой сдвиг рисунка структурированного освещения или решетки, которую проецируют на плоскость образца (например, на основе положения отражающего элемента 270 вдоль линейного пути LP1, который приводится в действие исполнительным механизмом 272). Другими словами, фаза может быть определена как расстояние от общей опорной точки до начала повторяющегося рисунка освещения в направлении, ортогональном решетке. Фазу можно выразить в радианах или градусах; и ее можно рассматривать как долю периодичности повторяющегося рисунка. Фазовое смещение может также называться фазой решетки. Угол и разнос могут быть сопоставлены с помощью моделей искажений квадратичной поверхности.

[00152] Далее описаны примеры методик, которые могут быть использованы для оценки параметров реконструкции изображения SIM. Некоторые из раскрытых методик компенсируют линии пиков интерференционных полос, которые искажены или искривлены из-за несовершенств линзы. Линии рисунка, которые должны быть параллельными, остаются таковыми возле центра изображения, но обычно сходятся или становятся непараллельными возле краев линзы. Это влияет на угол или ориентацию пика освещенности, разнос пика освещенности и фазовое смещение. На ФИГ. 8A показано разделение плитки изображения на перекрывающиеся области, называемые подплитками, или подокнами, или подполями. Подплитки достаточно малы, чтобы можно было установить параметры, которые дадут удовлетворительную реконструкцию для всей подплитки. В некоторых случаях каждая подплитка содержит 512 на 512 пикселей оптического датчика. Могут быть использованы большие или меньшие количества, в том числе, без ограничений, 256, 400, 1024, 2048 и 4096 или в диапазоне от 256 до 4096 пикселей. Подплитки могут перекрываться по меньшей мере 2 пикселями оптического датчика. Могут быть использованы большие или меньшие количества. Например, в окне шириной до 512 пикселей можно использовать перекрытие до 256 пикселей; а для ширины в 1024 пикселя можно использовать перекрытие до 512 пикселей.

[00153] Оценка параметров может быть выполнена в два этапа. Сначала можно выполнить оценку параметров для ближайшей к центру подплитки изображения. Затем можно выполнить оценку параметров для других подплиток и сравнить с ближайшей к центру подплиткой, чтобы определить искажения и поправки на искажения относительно параметров для ближайшей к центру подплитки.

[00154] На ФИГ. 6A-6C показаны физические аспекты полного поля обзора (FOV). В одном варианте осуществления используют прямоугольный датчик размером 5472 пикселя на 3694 пикселя. Конечно, может быть использован квадратный или иного размера датчик, например 5472 × 5472 пикселя или 4800 × 4800 пикселей. При использовании прямоугольного датчика искажение больше всего к краям линзы. Линза часто бывает круглой, поэтому прямоугольный датчик не приближается к краю линзы на длинной стороне так близко, как на короткой стороне.

[00155] На ФИГ. 6A представлены две иллюстрации, которые показывают искажение разноса интерференционных полос по всему полю обзора (FOV). Фигура 300 слева представляет собой упрощенное изображение 300 параллельных линий, изогнутых из-за искажения увеличивающей линзы. Изображенные линии должны быть параллельными в плоскости изображения. При просмотре через линзу они кажутся сходящимися на правом и левом концах по сравнению с разносом в центре. Фигура 302 справа представляет собой еще один преувеличенный пример. На этой фигуре интерференционные полосы ориентированы по диагонали между верхним левым и нижним правым углами. Разнос интерференционных полос преувеличен, чтобы было легче увидеть. Линии интерференционных полос сходятся в верхнем левом и нижнем правом углах относительно центра. Для линз конкретного изготовителя рисунок интерференционных полос может быть неоднородным.

[00156] На ФИГ. 6B и 6C изображены измерения разноса на изображении между номинально параллельными пиками интерференционных полос в плоскости изображения для освещения зеленым и синим лазерами. Цветная шкала указывает вариацию разноса между 2,8 и 2,22. На обоих рисунках цветовая шкала указывает, что центральный разнос между параллельными линиями составляет приблизительно 2,14. Неоднородность при освещении с длиной волны зеленого света видна в верхнем правом углу на ФИГ. 6B. Более существенная неоднородность при освещении с длиной волны синего света видна на ФИГ. 6C вдоль правого и левого краев. На этих фигурах рисунок интерференционных полос представлял собой ряд параллельных линий под углом 45° из нижнего левого угла в верхний правый угол фигур. Таким образом, разнос измеряют в направлении стрелки на ФИГ. 8C. Эти фигуры обосновывают коррекцию искажений, вызываемых линзой. Поскольку линзы изготавливают и устанавливают индивидуально, после сборки желательна калибровка и коррекция отдельных систем.

[00157] На ФИГ. 6D показаны подплитки или подполя полного поля обзора (FOV) на плитке изображения. На этой фигуре показана подплитка размера 512 пикселей на 512 пикселей. Эти подплитки могут разбивать поле обзора, как показано, или могут перекрываться. Подплитки могут быть большего или меньшего размера. Например, было показано, что можно работать с подплитками 400 × 400 и 1024 × 1024. На фигуре показаны 5 × 7 подплиток. Более крупный датчик, названный выше, может иметь 8 × 11 подплиток. Могут быть использованы другие конфигурации подплиток, такие как 3 × 3, 5 × 5, 5 × 7, 9 × 9, 9 × 16. Более крупные датчики могут быть разделены на большее количество подплиток. Подплитки могут перекрываться по меньшей мере 2 пикселями оптического датчика. Подплитки могут перекрываться большими и меньшими количествами пикселей. Например, для подплитки шириной 512 пикселей можно использовать перекрытие вплоть до 256 пикселей, а для подплитки шириной 1024 пикселя можно использовать перекрытие вплоть до 256 пикселей. В соответствии с ФИГ. 6B и 6C существуют несколько потенциально пригодных близких к центру подплиток 304, причем все они находятся в зоне наилучшего восприятия линзы, включая центральную подплитку в массиве подплиток с нечетным количеством строк и столбцов. Используемая в настоящем документе ближайшая к центру подплитка включает центральный пиксель датчика или примыкает к подплитке, которая включает центральный пиксель. В некоторых оптических системах, которые являются плоскими и имеют малую ошибку, подплитка, находящаяся дальше от подплиток, смежных с центральной подплиткой, может быть использована в качестве опорной без оказания влияния на общую компенсацию искажения.

[00158] Описанная технология включает сопоставление искажения, измеренного на по существу всем поле обзора, захватываемого датчиком изображения. Три параметра, от которых зависит реконструкция SIM с улучшенным разрешением на основе правильно структурированного освещения, включают разнос интерференционных полос, угол интерференционных полос и фазовое смещение рисунка интерференционных полос. Эти переменные также называют разносом, углом и фазовым смещением рисунка структурированного освещения или решетки. Отклонения разноса и угла от значения центральной плитки могут быть аппроксимированы по всему полю обзора с использованием полиномиальных поверхностей. Были исследованы как квадратичные, так и кубические поверхности. Также могут быть использованы многочлены более высокого порядка.

[00159] Как разнос интерференционных полос, так и угол интерференционных полос на плитке изображения могут быть аппроксимированы квадратичными поверхностями. Анализ чувствительности показывает, что квадратичные поверхности аппроксимируются очень близко, как и кубические поверхности. Квадратичная поверхность соответствует следующему уравнению (II):

f(x, y) = c0 + (c1 * x) + (c2 * y) + (c3 * x * y) + (c4 * x²) + (c5 * y²) (II)

[00160] В одном варианте реализации оценки фазы использована методика, предложенная Wicker et al., 2013 г. в их статье, озаглавленной Phase Optimisation for Structured Illumination Microscopy, раздел 3. Уравнения из статьи Lal et al., 2015 г. под названием Structured Illumination Microscopy Image Reconstruction Algorithm и статьи Wicker et. al., 2013 г. позволяют лучше понять оценку фазы по Уикеру.

[00161] Нижеприведенное уравнение (III), взятое из статьи Lal et al., 2015 г., разделяет три полосы частотных компонентов: из полученных изображений . В матрице смешивания используют оценки фаз ϕ₁,ϕ₂ и ϕ₃ изображений, захваченных с использованием рисунка с синусоидальной интенсивностью освещения I_θ,ϕ(r), соответствующие углу или ориентации рисунка, равным 0. В статье Wicker et. al., 2013 г. имеется ссылка на фазу для n^го изображения в ориентации ϕ_n. Если фазы не известны с достаточной точностью, процесс расслоения или разделения полосы неидеально выделяет пространственно-частотные компоненты наблюдаемых изображений в частотной области. На практике три пространственно-частотных компонента будут содержать большее или меньшее количество остаточной информации от других компонентов, которая представлена шумовой составляющей, которую можно выразить с помощью следующего уравнения (III):

, (III)

[00162] Это выражение с тремя составляющими вытекает из преобразования Фурье для синусоидального или косинусоидального освещения. Другие функции освещения могут изменять эти уравнения.

[00163] Поэтому может быть важно точно знать фазы рисунка синусоидальной интенсивности освещения. Поскольку не всегда возможно точно управлять этими фазами в экспериментальной установке, может быть желательно определять фазы рисунка освещения из полученных данных изображения. Wicker et. al., 2013 г. представили методику оценки фазы для данных SIM, полученных с использованием когерентного синусоидального освещения при выбранной частоте. Когерентное освещение дает хорошую контрастность рисунка от решеток с очень маленьким разносом пика освещенности `s', который улучшает разрешение при реконструкции. Мы восстановили фазу рисунка освещения n^го изображения, используя пиковую частоту рисунка освещения. Пиковую частоту рисунка освещения также называют пиком Фурье.

[00164] Нижеприведенное уравнение (IV) из статьи Wicker et. al., 2013 г. представляет обобщенную форму уравнения (II) с полученными изображениями по всем частотам в частотной области. Каждое изображение содержит три компонента, обозначенные , наложенные разными фазами. Следует отметить, что указанные три компонента являются теми же самыми компонентами, что и в уравнении (III).

(IV)

[00165] Следует отметить, что «c» в уравнении (IV) называют контрастностью рисунка освещения. При отсутствии шума «c» совпадает с коэффициентом «m» модуляции в матрице M смешивания в уравнении (2). Чтобы определить , частоту в уравнении (IV) заменяют на , которое представляет собой пиковую частоту рисунка освещения, получаемую из следующего уравнения (V):

(V)

[00166] Уравнение (V) показывает, что фаза рисунка приблизительно равна фазе полученного изображения на частоте . Эта приблизительная оценка фазы рисунка может дать хорошие результаты при соблюдении трех рекомендаций. Во-первых, контрастность «c» рисунка освещения должна быть достаточно высокой. Во-вторых, спектральная мощность образца должна быстро убывать с ростом частоты. Когда эти две рекомендации соблюдены, в уравнении (V) преобладает последний член, и поэтому его можно упростить до следующего уравнения (VI):

(VI)

[00167] Для любого вещественнозначного образца центральная частота будет вещественнозначной. Кроме того, если функция рассеяния точки (PSF) является вещественной и симметричной, то оптическая передаточная функция (OTF) будет вещественной. OTF является сверткой функции рассеяния точки (PSF). Функция рассеяния точки представляет собой версию оптической передаточной функции системы визуализации в пространственной области. Название «функция рассеяния точки» указывает на то, что все физические оптические системы размывают (рассеивают) точку света в некоторой степени, причем величина размытия определяется качеством оптических компонентов. Разрешение системы формирования изображения ограничивается размером PSF. Для асимметричных PSF следует учитывать фазы OTF.

[00168] В-третьих, OTF на частоте рисунка должна быть достаточно большой, чтобы преобладать над шумом. Если OTF является слишком малой, шум в получаемом изображении может значительно изменять фазу, измеряемую на . Этот способ оценки фазы не может быть использован для частот рисунка, на которых не поддерживается обнаружение OTF. Для таких частот =0.

[00169] OTF оптической системы может быть определена экспериментально. Например, Lal et al., 2015 г. вычисляют OTF путем получения нескольких изображений образцов с помощью пространственно распределенных флуоресцентных микросфер размером 100 нм. Затем распределение интенсивности, соответствующее более чем 100 микросферам, накладывали и усредняли для получения аппроксимации для PSF системы. Преобразование Фурье этой PSF дает оценку OTF системы. Исходя из этого, данная методика оценки фазы может быть применена к подплиткам.

[00170] Может оказаться полезным оценить фазовый сдвиг плиток относительно всего поля обзора (FOV), так что измерение фазы в одной подплитке может быть экстраполировано на другие подплитки в плитке. Угол пика освещенности и разнос пика освещенности для полного FOV можно оценивать на основании угла пика освещенности и разноса пика освещенности подплитки с использованием квадратичных моделей, представленных выше. Фазовое смещение может быть менее регулярным, поскольку оно зависит от геометрии пикселей подплитки, которые могут давать функцию с неравномерным шагом вместо гладкой функции. Оценки фазы могут быть представлены с использованием обычной системы координат на подплитках изображения всего поля обзора. Пространства координат подплиток могут быть сопоставлены пространству координат всего поля обзора.

[00171] B. Пример способа калибровки для системы SIM

[00172] На качество реконструируемых методом SIM изображений сверхвысокого разрешения могут отрицательно влиять различные структурные и рабочие параметры оптической системы SIM. Например, в оптической системе, содержащей линзы (например, в узле 280 линзы, описанном выше, некоторые другие линзы, которые встроены в систему 140 камеры), по меньшей мере одна линза может содержать одну или более структурных аберраций, которые могут давать искажения на изображениях, захватываемых системой 140 камеры. Вычисления, используемые в реконструкции SIM, могут быть чувствительными к искажениям на исходных изображениях, которые захватывают с использованием линз с аберрациями или с использованием оптического узла 200, имеющего другие аберрации. Увеличение поля обзора с использованием большей части линзы вместо зоны наилучшего восприятия в центре может усиливать восприимчивость реконструкции изображения SIM к искажениям, вызываемым аберрациями в линзе. Таким образом, в описанных ниже примерах представлены системы и способы распознавания этих аберраций линзы; и внесения необходимых корректировок в ходе обработки изображения для учета таких аберраций.

[00173] Последующее описание относится к обработке стеков SIM в способе обработки. В настоящем примере каждый стек SIM включает двенадцать изображений - по шесть изображений из двух каналов. Для каждого канала набор из шести изображений включает три изображения, полученные с отражающим элементом 270 в трех различных положениях вдоль линейного пути LP1, когда переключатель 250 решетки находится в первом состоянии (например, как показано на ФИГ. 5A-5B), а другие три изображения получены с отражающим элементом 270 в тех же самых трех различных положениях вдоль линейного пути LP1, когда переключатель 250 решетки находится во втором состоянии (например, как показано на ФИГ. 5C-5D). Таким образом, набор из шести изображений для каждого канала в стеке SIM представляет три разные фазы для каждого из двух различных углов решетки или углов пика освещенности. В альтернативном варианте реализации для формирования каждого стека SIM может быть использовано любое другое подходящее количество изображений, и такие изображения могут отличаться друг от друга на основании параметров, отличных от вышеуказанных.

[00174] Для учета дефектов в оптических элементах способ согласно настоящему примеру включает создание карты искажений, возникших вследствие наличия этих дефектов. Поскольку дефекты будут различаться от системы 100 к системе 100, указанный способ создания карты отдельно выполняют для каждой системы 100, так что каждая система 100 будет иметь собственную связанную с ней карту искажений. Хотя настоящий пример представлен в контексте изображений SIM, полученных с использованием оптического узла 200 и системы 100, описанный ниже способ может быть реализован с использованием оптических узлов и систем различных других видов, как будет очевидно для специалистов в данной области техники в контексте идей, представленных в настоящем документе. Описанный ниже способ не ограничивается контекстом оптического узла 200 и системы 100.

[00175] Для обеспечения генерирования карты искажений способ позволяет анализировать стек SIM изображений с использованием подхода «скользящее окно». Согласно данному подходу процессор анализирует только квадратный кадр или квадратную подплитку стека SIM в данный момент времени, хотя окно скользит вдоль поля обзора стека SIM в ходе выполнения способа и итерационно анализирует несколько подплиток в ходе сдвига окна, так что проанализированные подплитки в конечном итоге перекрываются друг с другом и вместе образуют значительную часть (если не его все) поля обзора стека SIM. Для каждой подплитки, полученной с помощью итератора скользящего окна, оценивают полную ширину на уровне половинной модуляции (FWHM) и параметры для каждого канала и каждого угла. Все эти оцененные параметры и FWHM для каждой подплитки сохраняют в двумерной таблице. В некоторых случаях целью способа калибровки, описанного в настоящем документе, является измерение равномерности модуляции, разноса и равномерности угла решетки (значения которых передают в устройство для оценки квадратичной поверхности с целью получения моделей искажений), а также равномерности отклонения фазы.

[00176] Вышеописанный способ показан на ФИГ. 7. Как показано в блоке 400 на ФИГ. 7, способ начинается с определения стека SIM с наилучшей фокусировкой. Как отмечалось выше, стеки SIM могут быть захвачены в z-положениях, которые устанавливают с определенными приращениями (например, приблизительно 0,5 мкм), так что один стек SIM может, как правило, обеспечивать лучший фокус, чем другие стеки SIM, за счет конкретного z-положения этого стека SIM. Для определения стека SIM с наилучшей фокусировкой из числа других стеков SIM могут быть использованы традиционные способы, известные специалистам в данной области. После определения стека SIM с наилучшей фокусировкой способ также может включать определение «окна оценки», которое может представлять собой окно в центре каждого изображения в стеке SIM (т. е. центральную область обзора каждого изображения в стеке SIM). Можно предположить, что это окно оценки имеет наилучшее качество изображения для целей оценки параметра; и впоследствии может быть использовано в описанном ниже способе. Размер и конфигурация окна оценки могут быть заданы.

[00177] Затем, как показано в блоке 402 на ФИГ. 7, способ может включать применение итератора скользящего окна к определенному стеку SIM с наилучшей фокусировкой. Этот итератор скользящего окна может определять скользящее окно, которое захватывает лишь часть всего поля обзора каждого изображения в стеке SIM в данный момент времени. Таким образом, итератор скользящего окна может сканировать каждое изображение в стеке SIM путем перемещения скользящего окна по всему полю обзора каждого изображения в стеке SIM, обрабатывая лишь часть изображения в данный момент времени. Как отмечено ниже со ссылкой на ФИГ. 8A-8C, скользящее окно может обеспечивать последовательные виды, перекрывающиеся друг с другом. Сдвиг скользящего окна (например, расстояние и скорость перемещения), размер скользящего окна и конфигурация скользящего окна могут быть заданы.

[00178] Итератор скользящего окна может захватывать данные с каждого изображения в стеке SIM при любой подходящей частоте по мере скольжения скользящего окна по изображению. В некоторых версиях скользящее окно может захватывать данные из перекрывающихся друг с другом областей изображения. Пример этого показан на ФИГ. 8A-8C, на которых показано скользящее окно 500, перемещающееся в поперечном направлении по изображению 502. Как показано на фигуре, положение 510 скользящего окна 500 в третий момент захвата данных (ФИГ. 8C) имеет некоторое пространственное перекрытие 512 с положением 520 скользящего окна во второй момент захвата данных (ФИГ. 8B); а положение 520 скользящего окна 500 во второй момент захвата данных имеет некоторое пространственное перекрытие 522 с положением 530 скользящего окна в первый момент захвата данных (ФИГ. 8A). В некоторых вариантах реализации для обеспечения оптимального баланса скорости и разрешения пространственное перекрытие 512, 522 может составлять от приблизительно 60% до приблизительно 90% размера скользящего окна 500. В качестве еще одного примера, если скользящее окно 500 имеет размер 512 пикселей, сдвиг скользящего окна 500 может составлять до приблизительно 200 пикселей. В альтернативном варианте осуществления пространственное перекрытие 512, 522 может составлять менее приблизительно 60% размера скользящего окна 500 или более приблизительно 90% размера скользящего окна 500.

[00179] Итератор скользящего окна в конечном итоге может обеспечивать множество подплиток, представляющих собой части базового изображения, соответствующие указанным выше моментам захвата данных. Поскольку каждую подплитку получают из соответствующего изображения в стеке SIM (например, стеке из двенадцати базовых изображений), может быть полезным рассмотреть подплитки в стеках, соответствующих стеку SIM, из которого были получены подплитки. Такие подплитки могут быть получены из одной и той же области базовых изображений в стеке SIM, причем эти подплитки должны быть пространственно связаны. Для краткости этот набор пространственно связанных подплиток может упоминаться как стек SIM подплитки.

[00180] После применения итератора скользящего окна этот способ может быть использован для каждой подплитки, созданной итератором скользящего окна. В частности, а также как показано в блоке 404 на ФИГ. 7, способ может обеспечивать оценку параметра для каждого канала и каждого угла решетки в каждой подплитке. Оцениваемые параметры могут включать модуляцию, угол решетки, разнос (т. е. локальный разнос решетки или локальную периодичность рисунка освещения SIM), фазовое смещение, отклонение фазы или различные другие параметры. Оценка параметра может включать алгоритм области Фурье, согласно которому сначала выполняется приблизительный поиск пика рисунка решетки (с различной предварительной обработкой для улучшения видимости пика). После приблизительного определения положения может быть выполнен алгоритм поиска с помощью решетки высокого разрешения для максимизации целевой функции (значения модуляции в заданном местоположении пика). Способ также может включать оценку FWHM для каждого канала и каждого угла решетки в каждой подплитке, как показано в блоке 406 на ФИГ. 7.

[00181] После оценки параметров и оценки FWHM для каждого угла и каждого угла решетки для каждой подплитки эти значения можно сохранить для последующего использования, как показано в блоке 408 на ФИГ. 7. В некоторых версиях эти значения хранятся в двумерной таблице. В альтернативном варианте осуществления могут быть применены любые другие подходящие виды хранения. В некоторых версиях способа его выполнение может завершаться на этой стадии.

[00182] В некоторых других версиях способа его выполнение продолжается оценкой параметра центрального окна для каждого базового изображения в стеке SIM, как показано в блоке 410 на ФИГ. 7. В настоящем примере эту часть способа выполняют для каждого базового изображения в стеке SIM; а не для каждой подплитки, как это делает итератор скользящего окна. Использование этого центрального окна может быть желательным для предотвращения возникновения искажений вблизи краев и углов каждого изображения.

[00183] После оценки параметров центрального окна способ может включать оценку моделей искажений, как показано в блоке 412 на ФИГ. 7. Пример того, как можно оценить такие модели искажения, будет более подробно описан ниже со ссылкой на ФИГ. 9. Оцененная модель искажения может быть использована для генерирования двумерного эталонного изображения, как показано в блоке 414 на ФИГ. 7. Двухмерное эталонное изображение может содержать известные области, в которых возникают искажения в изображениях, захваченных с использованием рассматриваемого оптического узла 200 и системы 100. Таким образом, с помощью двумерного эталонного изображения можно создать карту, которую впоследствии можно использовать для определения точных местоположений известных искажений.

[00184] Вышеописанный способ может быть осуществлен с использованием эталонной оптической мишени до использования оптического узла 200 и системы 100 для захвата изображений SIM биологических образцов и т. д. в контейнере 110 для образца в процессе обычного использования оптического узла 200 и системы 100. Другими словами, описанный выше способ может быть осуществлен во время первоначального использования оптического узла и системы 100, как и процедура калибровки. После генерирования двумерного эталонного изображения с использованием описанного выше способа, когда изображения SIM биологических образцов и т. д. в контейнере 110 для образцов впоследствии захватывают в процессе нормального использования оптического узла 200 и системы 100, двумерное эталонное изображение может быть использовано в режиме реконструкции SIM, как показано в блоке 416 на ФИГ. 7. Например, процесс реконструкции SIM может обеспечивать выполнение коррекции в процессе реконструкции для учета известных искажений, определенных на двумерном эталонном изображении. Благодаря учету известных искажений, определенных на двумерном эталонном изображении, способ реконструкции SIM может в конечном итоге обеспечить получение более точных изображений SIM.

[00185] На ФИГ. 9 показан пример способа, который может быть выполнен для оценки моделей искажений, описанных выше со ссылкой на блок 412, изображенный на ФИГ. 7. Таким образом, на ФИГ. 9 представлен способ, являющийся частью другого способа, который может выполняться во время выполнения способа, показанного на ФИГ. 7. В настоящем примере способ оценки модели искажения включает вычитание оцененного параметра центрального окна из вышеупомянутых двумерных таблиц для каждого параметра, как показано в блоке 600 на ФИГ. 9. Это включает преобразование абсолютных значений в смещения относительно центрального окна. Другими словами, необработанные оцененные значения различных параметров SIM (угол, разнос для каждой комбинации угла и канала) преобразуют в параметры отклонения от центрального окна. Для этого способ может включать деление значений на центральное значение (причем отклонение представлено в виде отношения параметра в конкретном местоположении подмножества изображений и того же параметра в центральном окне). В альтернативном варианте осуществления способ может включать вычитание центрального значения (причем отклонение представлено в виде смещения относительно центрального местоположения).

[00186] Затем для каждого параметра согласно способу аппроксимируют функцию квадратичной поверхности с помощью средства оценки усадки в регрессию наименьших квадратов, как показано в блоке 602 на ФИГ. 9. Затем способ включает подтверждение модели с обеспечением того, чтобы коэффициент определения (R²) превышал некоторое пороговое значение (например, 95), как показано в блоке 604 на ФИГ. 9. Например, показатель искажения решетки можно охарактеризовать путем получения выборки аппроксимированной функции квадратичной поверхности в конкретных местах, ортогональных направлению решетки (например, направлению линий на фазовой маске 236, 246). Хотя в настоящем примере для аппроксимации функции квадратичной поверхности используют регрессию наименьших квадратов, может быть использован любой другой подходящий алгоритм аппроксимации. Кроме того, может быть использована любая другая подходящая функциональная форма (т. е. не квадратичная поверхность).

[00187] Возвращаясь к настоящему примеру, отметим, что затем способ включает добавление аппроксимированного параметра к структуре данных модели искажения, как показано в блоке 606 на ФИГ. 9. На этом этапе согласно способу выполняют оценку модели искажения путем оценки фазового смещения, как показано в блоке 608 на ФИГ. 9, и сохранение оцененного фазового смещения в структуре данных (например, таблице), как показано в блоке 610 на ФИГ. 9. В процессе последующей реконструкции изображения SIM сохраненное оцененное фазовое смещение может быть экстраполировано в любое другое окно на изображении SIM с использованием сохраненной таблицы.

[00188] C. Интеграция антистоксова излучения в систему SIM

[00189] Когда флуорофор возбуждается светом, так что он флуоресцирует и, таким образом, излучает свет, спектр света, излучаемого флуорофором, смещается относительно спектра возбуждающего света. Такое смещение называют стоксовым смещением. Это может быть связано с тем, что энергия фотона, испускаемого флуорофором, меньше энергии возбуждающего фотона, поглощаемого флуорофором. Это различие в энергии может быть вызвано потерей энергии вследствие колебаний молекул, возникающих, когда флуорофор находится в возбужденном состоянии. Потерянная энергия может рассеиваться в виде тепла в окружающих молекулах растворителя при их столкновении с возбужденным флуорофором. В случае возникновения стоксова смещения излучаемый свет может иметь длину волны, которая превышает длину волны возбуждающего света.

[00190] В некоторых случаях энергия фотона, испускаемого флуорофором, превышает энергию возбуждающего фотона, поглощаемого флуорофором. Таким образом, излучаемый свет может иметь длину волны, которая меньше длины возбуждающего света. В случаях, в которых энергия фотона, испускаемого флуорофором, превышает энергию возбуждающего фотона, поглощаемого флуорофором, излучение от флуорофора можно рассматривать как антистоксово излучение.

[00191] На ФИГ. 10 представлено схематическое изображение антистоксова излучения из красителя, содержащего флуорофор. Как показано на фигуре, фотон 700 накачки при относительно больших длинах волн поглощается с более высоких уровней прилегания Больцмана в коллекторе 702 для невозбужденного состояния в нижней части коллектора 704 для возбужденного состояния S1, как показано стрелкой 706. Последующая термализация между уровнями S1 колебаний коллектора 704 за счет фононно-индуцированных переходов с последующим испусканием в невозбужденном состоянии S0, как показано стрелкой 708, приводит к излучению фотона 710 с большей энергией с последующим охлаждением среды с красителем. В данном примере обозначения «S0» и «S1» относятся к относятся к синглетным состояниям электронов молекулы красителя. Обозначение S относится к полному электронному спину состояния электронов молекулы. Кроме того, молекулы красителя также могут поддерживать триплетные спиновые состояния, обозначенные как T1, T2 и т. д. В настоящем примере основное внимание уделено процессам поглощения и спонтанного излучения между конфигурацией с синглетным невозбужденным состоянием электронов (S0) и синглетной возбужденной конфигурацией S1. Состояния электронов молекулы красителя также связаны с колебательными модами молекулы. Множество колебательных мод при заданном состоянии электронов может упоминаться как колебательный коллектор. Термин «колебательный» может использоваться для обозначения электронно-колебательных состояний молекулы красителя.

[00192] В некоторых вариантах реализации системы 100 целевое изображение в положении контейнера 110 для образцов может включать в себя первый краситель, связанный с первым каналом (например, первый цвет), и второй краситель, связанный со вторым каналом (например, второй цвет). В настоящем примере первый краситель представляет собой кумариновый краситель, первый канал представляет собой синий канал, второй краситель представляет собой родаминовый краситель, а второй канал представляет собой зеленый канал. В альтернативном варианте осуществления могут быть применены любые другие подходящие виды красителей или цвета каналов. В настоящем примере, когда источник света (например, синий лазер в светоизлучающем узле 210) излучает свет, связанный с синим каналом, визуализация SIM может обеспечить оптическое обнаружение генерируемых синим лазером интерференционных полос за счет флуоресцирования кумаринового красителя в синем канале. Кроме того, когда источник света (например, зеленый лазер в светоизлучающем узле 210) излучает свет, связанный с зеленым каналом, визуализация SIM может обеспечить оптическое обнаружение сгенерированных зеленым лазером интерференционных полос в зеленом канале за счет стоксова излучения родаминового красителя. Однако низкое значение модуляционной передаточной функции (MTF) при длине волны излучения зеленого цвета может привести к слабой видимости или слабому контрасту, что сильно затрудняет обнаружение сгенерированных зеленым лазером интерференционных полос при определенных длинах волн (например, 600 нм).

[00193] Для преодоления проблемы с низким контрастом, который может наблюдаться при длинах волн зеленой области спектра вследствие стоксового смещения, может быть желательным предложить подход, позволяющий наблюдать сгенерированные зеленым лазером интерференционные полосы при длинах волн синей области спектра. Поскольку синий канал поддерживает повышенный результат MTF, полученные зеленые интерференционные полосы можно наблюдать с большей достоверностью при более высоких значениях контрастности, чем это было бы достигнуто в ином случае. Подход с генерированием излучения с более короткими длинами волн по сравнению с фактической длиной волны возбуждения лазера может основываться на явлении антистоксовой флуоресценции в молекуле красителя. Антистоксов способ включает возбуждение молекулы красителя фотоном, длина волны которого значительно превышает среднюю длину волны излучения красителя. В тех случаях, когда целевое изображение включает в себя кумариновый синий краситель, этот краситель может быть возбужден зеленым лазером с большими длинами волн (например, 520 нм). Как показано на ФИГ. 10, возбуждение зеленым лазером кумаринового красителя с расположенных выше колебательных мод с тепловой накачкой коллектора 702 невозбужденного состояния S0 к нижней части коллектора 704 возбужденного состояния S1 с последующей термализацией в пределах верхней части S1 коллектора 704 приводит к излучению длины 710 волны, которая намного меньше исходной длины 700 волны возбуждения. Это излучение 710 с меньшей длиной волны/большей энергией может позволить наблюдать сгенерированные зеленым лазером интерференционные полосы при длинах волн синей области спектра. Другими словами, камера, настроенная на синий канал, способна захватывать синее излучение, генерируемое зеленым лазером, так что канал возбуждения и канал наблюдения могут отличаться друг от друга.

[00194] V. Разное

[00195] Вышеприведенное описание предоставлено для того, чтобы специалист в данной области мог реализовать на практике различные конфигурации, описанные в настоящем документе. Хотя технология, являющаяся объектом изобретения, описана, в частности, со ссылкой на различные фигуры и конфигурации, следует понимать, что она приведена только в качестве иллюстрации и не должна рассматриваться как ограничивающая объем технологии, являющейся объектом изобретения.

[00196] Существует множество других способов реализации технологии, являющейся объектом изобретения. Различные функции и элементы, описанные в настоящем документе, можно разделять отличным от показанных образом без отступления от объема технологии, являющейся объектом изобретения. Для специалистов в данной области могут быть очевидны различные модификации этих вариантов реализации, и общие принципы, определенные в настоящем документе, могут применяться к другим вариантам реализации. Таким образом, специалист в данной области может вносить множество изменений и модификаций в технологию, являющуюся объектом изобретения, без отступления от объема технологии, являющейся объектом изобретения. Например, может быть использовано разное количество данных модулей или блоков, может быть использован другой тип или типы данных модулей или блоков, может быть добавлен данный модуль или блок, или может быть опущен данный модуль или блок.

[00197] Некоторые версии примеров, описанных в настоящем документе, могут быть реализованы с использованием компьютерной системы, которая может содержать по меньшей мере один процессор, обменивающийся данными с рядом периферийных устройств посредством подсистемы шин. Эти периферийные устройства могут включать подсистему хранения, включая, например, запоминающие устройства, и подсистему хранения файлов, устройства ввода пользовательского интерфейса, устройства вывода пользовательского интерфейса и подсистему сетевого интерфейса. Устройства ввода и вывода могут обеспечивать взаимодействие пользователя с компьютерной системой. Подсистема сетевого интерфейса может обеспечивать интерфейс с внешними сетями, включая интерфейс с соответствующими интерфейсными устройствами в других компьютерных системах. Устройства ввода пользовательского интерфейса могут включать клавиатуру; указывающие устройства, такие как мышь, шаровой манипулятор, сенсорную панель или графический планшет; сканер; сенсорный экран, встроенный в дисплей; устройства аудиоввода, такие как системы распознавания голоса и микрофоны; а также устройства ввода других типов. В целом использование термина «устройство ввода» подразумевает включение всех возможных типов устройств и способов ввода информации в компьютерную систему.

[00198] Устройства вывода пользовательского интерфейса могут включать подсистему отображения, принтер, факсимильную машину или невизуальные устройства отображения, такие как устройства вывода звука. Подсистема отображения может включать электронно-лучевую трубку (ЭЛТ), плоскопанельное устройство, такое как жидкокристаллический дисплей (ЖКД), проекционное устройство или какой-либо другой механизм для создания видимого изображения. Подсистема отображения может также обеспечивать невизуальное отображение, такое как устройства вывода звука. В целом использование термина «устройство вывода» подразумевает включение всех возможных типов устройств и способов вывода информации из компьютерной системы пользователю или на другую машину либо компьютерную систему.

[00199] Подсистема хранения данных может хранить программные конструкты и конструкты данных, обеспечивающие функциональность некоторых или всех из модулей и способов, описанных в настоящем документе. Как правило, эти программные модули могут быть исполнены процессором компьютерной системы самостоятельно или в комбинации с другими процессорами. Запоминающее устройство, используемое в подсистеме хранения данных, может включать некоторое количество запоминающих устройств, включая основное оперативное запоминающее устройство (ОЗУ) для хранения команд и данных во время исполнения программы, и постоянное запоминающее устройство (ПЗУ), в котором хранятся фиксированные команды. Подсистема хранения файлов может обеспечивать постоянное запоминающее устройство для файлов программ и данных и может включать накопитель на жестком диске, накопитель на гибких дисках вместе со связанными съемными носителями, накопитель CD-ROM, оптический диск или картриджи съемных носителей. Модули, реализующие функциональные возможности определенных вариантов реализации, могут храниться подсистемой хранения файлов в подсистеме хранения данных или в других машинах, доступных процессору.

[00200] Компьютерная система сама по себе может быть разных типов, включая персональный компьютер, портативный компьютер, рабочую станцию, компьютерный терминал, сетевой компьютер, телевизор, большую ЭВМ, ферму серверов, широко распределенный набор слабо связанных сетевых компьютеров или любую другую систему обработки данных или пользовательское устройство. Из-за постоянно меняющегося характера компьютеров и сетей пример, описанный в настоящем документе, предназначен только в качестве конкретного примера в целях иллюстрации описанной технологии. Возможны многие другие конфигурации компьютерной системы, имеющей больше или меньше компонентов, чем компьютерная система, описанная в настоящем документе.

[00201] Как готовое изделие, а не способ энергонезависимый машиночитаемый носитель (CRM) может быть загружен программными командами, исполняемыми процессором. При исполнении программных команд они реализуют один или более реализуемых на компьютере способов, описанных выше. В альтернативном варианте осуществления программные команды могут быть загружены на энергонезависимый CRM и при объединении с надлежащим оборудованием могут стать компонентом одной или более реализуемых на компьютере систем, которые практически осуществляют описанные способы.

[00202] Подчеркнутые и/или выделенные курсивом заголовки и подзаголовки используются только для удобства, не ограничивают технологию, являющуюся объектом изобретения, и не упоминаются в связи с интерпретацией описания технологии, являющейся объектом изобретения. Все структурные и функциональные эквиваленты элементов различных вариантов реализации, описанных в настоящем описании, которые известны или станут позднее известными специалистам в данной области, в явной форме включены в настоящий документ путем ссылки и считаются охваченными технологией, являющейся объектом изобретения. Более того, ничто из описанного в настоящем документе не предназначено для общественности, независимо от того, указано ли такое раскрытие в приведенном выше описании в явном виде.

[00203] Следует понимать, что все комбинации вышеуказанных концепций и дополнительных концепций, более подробно описанных ниже (при условии, что такие концепции не являются взаимно противоречащими), рассматриваются как часть объекта изобретения, описанного в настоящем документе. В частности, все комбинации заявленного объекта изобретения, появляющиеся в конце настоящего описания, считаются частью объекта изобретения, описанного в настоящем документе.

Изобретение относится к системам обработки изображений. При генерировании модели искажения для оптической системы микроскопии структурированного освещения (SIM) скользящее окно перемещается относительно множества изображений для образования множества подплиток, где каждая подплитка представляет собой часть соответствующего изображения. Параметры оценивают для каждой подплитки, при этом указанные параметры включают два или более параметра, выбранные из группы, состоящей из модуляции, угла, разноса, фазового смещения и отклонения фазы, и оценивают значение полной ширины на половине максимума (FWHM), связанное с каждой подплиткой. Модель искажения оценивают на основании комбинации оцененных параметров и значений FWHM, сохраненных в заданном формате, и оцененного параметра центрального окна. Двумерное изображение может быть сгенерировано на основании оцененной модели искажения. 3 н. и 16 з.п. ф-лы, 20 ил.

1. Способ обработки изображений, причем упомянутый способ включает в себя:

прием множества изображений, захваченных с использованием микроскопии структурированного освещения (SIM) в оптической системе, причем каждое изображение из множества изображений имеет первое поле обзора;

определение окна, причем окно образует второе поле обзора, представляющее собой часть первого поля обзора, так что второе поле обзора меньше первого поля обзора;

перемещение окна по отношению к каждому изображению из множества изображений;

захват множества подплиток в каждом изображении из множества изображений при перемещении окна по отношению к каждому изображению из множества изображений, причем каждая подплитка из множества из множества подплиток представляет собой часть соответствующего изображения из множества изображений, а часть, представленная каждой подплиткой из множества подплиток, определяется вторым полем обзора в положении, соответствующем моменту захвата подплитки из множества подплиток;

оценку параметров, связанных с каждой подплиткой из множества подплиток, причем параметры включают в себя два или более параметров, выбранных из группы, состоящей из модуляции, угла, разноса, фазового смещения и отклонения фазы;

оценку значения полной ширины на половине максимума (FWHM), связанного с каждой подплиткой из множества подплиток; и

сохранение оцененных параметров и значений FWHM в заданном формате.

2. Способ по п. 1, дополнительно включающий в себя оценку параметра центрального окна, причем параметр центрального окна соответствует центральной области в пределах первого поля обзора.

3. Способ по п. 2, дополнительно включающий в себя оценку модели искажения по меньшей мере частично на основании комбинации оцененных параметров и значений FWHM, сохраненных в заданном формате, и оцененного параметра центрального окна, причем оценка модели искажения включает в себя вычитание оцененного параметра центрального окна из оцененных параметров и значений FWHM, сохраненных в заданном формате.

4. Способ по п. 3, в котором оценка модели искажения включает в себя аппроксимацию функции квадратичной поверхности к значению разности.

5. Способ по любому одному или более из пп. 3, 4, дополнительно включающий в себя подтверждение оцененной модели искажения путем:

вычисления коэффициента определения для оцененной модели искажения; и

сравнения вычисленного коэффициента определения с заданным пороговым значением.

6. Способ по любому одному или более из пп. 3-5, дополнительно включающий в себя генерирование двумерного изображения по меньшей мере частично на основании оцененной модели искажения, причем двумерное изображение включает в себя представления, указывающие, где возникли искажения в оптической системе.

7. Способ по любому одному или более из пп. 3-6, дополнительно включающий в себя:

захват следующего множества изображений с использованием SIM в оптической системе; и

генерирование изображения с высоким разрешением по меньшей мере частично на основании множества изображений, причем генерирование изображения с высоким разрешением включает в себя коррекцию данных из следующего множества изображений по меньшей мере частично на основании оцененной модели искажения.

8. Способ по любому одному или более из пп. 1-7, в котором множество захваченных изображений представляют собой изображения оптической мишени, причем оптическая мишень включает в себя краситель, а захват множества изображений включает в себя возбуждение молекул в красителе, причем краситель имеет среднюю длину волны излучения, а возбуждение молекул в красителе включает в себя излучение возбуждающего света по направлению к красителю, причем возбуждающий свет имеет длину волны, которая по существу больше средней длины волны излучения для красителя.

9. Считываемый процессором носитель информации, включающий в себя содержимое, которое выполнено с возможностью инициирования обработки данных компьютерной системой путем выполнения способа по любому одному или более из пп. 1-8.

10. Устройство обработки изображений, причем упомянутое устройство содержит:

первый оптический узел для излучения структурированного освещения в направлении мишени, причем первый оптический узел включает в себя:

светоизлучающий узел,

первую фазовую маску для придания первого рисунка свету, излучаемому светоизлучающим узлом,

вторую фазовую маску для придания второго рисунка свету, излучаемому светоизлучающим узлом, и

фазорегулирующий узел для регулирования фазы света, структурированного первой фазовой маской и второй фазовой маской;

второй оптический узел, причем второй оптический узел включает в себя датчик изображения для захвата изображений мишени, которую освещает первый оптический узел; и

процессор для выполнения следующего:

приема множества изображений, захваченных с помощью датчика изображения, причем каждое изображение из множества изображений имеет первое поле обзора,

определения окна, причем окно образует второе поле обзора, представляющее собой часть первого поля обзора, так что второе поле обзора меньше первого поля обзора,

перемещения окна по отношению к каждому изображению из множества изображений,

захвата множества подплиток в каждом изображении из множества изображений при перемещении окна по отношению к каждому изображению из множества изображений, причем каждая подплитка из множества из множества подплиток представляет собой часть соответствующего изображения из множества изображений, а часть, представленная каждой подплиткой из множества подплиток, определяется вторым полем обзора в положении, соответствующем моменту захвата подплитки из множества подплиток,

оценки параметров, связанных с каждой подплиткой из множества подплиток, причем параметры включают в себя два или более параметров, выбранных из группы, состоящей из модуляции, угла, разноса, фазового смещения и отклонения фазы,

оценки значения полной ширины на половине максимума (FWHM), связанного с каждой подплиткой из множества подплиток, и

сохранения оцененных параметров и значений FWHM в заданном формате.

11. Устройство по п. 10, в котором процессор дополнительно оценивает параметр центрального окна, причем параметр центрального окна соответствует центральной области в пределах первого поля обзора.

12. Устройство по п. 11, в котором процессор дополнительно оценивает модель искажения по меньшей мере частично на основании комбинации оцененных параметров и значений FWHM, сохраненных в заданном формате, и оцененного параметра центрального окна.

13. Устройство по п. 12, в котором процессор дополнительно оценивает модель искажения путем включения вычитания оцененного параметра центрального окна из оцененных параметров и значений FWHM, сохраненных в заданном формате.

14. Устройство по п. 13, в котором процессор дополнительно оценивает режим искажения путем аппроксимации функции квадратичной поверхности к значению разности.

15. Устройство по п. 14, в котором процессор дополнительно оценивает режим искажения путем аппроксимации функции квадратичной поверхности к значению разности, включающей в себя использование средства оценки усадки.

16. Устройство по любому одному или более из пп. 12-15, в котором процессор дополнительно подтверждает модель искажения путем:

вычисления коэффициента определения для оцененной модели искажения, и

сравнения вычисленного коэффициента определения с заданным пороговым значением.

17. Устройство по любому одному или более из пп. 12-16, в котором процессор дополнительно выполнен с возможностью:

оценки фазового смещения, и

применения фазового смещения к оцененной модели искажения.

18. Устройство по любому одному или более из пп. 12-17, в котором процессор дополнительно генерирует двумерное изображение по меньшей мере частично на основании оцененной модели искажения, причем двумерное изображение включает в себя представления, указывающие, где возникли искажения в оптической системе.

19. Устройство по любому одному или более из пп. 11-18, в котором процессор дополнительно выполнен с возможностью:

захвата следующего множества изображений с использованием SIM в оптической системе, и

генерирования изображения с высоким разрешением по меньшей мере частично на основании множества изображений, причем генерирование изображения с высоким разрешением включает в себя коррекцию данных из следующего множества изображений по меньшей мере частично на основании оцененных параметров и значений FWHM, сохраненных в заданном формате.