ДАТЧИК ДЛЯ МИКРОСКОПИИ Российский патент 2015 года по МПК G02B21/36 

Область техники, к которой относится изобретение

Это изобретение относится к области цифровых сканирующих микроскопов и его предпочтительно применять в области цифровой патологии.

В частности, это изобретение относится к способу микроскопического формирования изображения образца цифровым сканером, содержащим датчик, включающий в себя двумерный массив пикселов, и к цифровому сканирующему микроскопу, в этой заявке впоследствии также называемому сканером, осуществляющему этот способ.

Предпосылки создания изобретения

Цифровой сканирующий микроскоп обычно создает цифровое изображение образца, такого как образец ткани, помещаемый на предметное стекло микроскопа.

Обычно оно создается путем сканирования образца на протяжении всего предметного стекла микроскопа и совмещении различных полосок с изображениями друг с другом и/или наложения изображений, определенных на различных длинах волн.

На фиг.1 схематично представлено поперечное сечение такого предметного стекла микроскопа. В частности, он содержит предметное стекло 1, с обычной толщиной 1 мм (миллиметр), покровное стекло 2, с обычной толщиной 0,17 мм, заливочную среду 3 для фиксации и герметизации образца 4, подобного слою ткани. Толщина образца 4 обычно составляет около 5 мкм, а заливочной среды, включающей в себя образец, от около 10 до около 15 мкм.

Известно, например, из заявки WO2001084209, что цифровые сканирующие микроскопы могут содержать одномерный линейный датчик, также известный как камера с однострочной разверткой или как линейный датчик. Такие датчики содержат только одну строку, иначе говоря, один ряд чувствительных пикселов. Также известно, что по сравнению с датчиками других видов, подобными, например, двумерным датчикам массива, одномерные линейные датчики способны лучше обеспечивать операцию непрерывного механического сканирования, меньше проблем сшивания и кроме того, имеется возможность использовать так называемые линейные датчики с временной задержкой и накоплением.

В общем случае такие одномерные линейные датчики необходимо сочетать с эффективной системой автоматической фокусировки, чтобы добиться высококачественного изображения образцов, положение которых вдоль оси Z (в направлении глубины) может меняться на несколько микрометров (что может быть больше глубины резкости микроскопа). Следует заметить, что такое требование в данном случае является действительно важным, особенно вследствие того, что при использовании таких датчиков заведомо требуется большое количество шагов сканирования во время регистрации изображения всего образца, и поэтому оно включает в себя улучшение регулировок фокусировки во время сканирования.

В этой связи в заявке WO2001084209 раскрыто наиболее общее решение, известное из предшествующего уровня техники, которое заключается в образовании и использовании карты фокусов. Такой картой фокусов предоставляются измеренные оптимальные положения фокусов, подлежащие использованию для объектива сканера в соответствии с различными положениями сканирования по пути сканирования. Карту фокусов создают до фактической регистрации изображения образца и делают доступной для использования при любом таком процессе регистрации. Во время процесса сканирования регистрируемого изображения образца положение фокуса объектива сканера задают по траектории, которую интерполируют между измеренными оптимальными положениями фокусов.

Краткое изложение изобретения

Авторы настоящего изобретения установили, что, несмотря на предоставление некоторых преимуществ, сочетание одномерного линейного датчика с автоматической фокусировкой на основании карты фокусов имеет несколько недостатков.

Например, потребность в таких картах фокусов может ограничиваться производительным временем (производительное время обычно можно обозначать общее время, необходимое для вывода изображения образца или в определенных обстоятельствах для вывода полосок изображения этого образца), поскольку, как пояснялось выше, требуется по меньшей мере один предшествующий этап образования карты. Кроме того, для многочисленных регулировок фокуса, необходимых при наличии одномерного линейного датчика, может потребоваться использование сложных и громоздких механических компонентов для получения быстрых и точных регистраций изображений. Например, могут потребоваться сложные и громоздкие приводы для регулирования положения фокуса объектива во время процесса сканирования.

Кроме того, вследствие погрешностей фокусировки иногда сам процесс сканирования должен выполняться более сложным образом. Например, иногда необходимо выполнять многочисленные регистрации одного и того же участка образца.

Поэтому задача изобретения заключается в предоставлении нового способа и нового цифрового сканера, которыми разрешаются упомянутые выше проблемы.

Для этого согласно первому аспекту изобретения предложен способ для микроскопического формирования изображения образца сканером, содержащим датчик, включающий в себя двумерный массив пикселов в системе координат XY, при этом ось Y является по существу перпендикулярной к направлению сканирования, и при этом сканер располагают так, чтобы датчик мог формировать изображение косого поперечного сечения образца.

Точнее, этот способ содержит этапы

а) активации первого подмассива двумерного массива пикселов, при этом первый подмассив продолжается преимущественно вдоль оси Y при первой координате X, и

b) создание первого изображения путем формирования изображения первого участка образца посредством первого подмассива пикселов.

Здесь следует заметить, что по существу это означает, что предпочтительно, чтобы ось Y образовывала угол 90° с направлением сканирования, но также можно использовать несколько отличающийся угол. На самом деле этот угол должен быть таким, чтобы участок, охватываемый единственным рядом пикселов во время сканирования, был по возможности большим. Следствием оптимума может быть наибольший охватываемый участок, и поэтому наивысшую производительность сканирующего микроскопа можно получать, когда ось Y является точно перпендикулярной к направлению сканирования. Однако в других проектных решениях могут допускаться приемлемые отклонения. В частности, может быть приемлемым выбор угла в диапазоне между 60 и 120°. Действительно, при таком диапазоне все же будет обеспечиваться производительность, составляющая по меньшей мере 87% (относительная производительность равна косинусу (90-60°)) максимальной производительности сканера.

Поэтому согласно изобретению двумерный датчик массива побуждается работать в качестве х-линейного датчика благодаря использованию ограниченного выбранного чувствительного участка (подмассива) (в данном случае буква «х» обозначает целое число, которое, как будет показано ниже, является суммарным числом строк в двумерном датчике массива). Иначе говоря, двумерный датчик массива побуждается имитировать функциональные возможности и работу х-линейного датчика. И как будет ясно позднее, использование такого имитируемого х-линейного датчика в компоновке сканера, в котором изображение поперечного сечения образца может быть сформировано датчиком, позволяет иметь различные преимущества, такие как разрешение упомянутых выше проблем. Наряду с прочим сканирующая система формирования изображения обеспечивает эффективное изменение глубины фокусировки во время сканирования.

В предпочтительных вариантах осуществления изобретения х-линейный датчик представляет собой одномерный линейный датчик. Поэтому первый подмассив включает в себя одну строку пикселов. При использовании в процессе сканирования положение Х строки регулярно регулируется во время сканирования до обновленных положений, для которых сканер определяет, что строка будет находиться в фокусе. В предпочтительных вариантах осуществления двумерный датчик массива, первый подмассив которого используется, например, для работы в качестве одномерного линейного датчика, одновременно используется для извлечения информации из расширенного диапазона фокусировки образца, чтобы определять заданное положение фокуса для имитируемого линейного датчика. Таким способом получают сканирующую систему формирования изображения с эффективной автоматической фокусировкой и эффективным изменением глубины фокусировки во время сканирования. В частности, единственный двумерный датчик массива одновременно действует как одномерный линейный датчик и как обнаружитель фокуса системы автоматической фокусировки. Под одновременностью понимается, что информация об изображении и фокусе захватывается точно в одно и то же время или что она захватывается с чередованием при достаточно высокой производительности.

Другими вариантами осуществления изобретения являются следующие:

- способ дополнительно содержит этапы

- сканирования образца,

- активации второго подмассива двумерного массива пикселов, при этом второй подмассив продолжается преимущественно вдоль оси Y при второй координате Х, отличающейся от первой координате Х,

- создания второго изображения путем формирования изображения второго участка образца посредством второго подмассива пикселов;

- способ дополнительно содержит этап построения составного изображения образца путем объединения первого и второго изображений;

- способ дополнительно содержит этап предоставления первой координаты;

- способ дополнительно содержит этап определения первой координаты Х так, чтобы первый подмассив был способен предоставлять первое изображение при заранее заданном фокусе;

- способ дополнительно содержит этап определения первой и второй координат Х так, чтобы первый и второй подмассив были способны предоставлять первое и второе изображения при по существу одинаковом фокусе;

- способ дополнительно содержит:

- формирование изображения второго участка образца заранее заданным поднабором пикселов двумерным массивом указанного датчика, при этом поднабор является отличающимся от подмассива пикселов;

- получение информации о фокусе на основании этого изображения, и

определение первой координаты Х на основании информации о фокусе;

- способ дополнительно содержит активацию заранее заданного поднабора пикселов так, чтобы он продолжался преимущественно вдоль оси Х при прямоугольной форме;

- поднабор пикселов может быть распределен по меньшей мере по двум отдельным областям в двумерном массиве пикселов;

- в предположении, что образец имеет некоторую толщину, способ содержит этап предоставления информации о глубине в пределах толщины, на которой первый подмассив пикселов может формировать изображение образца при заранее заданном фокусе, и этап определения первой координаты Х в соответствии с этой информацией о глубине;

- заранее заданный фокус может соответствовать наилучшей фокусировке;

- поперечное сечение образца может быть косым относительно направления сканирования;

- сканер может содержать держатель образца, включающий в себя удерживающую поверхность, а двумерный массив пикселов может лежать по существу в плоскости, которая образует угол наклона относительно указанной удерживающей поверхности;

- двумерным датчиком массива можно управлять для имитации одномерного линейного датчика путем активации первого подмассива так, чтобы он содержал вдоль оси Y меньше чем три ряда пикселов, а предпочтительно только один ряд пикселов, или для имитации одномерного N-каскадного датчика с временной задержкой и накоплением путем активации первого подмассива так, чтобы он содержал вдоль оси Y в каждом каскаде меньше трех рядов пикселов, а предпочтительно только один ряд пикселов.

Согласно другому аспекту изобретения представлен сканирующий микроскоп, который осуществляет способ изобретения.

Краткое описание чертежей

Эти и другие аспекты и преимущества изобретения станут более понятными при чтении нижеследующего подробного описания и вариантов осуществления этого изобретения, приводимого в качестве неограниченного примера и сделанного с обращением к сопровождающим чертежам, на которых:

Фиг.1 - уже рассмотренное схематичное поперечное сечение узла предметного стекла с тканью;

Фиг.2 - схематичный вид сканирующего микроскопа согласно вариантам осуществления изобретения;

Фиг.3 - схематичный вид двумерного массива пикселов датчика, используемого в сканирующем микроскопе изобретения;

Фиг.4 - схематичный вид узла предметного стекла с тканью и проекция двумерного массива сканирующего микроскопа изобретения;

Фиг.5 - схематичная иллюстрация двух ситуаций, в которых указанная проекция пересекается со слоем ткани при двух различных положениях;

Фиг.6 - схематичный вид двумерного массива пикселов, и в частности, показан поднабор пикселов согласно варианту осуществления изобретения;

Фиг.7 - блок-схема, представляющая этапы способа согласно варианту осуществления изобретения;

Фиг.8 - схематичный вид двумерного массива пикселов, и в частности, показан поднабор пикселов согласно варианту осуществления изобретения; и

Фиг.9 - схематичный вид варианта осуществления изобретения с использованием принципов временной задержки и накопления.

Подробное описание вариантов осуществлений изобретения

Сканирующий микроскоп согласно варианту осуществления изобретения показан на фиг.2.

Этот сканер выполнен с возможностью формирования изображения образца (например, слоя ткани, непоказанного), который можно помещать между предметным стеклом 10 и покровным стеклом 11.

Такое предметное стекло микроскопа помещается на удерживающую поверхность держателя образца, не показано на чертеже.

Как может быть известно из уровня техники, по пути Р формирования изображения и начиная от предметного стекла микроскопа, сканер может содержать, в частности, объектив 20 микроскопа, обычно выполненный из множества линз 20a, b и c, диафрагму 21 для блокирования не рассеянного, отражаемого от образца ткани света, тубусную линзу 23 и датчик 24.

Датчик 24 содержит двумерный массив пикселов, также называемый в этой заявке матрицей пикселов. Этот датчик обычно представляет собой датчик формирования изображения с комплементарной структурой металл оксид-полупроводник (КМОП-структурой).

Как можно видеть из фиг.2, матрица пикселов наклонена относительно оптической оси O объектива микроскопа.

Сканер также содержит управляющий модуль 25 для управления рабочим процессом сканера и, в частности, процессом сканирования для формирования изображения образца. Управляющий модуль обычно содержит процессор, такой как, например, вентильный массив, программируемый пользователем, или цифровой процессор сигналов.

Как известно из уровня техники, путем использования источника света в так называемом режиме отражения или пропускания светового пятна можно освещать участок слоя ткани. Свет, отражаемый или пропускаемый с помощью этого пятна, проходит через объектив микроскопа, диафрагму, тубусную линзу и проецируется на, и обнаруживается чувствительным участком датчика, то есть чувствительным участком двумерного массива пикселов.

Непрямоугольная система координат XYZ, показанная для примера на фиг.3, будет использоваться в этой заявке в дальнейшем, при этом поверхность матрицы продолжается на протяжении плоскости, параллельной осям Х и Y, и при этом ось Z может быть перпендикулярна к осям X и Y.

Для специалиста в данной области техники должно быть ясно, что, поскольку матрица пикселов находится в наклонном положении, описанном выше, то изображение, проецируемое на эту матрицу, представляет собой изображение косого поперечного сечения образца, например, слоя ткани. Здесь можно заметить, что, возможно, будет предпочтительный случай, когда изображение, проецируемое на эту матрицу, является в достаточной степени наклоненным относительно направления сканирования, чтобы гарантировалось проецирование на матрицу пикселов изобразительной информации образца из достаточно большого диапазона глубин вокруг центральной плоскости изображения. В данном случае центральной плоскостью изображения называется плоскость на отображаемом предмете, которая параллельна направлению сканирования и оси Y. Центральная плоскость изображения находится в таком положении на образце, при котором получение последующих изображений от подмассива, задаваемого, например, единственной сплошной линией пикселов (продолжающихся вдоль оси Х матрицы пикселов), в положении Х вдоль оси Х, ближайшем к середине матрицы пикселов, будет производить изображение этой центральной плоскости изображения.

На фиг.3 показан схематичный вид наклоненной матрицы пикселов датчика.

Не для ограничения иллюстрации каждый пиксел матрицы, например, пиксел 30, представлен квадратом и на фиг.3 показана полная поверхность этой матрицы.

Как можно видеть, поверхность матрицы продолжается на протяжении плоскости, параллельной осям X и Y. Иначе говоря, матрица имеет два измерения (X и Y), которые продолжаются вдоль двух осей X и Y системы координат и которые содержат множество рядов (или, иначе говоря, строк) и множество столбцов, соответственно.

Следует заметить, что ось Z может быть параллельна оптической оси O, и это будет использоваться в дальнейшем, в частности, при обращении к примеру, относящемуся к глубине.

Кроме того, система координат XYZ может быть прямоугольной или непрямоугольной. В результате направление сканирования сканера может быть перпендикулярным к оси Z. Однако в других вариантах осуществления оптическая ось может быть перпендикулярна к матрице пикселов. В этом случае перемещение образца может происходить не параллельно плоскости XY, так что на матрице пикселов получается изображение косого сечения образца относительно направления сканирования.

Согласно вариантам осуществлениям способа изобретения управляющий модуль 25 активирует первый подмассив 31 пикселов (заштрихованный участок на фиг.3) в пределах матрицы пикселов датчика с некоторой координатой (например, Х1 на фиг.3).

Следует понимать, что по сравнению с матрицей в значении изобретения подмассив должен поддержать значительно меньшее количество пикселов. Предпочтительно, чтобы поверхность подмассива представляла меньше половины полной поверхности матрицы. Более предпочтительно, чтобы поверхность подмассива представляла меньше четверти полной поверхности матрицы.

Кроме того, следует понимать, что продолжение подмассива преимущественно вдоль оси Y означает, что количество столбцов значительно больше количества рядов. Предпочтительно, чтобы такой подмассив включал в себя все пикселы одного ряда и включал в себя меньше трети суммарного количества рядов матрицы. Более предпочтительно, чтобы подмассив включал в себя все пикселы в одном ряду и включал в себя меньше трех рядов. Еще более предпочтительно, чтобы подмассив включал в себя пикселы в одном ряду и включал в себя только один ряд. Такая конфигурация представлена на фиг.3 в качестве не ограничивающего примера.

Вернемся к способу согласно варианту осуществления, описанному выше, в котором подмассив пикселов является чувствительным к свету и таким образом обнаруживает, свет, проецируемый от образца.

Затем управляющий модуль создает первое изображение первого участка указанного поперечного сечения.

Чтобы построить изображение большего участка, этапы, описанные выше, можно повторять в то время, как датчик сканируется относительно предметного стекла микроскопа. В этом случае в каждом положении сканирования новый подмассив задается и активируется и новое изображение каждого нового участка в поперечном сечении образца создается. Затем путем объединения этих изображений может быть создано изображение большего участка и названо составным изображением.

Координата Х подмассива, чтобы быть активируемой, например Х1 (см.фиг.3), может быть предоставлена и определена различными способами.

Согласно вариантам осуществлениям координаты могут быть определены в связи с информацией о фокусе.

В этой связи, в предпочтительном варианте осуществления в сканере используется такой же двумерный датчик массива, как описанный выше, для формирования изображения и для непрерывной автоматической фокусировки.

«Для непрерывной» означает, что параметры автоматической фокусировки измеряются и управляются оперативно во время процесса сканирования.

Сканер этого варианта осуществления способен получать информацию о фокусе, координатах активируемого подмассива, чтобы иметь возможность создавать изображение при заранее заданном фокусе (например, при заранее заданной степени дефокусировки или точно в фокусе) и создавать это изображение с использованием такого же двумерного датчика массива.

Этот вариант осуществления может быть основан на следующих наблюдениях, которые можно сделать при обращении к фиг.4, представленной в качестве не ограничивающего примера.

На этом чертеже еще раз показано предметное стекло микроскопа вместе с предметным стеклом 51, покровным стеклом 52 и заливочной средой 53, включающей в себя слой 54 ткани.

Система координат XYZ, связанная с датчиком, представлена и на этот раз, но совместно с новой непрямоугольной системой координат X'YZ, связанной со всем сканером.

В предположении, что датчик имеет угол β' наклона относительно поверхности держателя (в идеальном случае, горизонтальной поверхности, оси X и Х' образуют такой же угол β' относительно друг друга.

Для пояснения на этом чертеже также представлена проекция 55 двумерного массива пикселов датчика на предметное стекло микроскопа. Эта проекция соответствует проекции, при которой датчик может в действительности обнаруживать это предметное стекло микроскопа и формировать изображение от него.

Как пояснялось ранее, двумерный датчик массива способен создавать изображение косого поперечного сечения образца; поперечное сечение по существу соответствует проекции 55.

Это косое поперечное сечение 55 пересекается со слоем 54 ткани в определенных местах (см., например, пересечение I или положение 540). Ясно, что это пересечение в значительной мере зависит от осевого положения слоя ткани относительно фокальной плоскости объектива микроскопа. В значительной мере это происходит потому, что, как показано на фиг.4, положение по глубине (вдоль Z) слоя 54 ткани в направлении сканирования не является одинаковым.

Можно сделать вывод, что, поскольку изображение всего косого поперечного сечения может быть спроецировано на двумерный датчик массива, это поперечное сечение, включающее в себя слой 54 ткани, всегда будет в фокусе на некоторых пикселах в двумерном массиве датчика, а именно, на пикселах, которые способны получать изображение пересечения I.

Как показано в качестве примера на фиг.5а, чем ближе будет слой 54 ткани к покровному стеклу 52, тем больше положение пересечения будет перемещаться в левую сторону двумерного массива пикселов (см. пересечение 58).

Заметим, что на фиг.5 «в левую сторону» означает направление, параллельное и противоположное вектору Х.

Напротив, как показано на фиг.5b, чем ближе будет слой 54 ткани к покровному стеклу 51, тем больше положение пересечения будет перемещаться в правую сторону двумерного массива пикселов (см. пересечение 59).

В результате путем определения положения, например координат, пересечения в пределах матрицы пикселов можно определять, какой подмассив пикселов следует активировать, чтобы формировать изображение соответствующего участка образца в фокусе.

Таким образом, как можно видеть, в сканере можно использовать один и тот же двумерный датчик массива для непрерывной автоматической фокусировки, а также для формирования изображения.

В вариантах осуществлений изобретения автоматическую фокусировку сканирующего микроскопа выполняют с помощью фиксированного количества пикселов, выбираемых в пределах двумерного массива датчика.

Для ясности, согласно настоящему изобретению пикселы, используемые для автоматической фокусировки, будут задаваться поднабором пикселов, тогда как подмассив, определенный выше, будет задаваться пикселами, используемыми для формирования изображения.

В соответствии с определением поднабор и подмассив могут значительно отличаться друг от друга, особенно в том, что касается количества или положений пикселов. Однако они могут перекрываться в пределах участка матрицы. Конечно, может быть ситуация, когда участок образца, изображение которого получают, находится на глубине, при которой подмассив может совпадать с поднабором. Однако эта ситуация может быть исключительной и может быть по меньшей мере небольшое различие в содержании пикселов между ними.

На фиг.6 показан первый пример поднабора согласно этому варианту осуществления. В матрице этот подмассив распределен по трем отдельным областям 100, 200, 300. Каждый из трех соответствующих частей 101, 201 и 301 поднабора имеет прямоугольную форму при активации 2 столбцов пикселов, продолжающихся вдоль всего измерения Х матрицы.

Такую конфигурацию можно использовать в следующем способе.

Что касается фиг. 6 и 7, то поднабор из частей 101, 201, 301 пикселов активируют на этапе 700.

Изображение трех участков образца, соответствующих трем частям поднабора создают на этапе 701.

Информацию о фокусе получают на основании этого изображения на этапе 702. Например, управляющий модуль 25 определяет, какой пиксел (пикселы) из поднабора способен захватывать изображение в фокусе, и задает соответствующий ряд (ряды).

Такое определение можно делать различными способами, которые должен без труда понимать специалист в данной области техники. Например, алгоритм можно использовать для анализа изображения, предоставленного поднабором, и для определения характеристик фокусировки. Например, управляющий модуль может выполнять алгоритм, которым анализируется резкость этого изображения для определения характеристик фокусировки на каждом пикселе поднабора. Поскольку ряд может быть задан по измерениям X и Y, соответствующая координата (координаты) Х релевантных пикселов узнается сканером.

Затем задают подмассив пикселов для формирования изображения. В не ограничивающем примере фиг.6 заданный подмассив 401 образует прямоугольник, состоящий из четырех строк пикселов. Поэтому могут быть предусмотрены четыре координаты X. Как вариант может быть предусмотрена одна координата. Эта координата может давать возможность сканеру получать три другие в соответствии с любым заданным соотношением. Например, единственная координата может соответствовать положению в центре ширины подмассива или ближе всего к центру.

После задания подмассива способ дополнительно содержит этап 703 активации его.

На этапе 704 создают первое изображение участка в образце, соответствующем тому изображению, что может сформировать подмассив.

Этот способ можно повторять в процессе сканирования, используемом для формирования изображения дополнительного участка образца, и обычно для формирования изображения всей поверхности образца.

В этом случае датчик можно перемещать в соответствии с направлением Х' сканирования и относительно образца. Затем можно еще раз выполнить этапы с 700 по 704. Как пояснялось выше, хотя расстояние между образцом и датчиком изменяется во время процесса сканирования, подмассив перемещается соответственно вдоль измерения Х матрицы до достижения координат, при которых происходят пересечения I, в результате чего образец удерживается в заданном фокусе. Как хорошо известно из уровня техники, изображения создают и объединяют, заканчивая способ образованием составного изображения образца.

Нет необходимости выполнять этапы с 700 по 702 при каждом положении сканирования. Вместо них можно выполнять при некоторых положениях только этапы 703 и 704. В этом случае последний задаваемый подмассив можно использовать еще раз для формирования изображения. При этом преимущество заключается в том, что не выполняют этапы с 700 по 702 для каждого изображения, которое создают, используют меньшую доступную полосу частот датчика для получения информации о фокусе, при этом оставляют дополнительную полосу частот для фактической регистрации изображения, что приводит к более высокой производительности сканера, однако ценой этого является более медленное отслеживание вариаций заданного положения фокуса.

Согласно вариантам осуществления изобретения количество рядов подмассива фиксируют во время всего процесса сканирования, например, используют 1 ряд для имитации одномерного линейного датчика или несколько дополнительных рядов для увеличения чувствительного участка (на фиг.6 показан пример, в котором ширина подмассива задана четырьмя рядами).

Как вариант количество рядов можно устанавливать динамически во время процесса сканирования.

В качестве не ограничивающего примера это количество может быть иным в зависимости от количества рядов в поднаборе, которое определяется возможностью получения изображения на заранее заданном фокусном расстоянии, например, в фокусе. Поэтому в некоторых случаях ширина подмассив может изменяться во время сканирования.

В вариантах осуществления для сканера можно задавать форму подмассива, согласованную с формой указанного пересечения I. Соответственно, в этих вариантах осуществления форма подмассива может быть любой формой, такой как, например, изогнутая, криволинейная.

Кроме того, в указанном варианте осуществления можно задавать максимальное количество рядов подмассива.

Согласно вариантам осуществления изобретения можно использовать другие конфигурации поднабора.

В качестве не ограничивающих примеров на фиг.8 показаны подмассивы 800 и поднабора пикселов, продолжающийся преимущественно по тому же самому направлению, в котором продолжается подмассив, то есть перпендикулярно к направлению Х' сканирования. Точнее, поднабор распределен по четырем отдельным областям, образующим четыре части, обозначенные позициями с 801 по 804. Части расположены парами. Пара расположена на одной и той же координате Х. В частности, первая пара 801, 802 расположена на координате Х1, а вторая пара 803, 804 расположена на координате Х2. В каждой паре часть (801 или 803) состоит из одного ряда с 7 пикселами и часть (802 или 804) состоит из одного ряда с 6 пикселами.

Конечно, специалист в данной области техники должен осознавать, что согласно общему эмпирическому правилу конфигурация поднабора может соответствовать любой возможной форме, которая позволяет датчику работать как самофокусирующемуся датчику подмассива. Например, форма может быть круговой, криволинейной, изогнутой и т.д.

Согласно вариантам осуществления изобретения поднабор может изменяться во время процесса сканирования. Например, координаты Х1 и Х2 на фиг.8 могут использоваться при первом положении сканирования и координаты Х3, Х4 могут использоваться при втором положении сканирования. Таким образом, как представлено стрелками на правой стороне фиг.8, поднабор может сканироваться на протяжении измерения Х матрицы.

Теперь будет описана первая детализированная реализация варианта осуществления.

В этой реализации проекция косого поперечного сечения образца на двумерный массив датчика опять-таки обеспечивается наклоном датчика под углом β' относительно удерживающей поверхности.

Согласно фиг.4, диапазон Δz'_полный глубин системы автоматической фокусировки может быть достаточно большим в случае задания реалистичных установок других параметров.

Предполагается, что датчик имеет N_x пикселов вдоль оси X, при этом размер пиксела вдоль этой оси составляет b. Коме того, предполагается, то датчик имеет N_y пикселов вдоль оси Y. Напомним, что направление сканирования (вдоль оси Х') образует угол β' с осью X.

Поскольку датчик наклонен под углом β', выборка в поперечном и осевом направлениях дается выражениями:

Δx=b cosβ',

Δz=b sinβ'.

Выборка в поперечном и осевом направлениях на тканевом препарате дается выражениями:

Δx^'=Δx/М,

Δz^'=nΔz/M²,

где M является увеличением и n показателем преломления тканевого препарата.

Теперь выборка в осевом направлении на предмете имеет следующий вид:

Δz^'= $$\frac{n\Delta z}{{(\Delta x/\Delta x\text{'})}^2}$$ = $$\frac{\sin {\beta }^{,}}{{\cos }^2{\beta }^{,}}$$ $$\frac{n\Delta x^{\mathrm{,2}}}{b}$$ .

Поскольку имеются N_x пикселов, полный диапазон глубин составляет:

Δz^' _полный=N_xΔz^'= $$\frac{\sin {\beta }^{,}}{{\cos }^2{\beta }^{,}}$$ $$\frac{N_{x}n\Delta x^{\mathrm{,2}}}{b}$$ .

Поскольку датчик можно использовать для регистрации изображения, а также для обнаружения фокуса, интервал выборок (то есть размер пиксела в предметном пространстве) определяется заданным разрешением сканера.

Ниже дается пример для сканера 40Х, который имеет разрешение 0,5 мкм.

Этот пример соответствует интервалу (то есть размеру пиксела) выборок 0,25 мкм.

Поэтому в случае сканера 40Х размер пиксела в предметном пространстве (то есть размера изображения, проецируемого на единственный физический пиксел с размером b) может быть х=0,25 мкм.

В принципе размер пиксела в датчике изображения с КМОП-структурой или со структурой на приборах с зарядовой связью (ПЗС-структурой) можно выбирать свободно. Он может быть ограничен снизу наименьшим размером топологического элемента в способе литографии, а сверху общим размером датчика, при котором датчик все еще является рентабельным с учетом определенного разрешения и размера пиксела. В настоящее время практическое значение размера b пиксела датчика изображения с КМОП-структурой, при котором датчик с хорошими характеристиками все еще является приемлемым по цене, может быть 5 мкм.

Из этого вытекает кратность М увеличения, равная 20 для сканера 40Х.

Предположение, что показатель n преломления равен 1,5, приводит примерно к одной выборке в осевом направлении в течение времени, определяемом произведением 267 и Δz^', в предметном пространстве Δz.

Чтобы сделать возможный рабочий диапазон глубин датчика, на практике составляющий 10 мкм, датчик можно наклонить для охвата диапазона 2,7 мм в пространстве изображения.

Вследствие повышенного отражения от поверхности датчика и того, что светочувствительный участок пикселов может быть немного утоплен в подложку, предпочтительно, чтобы угол наклона датчика был меньше чем 20°, и более предпочтительно, чтобы он составлял около 10°.

Если размер датчика в направлении х составляет около 16 мм, датчик, наклоненный под углом 10°, может охватывать диапазон глубин 2,7 мм в пространстве изображения и поэтому 10 мкм в предметном пространстве.

Следствием этого могут быть N_x=3200 пикселов, что приводит к интервалу Δz^' выборок в осевом направлении около 3,3 нм.

В случае, когда это оказывается больше, чем необходимо, с учетом типичной глубины поля микроскопа 40Х около 1 мкм практическим вариантом может быть увеличение разнесения пикселов на датчике в направлении Х.

Размер оставляют тем же, поскольку он определяет разрешающую способность микроскопа.

Согласно второй детализированной реализации косое поперечное сечение образца ткани проецируют на датчик, добавляя к микроскопу оптическое устройство.

Это устройство выполнено так, что длина оптического пути от точки в образце до области пикселов на датчике, используемом для отображения этой точки, изменяется линейно в соответствии с положением вдоль направления сканирования. Результат от добавления прибора заключается в том, что глубина фокуса изображения, проецируемого на датчик, также изменяется линейно в соответствии с положением вдоль направления сканирования. Следовательно, использование такого прибора позволяет получать такой же результат, как при наклоне датчика, который предлагался выше в первой реализации.

В примерном варианте осуществления указанное оптическое устройство представляет собой призму, помещаемую на пути света. Например, призма может быть помещена непосредственно перед датчиком на пути света, начиная от образца. Кроме того, призма может быть помещена в окрестности датчика или в непосредственном или косвенном контакте с ним.

Здесь можно отметить, что согласно второму варианту осуществления можно выполнять сканер так, чтобы ось Z была перпендикулярна к осям X, Y и X^'.

Конечно, изобретение не ограничено вариантами осуществления, описанными выше.

Например, может быть желательно использовать сканер изобретения с выполнением только одного этапа сканирования, чтобы получать только единственное первое изображение конкретного участка (без составного изображения).

В качестве не ограничивающего примера можно рассмотреть ситуацию, когда патолог получает первоначальное изображение всего образца ткани с первым разрешением.

Это первоначальное изображение может быть зарегистрировано заблаговременно сканером изобретения или другим сканером с наклонной компоновкой или без нее.

Первоначальное изображение может быть передано этому человеку другим практикующим врачом при использовании любой системы связи (такой, как интрасеть, Интернет или любая другая сеть связи).

При анализе первоначального изображения патолог может захотеть видеть некоторые подробности на конкретном участке образца.

Поэтому, определив этот участок, он может снабдить информацией сканер изобретения через пользовательский интерфейс, чтобы инициировать регистрацию нового изображения этого конкретного участка.

Указанная информация может быть предоставлена в различных формах.

Например, патолог может непосредственно вводить положение участка сканирования и/или координату подмассива, который следует активировать для создания нового изображения. Затем сканер может переместить датчик относительно образца ткани в точное положение, активировать подмассив на указанной координате в матрице и создать изображение конкретного участка с желаемым разрешением.

Как вариант, используя мышь, трекбол и т.д., он может выбрать конкретный участок в первоначальном изображении, отображаемом на дисплее сканера, а управляющий модуль может преобразовать эту информацию в положение сканирования и координату для соответствующего подмассива.

Координаты можно также получать путем извлечения информации с носителя данных, такого как флэш-память, компакт-диск или цифровой видеодиск. Например, сканер может извлекать электронный файл, который может создаваться, например, сканером этого изобретения Этот файл может включать в себя информацию, предназначенную для определения всех положений сканирования и подрешеток, которые были использованы ранее для создания первоначального составного изображения. Когда патолог вводит в сканер информацию о конкретном участке, который он хочет повторно захватить, сканер может получить из информации, содержащейся в файле, положение (положения) сканирования и подмассив (подмассивы), задаваемый/активируемый в соответствующем положении (положениях) сканирования.

После того как координата (координаты) подмассива (подмассивов) станет (станут) известной (известными) от сканера, управляющий модуль перемещает датчик относительно образца в указанное положение (положениях), активирует этот подмассив (эти подмассивы) и создает изображения.

Такие принципы можно применять ко многим другим примерам, которые без труда может обнаружить специалист в данной области техники.

Например, патолог может посчитать, что конкретный участок в первоначальном изображении недостаточно хорошо сфокусирован, и он может пожелать зарегистрировать этот участок еще раз. И опять этот человек может ввести информацию в сканер с тем, чтобы можно было определить положение (положения) сканирования и/или подмассив (подмассивы), подлежащий активации.

В качестве другого примера патолог может пожелать получить изображение конкретного участка образца на конкретной глубине в образце (вдоль оси Z). При вводе информации патолог может предоставить желаемую глубину, а сканер может получить положение (положения) сканирования и/или подмассив (подмассивы), подлежащий активации.

Следует заметить, что в случае, когда первоначальное изображение было сделано заранее, сканеру может потребоваться корректировать небольшое количество внутренних параметров, чтобы обеспечить формирование изображения конкретного участка при тех же условиях. Например, если первоначальное изображение создавалось с использованием сканера с иным углом наклона или даже в конфигурации без наклона, сканеру изобретения потребуется принять это во внимание.

В связи с этим специалист в данной области техники должен быть способен определять необходимые регулировки, чтобы выполнять их, поскольку они относятся к его обычным профессиональным навыкам.

Согласно другим аспектам принципы изобретения и в частности, описанные выше, с достижением преимущества можно приспособить к использованию датчиков с временной задержкой и накоплением.

Поэтому в вариантах осуществления изобретения подмассив задают так, чтобы он образовывал N каскадов (N является целым числом) одномерного линейного сканера с временной задержкой и накоплением.

В качестве не ограничивающего примера вариант осуществления, описан с обращением к фиг.6, можно без труда переделать так, чтобы четыре строки заданного подмассива 401 образовывали четыре каскада одной строки.

Более детальный пример использования временной задержки и накопления согласно таким вариантам осуществления показан на фиг.9. На этой фигуре три блока ВА, ВВ, ВС четырех каскадов с временной задержкой и накоплением (например, 90А, 91А, 92А, 93А) заданы в матрице пикселов.

Заметим, что под блоком с временной задержкой и накоплением имеется в виду подмассив полной матрицы пикселов, которая действует как функциональный узел с временной задержкой и накоплением.

Хотя и необязательно, зазоры G1 и G2 могут быть также заданы между блоками А, В и блоками В, С, соответственно. Зазоры относятся к участкам на матрице, на которых светочувствительные пикселы не задают или на которых пикселы не могут быть активированы.

Специалист в данной облласти техники должен ясно представлять себе, как может работать датчик с временной задержкой и накоплением согласно таким вариантам осуществления. В этой заявке будут описаны в качестве не ограничивающих примеров некоторые варианты осуществления. Все они применимы к датчикам формирования изображения двух основных видов, то есть датчикам изображения с ПЗС-структурой и КМОП-структурой. В случае датчиков изображения с ПЗС-структурой операция временной задержки и накопления обычно выполняется в аналоговой области путем копирования заряда из одного набора пикселов в другой набор пикселов. В случае датчиков изображения с КМОП-структурой операция временной задержки и накопления обычно выполняется в цифровой области путем добавления цифрового значения из одного набора пикселов к цифровому значению другого набора пикселов. Однако временную задержку и накопление в цифровом и аналоговом виде можно применять к ПЗС-структурам и КМОП-структурам.

В оставшейся части этой заявки операция временной задержки и накопления описывается как передача значения пиксела, которая, как должно быть понятно, является аналоговой передачей заряда при использовании аналоговых временной задержки и накопления и передачей значения пиксела при использовании цифровых временной задержки и накопления.

Согласно фиг.9, датчик перемещается в положение сканирования относительно предметного стекла микроскопа и в то же время передается значение пиксела. В примере по фиг.9 предполагается, что операция временной задержки и накопления протекает вверх и перемещение образца относительно датчика также происходит вверх.

Каскад 90А (предпочтительно, чтобы каскад включал в себя полную строку пикселов) начинается с нулевых значений пикселов при каждом экспонировании, а значения пикселов из каскада 93А образуют конечное изображение в блока А после каждого экспонирования.

Для следующей единственной строки изображения образца во время полного цикла временной задержки и накопления процесс, который известен из уровня техники, заключается в следующем: во время экспонирования в момент t=0 времени изображение образца захватывается датчиком. При следующем экспонировании в t=1 образец перемещается так, что часть изображения образца, проецировавшаяся в t=0 на каскад 90А, теперь проецируется на каскад 91А. Между экспозициями в t=0 и t=1 значения пикселов в каскаде 90А копируются в каскад 91А. Во время экспонирования в t=1 значения пикселов, являющиеся следствием экспонирования каскада 91А, добавляются к уже имеющимся значениям, которые являются следствием экспонирования каскада 90А в t=0. Теперь значения в каскаде 91А являются суммой значений пикселов, являющихся следствием экспонирования каскада 90А в t=0 и экспонирования каскада 91А в t=1. Между экспозициями в t=1 и t=2 значения пикселов в каскаде 91А копируются в каскад 92А. Во время экспонирования в t=2 значения пикселов, являющиеся следствием экспонирования каскада 92А, добавляются к уже имеющимся значениям, которые являются следствием экспонирования каскада 90А в t=0, с добавлением значений от экспонирования каскада 91А в t=1. Теперь значения в каскаде 92А являются суммой значений пикселов, являющихся следствием экспонирования каскада 90А в t=0, и экспонирования каскада 91A в t=1, и экспонирования каскада 92А в t=2. Между экспозициями в t=2 и t=3 значения пикселов в каскаде 92А копируются в каскад 93А. Во время экспонирования в t=3 значения пикселов, являющиеся следствием экспонирования каскада 93А, добавляются к уже имеющимся значениям, которые являются следствием экспонирования каскада 90А в t=0, с добавлением значений от экспонирования каскада 91А в t=1 и каскада 92А в t=2. Теперь значения в каскаде 93А являются суммой значений пикселов, являющихся следствием экспонирования каскада 90А в t=0, и экспонирования каскада 91А в t=1, и экспонирования каскада 92А в t=2, и экспонирования каскада 93А в t=3. Поскольку изображение образца перемещается по датчику в одном и том же направлении и с той же самой скоростью, с которой выполняется операция временной задержки и накопления, в этом примере выполняются четыре одинаковые экспозиции одного и того же участка на образце. Это эквивалентно в четыре раза большему периоду экспонирования без замедления перемещения образца и без внесения дополнительной размытости изображения, вызванной движением.

Приведенное выше описание также применимо к любым другим блокам, таким как блоки ВВ и ВС.

Следует заметить, что в таких вариантах осуществления четыре каскада блоков с временной задержкой и накоплением могут захватывать изображение одного и того же участка при одном и том же фокусе.

В соответствии с этим каскады каждого блока с временной задержкой и накоплением могут быть отнесены от образца на примерно одно и то же расстояние.

Например, что касается рассмотренной первой детализированной реализации, описанной выше, то четыре каскада можно использовать для каждого блока. Таким образом, каждый из блоков с временной задержкой и накоплением может быть образован четырьмя строками пикселов, расположенными друг за другом с шагом, имеющим такой же размер, как размер b пиксела. Следует заметить, что шаг может обозначать расстояние между центрами двух соседних пикселов. Благодаря зазору каждый блок с временной задержкой и накоплением может быть отнесен на большее расстояние, чем шаг. Величина зазора определяет разрешение по Z позиционирования датчика по глубине. Может быть выгодно иметь относительно большой зазор и в то же время иметь индивидуальные пикселы каждого блока с временной задержкой и накоплением расположенными более близко друг к другу. Таким образом можно получать относительно большой диапазон Z без использования очень большого количества пикселов, поскольку индивидуальные каскады каждого блока с временной задержкой и накоплением находятся ближе друг к другу. В результате они осуществляют регистрацию на одинаковой глубине и поэтому снижается размытость изображения, обусловленная дефокусировкой одного или нескольких каскадов. Конечно, также можно не использовать зазор, и блоки с временной задержкой и накоплением будут подмассивами непрерывной полной матрицы пикселов.

С учетом количества параметров, приведенных в этой первой детализированной реализации, описанной выше, специалист в данной области техники без труда установит, что четыре каскада датчика с временной задержкой и накоплением формируют изображение с примерно одной и той же глубины в слое ткани, а именно, в пределах примерного диапазона, составляющего четыре раза по 3,3 нм.

Кроме того, в этом примере реализации для заданного диапазона глубин 10 мкм на практике можно выбирать сто (100) групп блоков с временной задержкой и накоплением, каждый из которых содержит 4 каскада с временной задержкой и накоплением. Эти четыре прилегающих каскада могут иметь ширину 20 мкм, тогда как зазор будет иметь ширину 140 мкм. При 400 пикселах по направлению Х датчика положение фокуса можно задавать и анализировать с точностью 100 нм, значение которой все же меньше, чем типичная глубина 1 мкм поля для сканера 40Х из этого примера.

По желанию зазор можно использовать для размещения блоков с временной задержкой и накоплением, предназначенных для получения разных цветов (например, красного, зеленого, голубого). Освещение белым светом можно использовать при наличии различных цветных фильтров на различных каскадах датчика с временной задержкой и накоплением или перед ними. Кроме того, датчик можно использовать без цветных фильтров. В этом случае освещение с последовательными цветами можно использовать, чтобы получать многоцветное изображение.

Хотя изобретение было показано на чертежах и подробно описано в изложенном выше описании, такие показ и описание следует считать иллюстративными или примерными и не препятствующим; изобретение не ограничено раскрытыми вариантами осуществления. При применении на практике заявленного изобретения на основании изучения чертежей, раскрытия и прилагаемой формулы изобретения специалисты в данной области техники могут представить себе и осуществить другие варианты.

В формуле изобретения слово «содержащий» не исключает других элементов или этапов, а указание единственного числа не исключает множества.

То, что некоторые признаки перечисляются во взаимно различных зависимых пунктах формулы изобретения, не означает, что комбинация этих признаков не может быть выгодно использована. Любые позиции в формуле изобретения не должны толковаться как ограничивающие объем.

Изобретение относится к способу микроскопического формирования изображения образца цифровым сканером, содержащим датчик, включающий в себя двумерный массив пикселов, и к цифровому сканирующему микроскопу, осуществляющему этот способ. Сканер содержит датчик, включающий в себя двумерный массив пикселов в системе координат XY. Ось Y является перпендикулярной к направлению сканирования. Сканер расположен так, что датчик может формировать изображение косого поперечного сечения образца. Способ содержит этапы активации первого подмассива двумерного массива пикселов. При этом первый подмассив продолжается преимущественно вдоль оси Y при первой координате X (X1) и включает в себя линию пикселов. Первое изображение создают путем формирования изображения первого участка образца посредством первого подмассива пикселов. При этом во время сканирования регулируют первую координату Х до обновленных позиций, при которых сканер определяет строку пикселов, которая будет в фокусе. Технический результат - непрерывная регулировка подмассива формирования изображения во время сканирования относительно фокуса. 2 н. и 13 з.п. ф-лы, 10 ил.

1. Способ микроскопического формирования изображения образца сканером, содержащим датчик, включающий в себя двумерный массив пикселов в системе координат XY, при этом ось Y является по существу перпендикулярной к направлению сканирования, причем сканер скомпонован так, чтобы датчик мог формировать изображение косого поперечного сечения образца, и при этом способ содержит этапы, на которых:
- активируют первый подмассив двумерного массива пикселов, при этом первый подмассив продолжается преимущественно вдоль оси Y при первой координате X (X1) и при этом упомянутый подмассив включает в себя линию пикселов,
- создают первое изображение, формируя изображение первого участка образца посредством упомянутого первого подмассива пикселов, и
- регулируют первую координату X во время процесса сканирования до обновленных позиций, при которых сканер определяет строку пикселов, которая будет в фокусе.

2. Способ по п. 1, дополнительно содержащий этапы, на которых:
- сканируют образец;
- активируют второй подмассив двумерного массива пикселов, при этом второй подмассив продолжается преимущественно вдоль оси Y при второй координате X (Х2), отличающейся от первой координаты X (X1),
- создают второе изображение, формируя изображение второго участка образца посредством второго подмассива пикселов.

3. Способ по п. 2, содержащий этап построения составного изображения образца путем объединения первого и второго изображений.

4. Способ по п. 1, содержащий этап предоставления первой координаты.

5. Способ по п. 1, содержащий этап определения первой координаты X (X1) так, чтобы первый подмассив был способен предоставить первое изображение при заранее заданном фокусе.

6. Способ по п. 2, содержащий этап определения первой и второй координат X (X1, Х2) так, чтобы первый и второй подмассивы были способны предоставить изображения при, по существу, одинаковом фокусе.

7. Способ по п. 1, содержащий этапы, на которых:
- формируют изображение второго участка образца с заранее заданным поднабором пикселов двумерного массива упомянутого датчика, при этом поднабор является отличающимся от подмассива пикселов,
- получают информацию о фокусе на основании этого изображения, и
- определяют первую координату X (X1) на основании информации о фокусе.

8. Способ по п. 7, содержащий этап активации заранее заданного поднабора пикселов так, чтобы он продолжался преимущественно вдоль оси X при прямоугольной форме.

9. Способ по п. 7 или 8, в котором поднабор пикселов распределяют по меньшей мере по двум отдельным областям в двумерном массиве пикселов.

10. Способ по п. 1, в котором образец имеет некоторую толщину и способ содержит этап предоставления информации о глубине (Z) в пределах толщины, на которой первый подмассив пикселов может формировать изображение образца при заранее заданном фокусе, и этап определения первой координаты X (X1) в соответствии с этой информацией о глубине.

11. Способ по любому из пп. 5-10, в котором заранее заданный фокус соответствует наилучшей фокусировке.

12. Способ по п. 1, в котором поперечное сечение образца является косым относительно направления сканирования.

13. Способ по п. 1, в котором сканер содержит держатель образца, включающий в себя удерживающую поверхность, и в котором двумерный массив пикселов лежит по существу в плоскости, которая образует угол наклона относительно указанной удерживающей поверхности.

14. Способ по п. 1, в котором двумерным датчиком массива управляют для имитации одномерного линейного датчика, активируя первый подмассив так, чтобы он содержал вдоль оси Y меньше чем три ряда пикселов, а предпочтительно только один ряд пикселов, или для имитации одномерного N-каскадного датчика с временной задержкой и накоплением, активируя первый подмассив так, чтобы он содержал вдоль оси Y в каждом каскаде меньше трех рядов пикселов, а предпочтительно только один ряд пикселов.

15. Сканирующий микроскоп для формирования изображения образца, содержащий
сканер,
при этом сканер содержит датчик, включающий в себя двумерный массив пикселов в системе координат XY,
ось Y, по существу перпендикулярную направлению сканирования,
причем сканер скомпонован так, чтобы датчик мог формировать изображение косого поперечного сечения образца, и
при этом сканирующий микроскоп выполнен с возможностью осуществления способа по любому из предшествующих пунктов.