ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение относится к системе для формирования синтезированного двухмерного (2D) изображения биологического образца с повышенной глубиной резкости, к способу формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости, а также к элементу компьютерной программы и машиночитаемому носителю.
УРОВЕНЬ ТЕХНИКИ
При традиционной диагностике рака (гисто)патологические изображения образцов ткани визуально анализируются специалистами по клиническим лабораторным исследованиям. С использованием микроскопа специалист по клиническим лабораторным исследованиям обследует ткань. Поскольку эти образцы содержат трехмерные (3D) структуры, и глубина резкости микроскопа ограничена, не все части будут находиться в фокусе. Посредством поворота рукоятки фокусировки специалист по клиническим лабораторным исследованиям может проходить через ткань в z-направлении (т.е., в направлении глубины). Однако с использованием цифрового микроскопа образцы ткани сканируются автоматически. В случае, если ткань просканирована на одной глубине, не все части ткани могут находиться в фокусе. Сканирование препаратов на нескольких глубинах приводит к сбору и хранению значительного объема данных.
Документ US2005/0089208A1 описывает систему и способ получения изображений микропрепарата.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Будет полезно иметь улучшенную методику для формирования изображения биологического образца, которое будет визуально анализироваться специалистами по клиническим лабораторным исследованиям.
Задача настоящего изобретения решена с помощью сущности независимых пунктов формулы изобретения, причем дополнительные варианты осуществления включены в зависимые пункты формулы изобретения. Следует отметить, что следующие описанные аспекты изобретения применяются также для системы для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости, способа формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости, и элемента компьютерной программы и машиночитаемого носителя.
В соответствии с первым аспектом обеспечена система для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости, система содержит:
- микроскоп-сканер; и
- блок обработки.
Микроскоп-сканер выполнен с возможностью собирать данные первого изображения в первой позиции в поперечном направлении биологического образца и данные второго изображения во второй позиции в поперечном направлении биологического образца. Микроскоп-сканер также выполнен с возможностью собирать данные третьего изображения в первой позиции в поперечном направлении и данные четвертого изображения во второй позиции в поперечном направлении, причем данные третьего изображения собираются на глубине, которая отличается от глубины для данных первого изображения, и данные четвертого изображения собираются на глубине, которая отличается от глубины для данных второго изображения. Блок обработки выполнен с возможностью формировать данные первого рабочего изображения для первой позиции в поперечном направлении, формирование содержит обработку данных первого изображения и данных третьего изображения посредством алгоритма совмещения фокуса. Блок обработки также выполнен с возможностью формировать данные второго рабочего изображения для второй позиции в поперечном направлении, формирование содержит обработку данных второго изображения и данных четвертого изображения посредством алгоритма совмещения фокуса, чтобы сформировать данные второго рабочего изображения для второй позиции в поперечном направлении. Блок обработки выполнен с возможностью объединять данные первого рабочего изображения и данные второго рабочего изображения во время сбора данных изображения, чтобы сформировать синтезированное двухмерное изображение биологического образца с повышенной глубиной резкости.
Обсуждение совмещения фокуса может быть найдено на следующей веб-странице: https://en.wikipedia.org/wiki/Focus_stacking.
Таким путем могут быть "на лету" собраны данные двухмерного изображения с повышенной глубиной резкости. Другими словами, двухмерное изображение с повышенной глубиной резкости может быть получено в потоковом режиме. Не требуется захватывать и сохранять всю последовательность файлов полного изображения и подвергать ее последующей обработке после полного сбора, а улучшенное изображение формируется по мере сбора данных изображения.
Другими словами, двухмерное изображение, которое простирается в направлениях x и y, может иметь признаки в фокусе в разных позициях x, y, причем эти признаки находятся в фокусе по диапазону глубин z, который больше, чем глубина фокусировки микроскопа-сканера в конкретной позиции x, y. И это двухмерное изображение с повышенной глубиной резкости формируется "на лету".
В примере микроскоп-сканер выполнен с возможностью собирать данные изображения первого сечения биологического образца, чтобы собрать данные первого изображения и данные второго изображения, и микроскоп-сканер выполнен с возможностью собирать данные изображения второго сечения биологического образца, чтобы собрать данные третьего изображения и данные четвертого изображения.
Другими словами, микроскоп-сканер может выполнять сканирование вверх (или вниз) по образцу или выполнять сканирование в поперечном направлении по образцу. Таким путем может быть получено "на лету" двухмерное изображение с повышенной глубиной резкости посредством сбора данных изображения на разных глубинах образца, и изображение боковых в поперечном направлении частей образца получается посредством одной и той же части детектора или разных частей детектора.
В примере микроскоп-сканер содержит детектор, выполненный с возможностью собирать данные изображения наклонного сечения биологического образца. В примере биологический образец является частью препарата клинических лабораторных исследований.
Таким образом, посредством сбора данных изображения наклонного сечения сканирование в горизонтальном или поперечном направлении также собирает данные в вертикальном направлении (по глубине). Сканирование в поперечном направлении может быть обеспечено, когда второе сечение смещается в горизонтальном или поперечном направлении от первого сечения в направлении, перпендикулярном оптической оси микроскопа-сканера. Например, линза объектива перемещается в поперечном направлении, чтобы сместить сечение в поперечном направлении, и/или образец перемещается в поперечном направлении относительно части формирования изображений и сбора данных микроскопа-сканера, чтобы сместить сечение в поперечном направлении. Другими словами, микроскоп выполняет сканирование по образцу с помощью датчика, который собирает данные на разных глубинах и в разных позициях в поперечном направлении одновременно. Поскольку датчик выполняет сбор данных наклонного сечения, датчик может теперь собирать данные в той же позиции в поперечном направлении относительно предыдущего сбора данных, но теперь на другой глубине. Таким путем можно сравнивать данные изображения в одной и той же позиции в поперечном направлении, но на разных глубинах, чтобы определить, какие данные изображения содержат признак, находящийся в наилучшем фокусе (признак на некоторой глубине в образце). Другими словами, в случае, когда признаком является ядро, разные части ядра могут находиться в фокусе на разных глубинах. Затем данные изображения с наилучшим фокусом в этой позиции в поперечном направлении могут использоваться, чтобы заполнять разрабатываемое изображение с повышенной глубиной резкости. В примере, по мере сканирования датчика в поперечном направлении, могут активироваться разные области датчика, так что область датчика собирает данные первого изображения, и другая область датчика собирает данные третьего изображения.
В примере детектор представляет собой двухмерный детектор, содержащий по меньшей мере две активных области. В примере каждая активная область выполнена как датчик с накоплением с задержкой (TDI).
Посредством обеспечения детектора TDI отношение сигнала к шуму может быть увеличено.
В примере микроскоп-сканер выполнен с возможностью собирать данные первого изображения в первой позиции в поперечном направлении биологического образца и на первой глубине и одновременно собирать данные второго изображения во второй позиции в поперечном направлении биологического образца и на второй глубине, причем первая глубина отличается от второй глубины; и причем микроскоп-сканер выполнен с возможностью собирать данные третьего изображения в первой позиции в поперечном направлении и на третьей глубине и одновременно собирать данные четвертого изображения во второй позиции в поперечном направлении и на четвертой глубине, причем третья глубина отличается от четвертой глубины.
Другими словами, микроскоп-сканер одновременно собирает данные в разных позициях в поперечном направлении и на различных глубинах, затем данные в одной и той же позиции в поперечном направлении, но на различных глубинах, могут быть сравнены, чтобы определить наилучшие данные изображения признака в этой позиции в поперечном направлении (т.е., те, которые находятся в наилучшем фокусе), которые должны использоваться в качестве рабочего изображения для формирования двухмерного изображения с повышенной глубиной резкости. Таким путем в единственным проходе сканирования детектора относительно образца в поперечном направлении данные изображения также собираются в направлении глубины, и это может эффективно использоваться для определения двухмерного изображения с повышенной глубиной резкости без необходимости сохранять все данные изображения и выполнять последующую обработку. Другими словами, формирование двухмерного изображения с повышенной глубиной резкости "на лету" может эффективно продвигаться.
В примере микроскоп-сканер имеет глубину фокусировки в первой позиции в поперечном направлении и во второй позиции в поперечном направлении, ни одна из которых не больше, чем расстояние в глубину между глубиной, на которой собираются данные первого изображения, и глубиной, на которой собираются данные второго изображения.
Таким путем данные изображения на разных глубинах могут быть эффективно собраны с оптимальным охватом глубины образца, которая больше, чем характерная глубина фокусировки микроскопа, но, когда данные изображения в конкретных позициях в поперечном направлении могут быть обработаны, чтобы обеспечить данные изображения в тех позициях в поперечном направлении, которые находятся в фокусе, но находятся в диапазоне глубин, которые больше глубины фокусировки камеры. Таким путем разные признаки на разных глубинах могут все находиться в фокусе на двухмерном изображении, имеющем повышенную глубину резкости, и это улучшенное изображение может быть собрано "на лету" без необходимости сохранять все собранные данные изображения, чтобы определить наилучшие данные изображения.
В примере образец находится в первой позиции относительно оптической оси микроскопа для сбора данных первого изображения и данных второго изображения, и образец находится во второй позиции относительно оптической оси для сбора данных третьего изображения и данных четвертого изображения.
В примере данные изображения содержат множество цветов, и причем блок обработки выполнен с возможностью обрабатывать данные изображения посредством алгоритма совмещения фокуса на основе данных изображения, которое содержит один или более из множества цветов.
В примере множество цветов может представлять собой красный, зеленый и синий. В примере блок обработки выполнен с возможностью обрабатывать данные изображения, которые соответствуют конкретному цвету - например, цвету, связанному с красителем, используемым для окрашивания признака или признаков в образце. Таким образом конкретный признак может быть получен с повышенной глубиной резкости. В другом примере различные цветовые каналы могут быть слиты, например, с использованием операции RGB2Y. Таким образом может быть увеличено отношение сигнала к шуму. Также, посредством применения этапа цветоделения могут быть использованы различные и наиболее оптимизированные двухмерные ядра сглаживания.
Во втором аспекте обеспечен способ формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости, содержащий:
a) сбор с помощью микроскопа-сканера данных первого изображения в первой позиции в поперечном направлении биологического образца и сбор с помощью микроскопа-сканера данных второго изображения во второй позиции в поперечном направлении биологического образца;
b) сбор с помощью микроскопа-сканера данных третьего изображения в первой позиции в поперечном направлении и сбор с помощью микроскопа-сканера данных четвертого изображения во второй позиции в поперечном направлении, причем данные третьего изображения собираются на глубине, которая отличается от глубины для данных первого изображения, и данные четвертого изображения собираются на глубине, которая отличается от глубины для данных второго изображения;
e) формирование данных первого рабочего изображения для первой позиции в поперечном направлении, формирование содержит обработку данных первого изображения и данных третьего изображения посредством алгоритма совмещения фокуса; и
f) формирование данных второго рабочего изображения для второй позиции в поперечном направлении, формирование содержит обработку данных второго изображения и данных четвертого изображения посредством алгоритма совмещения фокуса; и
l) объединение данных первого рабочего изображения и данных второго рабочего изображения во время сбора данных изображения, чтобы сформировать синтезированное двухмерное изображение биологического образца с повышенной глубиной резкости.
В примере этап a) содержит сбор данных первого изображения в первой позиции в поперечном направлении биологического образца и на первой глубине и одновременно сбор данных второго изображения во второй позиции в поперечном направлении биологического образца и на второй глубине, причем первая глубина отличается от второй глубины; и этап b) содержит сбор данных третьего изображения в первой позиции в поперечном направлении и на третьей глубине и одновременно сбор данных четвертого изображения во второй позиции в поперечном направлении и на четвертой глубине, причем третья глубина отличается от четвертой глубины.
В примере способ содержит:
c) вычисление первых энергетических данных для данных первого изображения и вычисление третьих энергетических данных для данных третьего изображения; и
d) вычисление вторых энергетических данных для данных второго изображения и вычисление четвертых энергетических данных для данных четвертого изображения; и
причем этап e) содержит выбор либо данных первого изображения, либо данных третьего изображения в качестве первого рабочего изображения, выбор содержит функцию первых энергетических данных и третьих энергетических данных; и
причем этап f) содержит выбор либо данных второго изображения, либо данных четвертого изображения в качестве второго рабочего изображения, выбор содержит функцию вторых энергетических данных и четвертых энергетических данных; и
причем частотная информация в данных изображения является репрезентативной для энергетических данных.
Таким образом, улучшенное изображение может быть эффективно сформировано таким образом, что в конкретной позиции в поперечном направлении оно имеет признак, который находится в наилучшем фокусе в этой позиции. Другими словами, в изображении независимо от глубины выбираются те признаки, которые находятся в наилучшем фокусе, как функция энергетических данных для данных изображения, и это может быть сделано "на лету" в потоковом режиме.
В примере способы содержат:
g) формирование первых рабочих энергетических данных как первых энергетических данных, если данные первого изображения выбраны в качестве первого рабочего изображения, или формирование первых рабочих энергетических данных как третьих энергетических данных, если данные третьего изображения выбраны в качестве первого рабочего изображения; и
h) формирование вторых рабочих энергетических данных как вторых энергетических данных, если данные второго изображения выбраны в качестве второго рабочего изображения, или формирование вторых рабочих энергетических данных как четвертых энергетических данных, если данные четвертого изображения выбраны, когда второе рабочее изображение является данными четвертого изображения.
Таким образом, должно сохраняться только уже сформированное двухмерное изображение с повышенной глубиной резкости (рабочее изображение), которое лежит за уже пройденной (или отсканированной) детектором областью, а также должен сохраняться файл рабочих энергетических данных, ассоциированный с пикселями двухмерного улучшенного изображения, которое может обновляться. Следовательно, запоминающее устройство данных минимизируется, и двухмерное изображение с повышенной глубиной резкости может дополнительно обновляться на основе сравнения собранных в настоящий момент энергетических данных с сохраненными энергетическими данными, чтобы обновить улучшенное изображение.
В примере способ дополнительно содержит:
i) сбор данных пятого изображения в первой позиции в поперечном направлении и сбор данных шестого изображения во второй позиции в поперечном направлении, причем данные пятого изображения собираются на глубине, которая отличается от глубины для данных первого и третьего изображений, и данные шестого изображения собираются на глубине, которая отличается от глубины для данных второго и четвертого изображений; и
j) формирование новых данных первого рабочего изображения для первой позиции в поперечном направлении, формирование содержит обработку данных пятого изображения и данных первого рабочего изображения посредством алгоритма совмещения фокуса, причем новые данные первого рабочего изображения становятся данными первого рабочего изображения; и
k) формирование новых данных второго рабочего изображения для второй позиции в поперечном направлении, формирование содержит обработку данных шестого изображения и данных второго рабочего изображения посредством алгоритма совмещения фокуса, причем новые данные второго рабочего изображения становятся данными второго рабочего изображения.
Другими словами, данные рабочего изображения для позиции в поперечном направлении могут быть обновлены на основе новых данных изображения, которые собраны в этой позиции в поперечном направлении, чтобы обеспечить наилучшее изображение в этой позиции в поперечном направлении, без необходимости сохранять все предыдущие данные изображения, и это может быть достигнуто по мере сбора данных. Как только детектор полностью прошел конкретную позицию в поперечном направлении, данные изображения будут сформированы из наилучших данных изображения, собранных в этой позиции в поперечном направлении, и это будет определено "на лету" без необходимости сохранять данные каждого индивидуального изображения, только данные рабочего изображения должны сохраняться для этой позиции в поперечном направлении.
В соответствии с другим аспектом обеспечен элемент компьютерной программы, управляющий описанным ранее устройством, который, когда элемент компьютерной программы исполняется блоком обработки, выполнен с возможностью выполнять этапы описанного ранее способа.
В соответствии с другим аспектом, обеспечен машиночитаемый носитель, хранящий описанный ранее компьютерный элемент.
Предпочтительно преимущества, обеспеченные любыми из упомянутых выше аспектов и примеров, в равной степени относятся ко всем другим аспектам и примерам, и наоборот.
Упомянутые выше аспекты и примеры станут очевидны из описанных далее вариантов осуществления и будут разъяснены со ссылкой на них.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Иллюстративные варианты осуществления будут описаны далее со ссылкой на следующие чертежи.
Фиг. 1 показывает схематическую конфигурацию примера системы для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости;
Фиг. 2 показывает способ формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости;
Фиг. 3 показывает иллюстративное изображение вариации фокуса в образце ткани;
Фиг. 4 схематично показывает содержание изображения, показанного на фиг. 3;
Фиг. 5 схематично показывает пример совмещения фокуса, когда более чем одно изображение объединяется в единственное изображение;
Фиг. 6 схематично показывает две диаграммы поперечного сечения готового препарата ткани;
Фиг. 7 схематично показывает пример микроскопа-сканера;
Фиг. 8 схематично показывает поперечное сечение образца с проекцией двухмерной детекторной матрицы, показанной в двух позициях по вертикали;
Фиг. 9 схематично показывает поперечное сечение образца с проекцией двухмерной детекторной матрицы, показанной в двух позициях по горизонтали (в поперечном направлении);
Фиг. 10 схематично показывает готовый препарат ткани и проекцию двухмерной детекторной матрицы;
Фиг. 11 схематично показывает поперечное сечение готового препарата ткани с проекцией показанной двухмерной детекторной матрицы;
Фиг. 12 схематично показывает иллюстративную двухмерную детекторную матрицу;
Фиг. 13 схематично показывает пример избыточной выборки образцов;
Фиг. 14 схематично показывает несколько визуализируемых областей или слоев;
Фиг. 15 схематично показывает пример системы для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости;
Фиг. 16 показывает иллюстративный поток операций для совмещения фокуса;
Фиг. 17 показывает слева иллюстративное изображение, которое не имеет повышенной глубины резкости, и справа показано синтезированное двухмерное изображения с повышенной глубиной резкости;
Фиг. 18 схематично показывает содержание изображений, показанных на фиг. 17.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Фиг. 1 показывает систему 10 для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости. Система 10 содержит: микроскоп-сканер 20 и процессор 30. Микроскоп-сканер 20 выполнен с возможностью собирать данные первого изображения в первой позиции в поперечном направлении биологического образца и данные второго изображения во второй позиции в поперечном направлении биологического образца. Микроскоп-сканер 20 также выполнен с возможностью собирать данные третьего изображения в первой позиции в поперечном направлении и данные четвертого изображения во второй позиции в поперечном направлении. Данные третьего изображения собираются на глубине, которая отличается от глубины для данных первого изображения, и данные четвертого изображения собираются на глубине, которая отличается от глубины для данных второго изображения. Блок обработки 30 выполнен с возможностью формировать данные первого рабочего изображения для первой позиции в поперечном направлении, формирование содержит обработку данных первого изображения и данных третьего изображения посредством алгоритма совмещения фокуса. Блок обработки 30 также дополнительно выполнен с возможностью формировать данные второго рабочего изображения для второй позиции в поперечном направлении, формирование содержит обработку данных второго изображения и данных четвертого изображения посредством алгоритма совмещения фокуса, чтобы сформировать данные второго рабочего изображения для второй позиции в поперечном направлении. Блок обработки 30 выполнен с возможностью объединять данные первого рабочего изображения и данные второго рабочего изображения во время сбора данных изображения, чтобы сформировать синтезированное двухмерное изображение биологического образца с повышенной глубиной резкости.
В примере микроскоп-сканер имеет глубину фокусировки в первой позиции в поперечном направлении, которая не больше, чем расстояние в глубину между глубиной, на которой собираются данные первого изображения, и глубиной, на которой собираются данные третьего изображения.
В примере движение от первой позиции в поперечном направлении ко второй позиции в поперечном направлении в значительной степени параллельно направлению сканирования системы.
В соответствии с примером микроскоп-сканер выполнен с возможностью собирать данные изображения первого сечения биологического образца, чтобы собрать данные первого изображения и данные второго изображения. Микроскоп-сканер также выполнен с возможностью собирать данные изображения второго сечения биологического образца, чтобы собрать данные третьего изображения и данные четвертого изображения.
В примере второе сечение смещается вертикально от первого сечения в направлении, параллельном оптической оси микроскопа-сканера. В примере линза объектива перемещается в вертикальном направлении для вертикального смещения сечения. В примере образец перемещается в вертикальном направлении относительно части формирования изображений и сбора данных микроскопа-сканера для вертикального смещения сечения.
В примере второе сечение смещается горизонтально или в поперечном направлении от первого сечения в направлении, перпендикулярном по отношению к оптической оси микроскопа-сканера. В примере линза объектива перемещается в поперечном направлении, чтобы сместить сечение в поперечном направлении. В примере образец перемещается в поперечном направлении относительно части формирования изображений и сбора данных микроскопа-сканера для смещения сечения в поперечном направлении.
В соответствии с примером микроскоп-сканер содержит детектор 40, выполненный с возможностью собирать данные изображения наклонного сечения биологического образца. В примере образец является препаратом патологического исследования. Другими словами, исследуется препарат патологического исследования.
В примере области датчика активируются с использованием информации, выведенной из датчика автофокуса, например, как описано в документе WO2011/161594A1. Другими словами, признак может быть отслежен посредством предоставления возможности активировать подходящие области датчика, чтобы собрать данные этого признака с надлежащей хорошей степенью фокусировки для формирования части изображения с повышенной глубиной резкости по мере изменения этого признака по глубине в образце.
В примере второе сечение смещается и вертикально, и в поперечном направлении от первого сечения. В примере линза объектива перемещается в вертикальном направлении и перемещается в поперечном направлении для смещения сечения. В примере детектор также перемещается в поперечном направлении, когда линза объектива перемещается в поперечном направлении, чтобы гарантировать, что проецируемое изображение остается в поле зрения системы формирования изображений. В примере образец перемещается в вертикальном направлении и перемещается в поперечном направлении относительно части формирования изображений и сбора данных микроскопа-сканера для смещения сечения. В примере линза объектива перемещается в вертикальном направлении, и образец перемещается в поперечном направлении относительно части формирования изображений и сбора данных микроскопа-сканера для смещения сечения. В примере линза объектива перемещается в поперечном направлении, и образец перемещается в вертикальном направлении относительно части формирования изображений и сбора данных микроскопа-сканера для смещения сечения. В примере детектор также перемещается в поперечном направлении, когда линза объектива перемещается в поперечном направлении, чтобы гарантировать, что проецируемое изображение остается в поле зрения системы формирования изображений. В примере перед сбором данных изображения с повышенной глубиной фокусировки формируется изображение образца для оценки позиции признака или признаков как функции глубины в разных позициях в поперечном направлении (x, y) образца. Затем, когда образец сканируют для формирования изображения с повышенной глубиной фокусировки, линза объектива может быть перемещена вертикально в разных позициях в поперечном направлении, и/или образец может быть перемещен в вертикальном направлении, в результате чего одни и те же области датчика могут быть активированы, чтобы следовать за признаком по мере того, как он изменяет глубину в образце, чтобы собрать данные этого признака с надлежащей хорошей степенью фокусировки для формирования части изображения с повышенной глубиной резкости по мере изменения этого признака по глубине в образце.
В примере детектор наклонен, чтобы обеспечить наклонное сечение. В примере детектор наклонен относительно оптической оси микроскопа-сканера. Другими словами, в нормальной "не наклоненной" конфигурации микроскопа излучение от объекта отображается на детектор таким образом, что излучение взаимодействует с детектором в направлении, в значительной степени перпендикулярном по отношению к поверхности детектора. Однако с детектором, наклоненным для обеспечения наклонного сечения, излучение взаимодействует с детектором в направлении, которое не перпендикулярно по отношению к поверхности детектора.
В примере наклонное сечение получается оптически, например, с помощью призмы.
В примере данные первого изображения и данные третьего изображения собираются разными частями детектора, и данные второго изображения и данные четвертого изображения собираются разными частями детектора.
В соответствии с примером детектор 40 представляет собой двухмерный детектор, содержащий по меньшей мере две активных области. В примере каждая активная область выполнена как датчик с накоплением с задержкой (TDI).
В примере детектор имеет по меньшей мере четыре активных области. Другими словами, по мере перемещения проекции детектора в образце в поперечном направлении она также может перемещаться вертикально, и в этом случае две активных области могут собирать данные первого, второго, третьего и четвертого изображений. Однако, по мере перемещения проекции детектора в поперечном направлении, она может оставаться в одной и той же позиции по вертикали, и в этом случае четыре активных области могут собирать данные первого, второго, третьего и четвертого изображений.
В примере детектор выполнен с возможностью обеспечивать по меньшей мере два линейных изображения, причем данные первого изображения формируются из подмножества первого из линейных изображений, и данные второго изображения формируются из подмножества второго из линейных изображений.
В примере активная область выполнена с возможностью собирать линию данных изображения в значительной степени на одной и той же глубине в образце.
Другими словами, двухмерный детектор собирает данные поперечного сечения биологического образца, собирая данные изображений в диапазоне координат x, y. В нескольких координатах x детектор имеет несколько линейных датчиков, которые простираются в направлении Y. Если детектор собирает данные наклонного поперечного сечения, то каждый из этих линейных датчиков также собирает данные на разных координатах z (глубинах), причем каждое линейное изображение может собирать данные изображения на одной и той же глубине, например, если сечение наклонено только по одной оси. Если бы использовались изображения вдоль линейного датчика, получилось бы смазанное изображение, таким образом, используется секция линейного изображения. Однако в примере данные изображения вдоль линейного датчика суммируются и впоследствии фильтруются с помощью полосового фильтра - для дополнительной информации см. документ US4141032A.
В примере используются все сечения вдоль линейного сечения. Таким образом, в каждой позиции x, y данные изображения, которые находится в наилучшем фокусе в конкретной позиции z (на глубине), могут быть выбраны для заполнения потокового двухмерного улучшенного формируемого изображения с повышенной глубиной фокусировки.
В примере детектор содержит три или более активных областей, каждая из которых выполнена с возможностью собирать данные изображения на разной глубине в образце, причем глубина, на которой активная область отображает часть образца, отличается от глубины, на которой смежная активная область отображает часть образца, причем это различие по глубине по меньшей мере равно глубине фокусировки микроскопа. Другими словами, по мере того, как детектор выполняет сканирование в поперечном направлении, каждая из активных областей проходит "слой", в котором признаки будут находиться в фокусе, поскольку этот слой имеет глубину, равную глубине фокусировки микроскопа, и активная область собирает данные этого слоя. Например, по образцу могут проходить 8 слоев, тогда эти 8 слоев простираются вглубь на расстояние по меньшей мере равное 8-кратной глубине фокусировки детектора. Другими словами, когда детектор начинает выполнять сканирование в поперечном направлении, для простого случая, когда детектор не выполняет сканирование в вертикальном направлении (т.е. линза или образец не перемещается в направлении глубины), то в конкретной позиции x первоначально два изображения, полученные активными областями 1 и 2 (с перемещением сечения детектора в поперечном направлении между получениями изображений) на разных, но смежных глубинах, сравниваются с наилучшим изображением из областей 1 или 2, формирующим рабочее изображение. Сечение детектора перемещается в поперечном направлении, и теперь изображение, полученное активной областью 3 в позиции x и на смежной, но другой глубине по сравнению с глубиной для изображения 2, сравнивается с рабочим изображением, и рабочее изображение либо остается неизменным, либо становится изображением 3, если изображение 3 находится в более хорошем фокусе, чем рабочее изображение (таким образом, рабочее изображение может теперь быть любым из изображений 1, 2 или 3). Сечение детектора снова перемещается в поперечном направлении, и изображение, полученное активной областью 4 в позиции x, но снова на другой смежной глубине, сравнивается с рабочим изображением. Таким образом, после того, как изображение, полученное восьмой активной областью, сравнивается с рабочим изображением, и рабочее изображение либо становится восьмыми данными изображения, либо остается в качестве рабочего изображения, тогда в позиции x любое из изображений 1-8, которое находилось в наилучшем фокусе, формирует рабочее изображение, которое теперь находится в фокусе. В приведенном выше случае активные области могут быть разделены более, чем на глубину фокусировки микроскопа, или может иметься более 8 активных областей. Таким образом, признак может быть отображен в одном проходе сканирования детектора, когда глубина этого признака в образце варьируется больше, чем глубина фокусировки образца, и когда обеспечивается двухмерное изображение с повышенной глубиной фокусировки без необходимости сохранять каждое из изображений "слоя", вместо этого сохраняется только рабочее изображение и сравнивается с данными изображения, собираемыми в настоящее время, в результате чего улучшенное изображение получается "на лету". В примере система содержит систему автофокуса, посредством чего сечение (проекция детектора в образце) перемещается вертикально, а также горизонтально, например, следуя за образцом, который сам изменяется в направлении z - например, образец ткани может быть сохранен в микропрепаратах, которые изогнуты, в результате чего центральная часть препаратов изогнута вертикально по направлению к детектору по сравнению с периферией препаратов.
В примере микроскоп-сканер сконфигурирован таким образом, что наклонное сечение сформировано так, что сечение наклонено в поперечном направлении, например, в направлении сканирования. Другими словами, каждый линейный датчик детектора, когда он формирует одно сечение, находится в различной позиции х и на различной глубине z, но простирается в значительной степени по одному и тому же диапазону координат y. Другими словами, каждый линейный датчик в значительной степени перпендикулярен по отношению к поперечному направлению сканирования, и, таким образом, наибольший объем может быть пройден в каждом проходе сканирования детектора относительно образца.
В соответствии с примером микроскоп-сканер выполнен с возможностью собирать данные первого изображения в первой позиции в поперечном направлении биологического образца и на первой глубине и одновременно собирать второе изображение во второй позиции в поперечном направлении биологического образца и на второй глубине, причем первая глубина отличается от второй глубины. Микроскоп-сканер также выполнен с возможностью собирать данные третьего изображения в первой позиции в поперечном направлении и на третьей глубине и одновременно собирать данные четвертого изображения во второй позиции в поперечном направлении и на четвертой глубине, причем третья глубина отличается от четвертой глубины.
В соответствии с примером микроскоп-сканер имеет глубину фокусировки в первой позиции в поперечном направлении и во второй позиции в поперечном направлении, ни одна из которых не больше, чем расстояние в глубину между глубиной, на которой собираются данные первого изображения, и глубина, на которой собираются данные второго изображения.
В соответствии с примером образец находится в первой позиции относительно оптической оси микроскопа для сбора данных первого изображения и данных второго изображения, и образец находится во второй позиции относительно оптической оси для сбора данных третьего изображения и данных четвертого изображения.
В примере образец выполнен с возможностью быть перемещенным в поперечном направлении относительно оптической оси, причем образец находится в первой позиции для сбора данных первого и второго изображений, и образец находится во второй позиции для сбора данных третьего и четвертого изображений.
В соответствии с примером данные изображения содержат множество цветов, и причем блок обработки выполнен с возможностью обрабатывать данные изображения посредством алгоритма совмещения фокуса на основе данных изображения, которые содержит один или более из множества цветов.
В примере множество цветов может представлять собой красный, зеленый и синий. В примере блок обработки выполнен с возможностью обрабатывать данные изображения, которые соответствуют конкретному цвету - например, цвету, связанному с красителем, используемым для окрашивания признака или признаков в образце. Таким образом данные конкретного признака могут быть собраны с повышенной глубиной резкости. В другом примере различные цветовые каналы могут быть слиты, например, с использованием операции RGB2Y. Таким путем может быть увеличено отношение сигнала к шуму. Кроме того, посредством применения этапа цветоделения могут быть использованы различные и наиболее оптимизированные двухмерные ядра сглаживания.
В примере данные первого рабочего изображения являются либо данными первого изображения, либо данными третьего изображения, и данные второго рабочего изображения являются либо данными второго изображения, либо данными четвертого изображения.
Другими словами, собираются данные наилучшей фокальной позиции конкретного признака, и они используются для заполнения формируемого потокового улучшенного изображения.
В примере блок обработки выполнен с возможностью вычислять первые энергетические данные для данных первого изображения и вычислять третьи энергетические данные для данных третьего изображения, и формирование первого рабочего изображения содержит выбор либо данных первого изображения, либо данных третьего изображения как функцию первых энергетических данных и третьих энергетических данных, причем блок обработки выполнен с возможностью вычислять вторые энергетические данные для данных второго изображения и вычислять четвертые энергетические данные для данных четвертого изображения, и формирование второго рабочего изображения содержит выбор либо данных второго изображения, либо данных четвертого изображения как функцию вторых энергетических данных и четвертых энергетических данных. Следует снова упомянуть, что "данные изображения" здесь не обязательно означают все данные изображения, собранные детектором, например, вдоль линейного изображения. Вместо этого выбор выполняется на основе пикселя, и это означает, например, что подмножество одной линии сканирования может сформировать данные первого изображения. Причина этого состоит в том, что части линии сканирования могут находиться в фокусе, и они должны быть слиты с другими релевантными частями рабочего изображения, которые находятся в фокусе.
В примере высокочастотный фильтр используется для вычисления энергетических данных. В примере высокочастотный фильтр является фильтром Лапласа. При этом в каждой позиции в поперечном направлении признаки, которые находятся в наилучшем фокусе на конкретной глубине, могут быть выбраны и использованы в двухмерном изображении с повышенной глубиной резкости.
В примере, после фильтрации применяется операция сглаживания. Таким образом может быть сокращен шум.
В примере вместо применения фильтра Лапласа собранные данные переводятся в область вейвлетов, в которой высокочастотная подполоса может использоваться в качестве представления энергии. Это может быть объединено со сжатием iSyntax (см., например, документ US6711297B1 или US6553141).
В примере вместо выбора либо данных первого изображения, либо данных третьего изображения данные первого изображения и данные третьего изображения объединяются с использованием конкретных весовых коэффициентов на основе распределения энергии данных первого изображения и данных третьего изображения.
В примере блок обработки выполнен с возможностью формировать первые рабочие энергетические данные как первые энергетические данные, если данные первого изображения выбраны в качестве первого рабочего изображения, или формировать первые рабочие энергетические данные как третьи энергетические данные, если данные третьего изображения выбраны в качестве первого рабочего изображения, причем блок обработки выполнен с возможностью формировать вторые рабочие энергетические данные как вторые энергетические данные, если данные второго изображения выбраны в качестве второго рабочего изображение, или формировать вторые рабочие энергетические данные как четвертые энергетические данные, если данные четвертого изображения выбраны, когда второе рабочее изображение является данными четвертого изображения.
В примере микроскоп-сканер выполнен с возможностью собирать данные пятого изображения в первой позиции в поперечном направлении и собирать данные шестого изображения во второй позиции в поперечном направлении, причем данные пятого изображения собираются на глубине, которая отличается от глубины для данных первого и третьего изображений, и данные шестого изображения собираются на глубине, которая отличается от глубины для данных второго и четвертого изображений; причем блок обработки выполнен с возможностью формировать новые данные первого рабочего изображения для первой позиции в поперечном направлении, формирование содержит обработку данных пятого изображения и данных первого рабочего изображения посредством алгоритма совмещения фокуса, причем новые данные первого рабочего изображения становятся данными первого рабочего изображения; и блок обработки выполнен с возможностью формировать новые данные второго рабочего изображения для второй позиции в поперечном направлении, формирование содержит обработку данных шестого изображения и данных второго рабочего изображения посредством алгоритма совмещения фокуса, причем новые данные второго рабочего изображения становятся данными второго рабочего изображения.
В примере блок обработки выполнен с возможностью вычислять пятые энергетические данные для данных пятого изображения и вычислять шестые энергетические данные для данных шестого изображения; причем блок обработки выполнен с возможностью формировать новые первые рабочие энергетические данные как пятые энергетические данные, если первое рабочее изображение выбрано в качестве пятого рабочего изображения, или формировать новые первые рабочие энергетические данные как существующие первые рабочие энергетические данные, если первое рабочее изображение выбрано в качестве существующего первого рабочего изображения; и причем блок обработки выполнен с возможностью формировать новые вторые рабочие энергетические данные как шестые энергетические данные, если второе рабочее изображение отобрано в качестве шестого рабочего изображения, или формировать новые вторые рабочие энергетические данные как существующие вторые рабочие энергетические данные, если второе рабочее изображение выбрано в качестве существующего второго рабочего изображения.
В примере определяется количественный показатель суммы энергии в конкретной позиции в поперечном направлении (т.е., в координате x). Таким путем может быть определена толщина ткани, поскольку она связана с энергией в каждом изображении (например, связана с энергией в каждом слое).
Фиг. 2 показывает способ 100 формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости в его базовых этапах. Способ содержит следующие этапы.
На этапе 110 сбора, также называемом этапом a), микроскоп-сканер 20 используется для сбора данных первого изображения в первой позиции в поперечном направлении биологического образца и используется для сбора данных второго изображения во второй позиции в поперечном направлении биологического образца.
На этапе 120 сбора, также называемом этапом b), микроскоп-сканер используется для сбора данных третьего изображения в первой позиции в поперечном направлении и используется для сбора данных четвертого изображения во второй позиции в поперечном направлении, причем данные третьего изображения собираются на глубине, которая отличается от глубины для данных первого изображения, и данные четвертого изображения собираются на глубине, которая отличается от глубины для данных второго изображения.
На этапе 130 формирования, также называемом этапом e), данные первого рабочего изображения формируются для первой позиции в поперечном направлении, формирование содержит обработку данных первого изображения и данных третьего изображения посредством алгоритма совмещения фокуса.
На этапе 140 формирования, также называемом этапом f), данные второго рабочего изображения формируются для второй позиции в поперечном направлении, формирование содержит обработку данных второго изображения и данных четвертого изображения посредством алгоритма совмещения фокуса.
На этапе 150 объединения, также называемом этапом l), данные первого рабочего изображения и данные второго рабочего изображения объединяются по мере сбора данных изображения, чтобы формировать синтезированное двухмерное изображение биологического образца с повышенной глубиной резкости.
В примере микроскоп-сканер выполнен с возможностью собирать данные изображения первого сечения биологического образца, чтобы собрать данные первого изображения и данные второго изображения, и микроскоп-сканер выполнен с возможностью собирать данные изображения второго сечения биологического образца, чтобы собрать данные третьего изображения и данные четвертого изображения.
В примере микроскоп-сканер содержит детектор, выполненный с возможностью собирать данные изображения наклонного сечения биологического образца.
В примере детектор представляет собой двухмерный детектор, содержащий по меньшей мере две активных области. В примере каждая активная область выполнена как датчик с накоплением с задержкой (TDI).
В соответствии с примером этап a) содержит сбор данных первого изображения в первой позиции в поперечном направлении биологического образца и на первой глубине и одновременно сбор данных второго изображения во второй позиции в поперечном направлении биологического образца и на второй глубине, причем первая глубина отличается от второй глубины; и этап b) содержит сбор данных третьего изображения в первой позиции в поперечном направлении и на третьей глубине и одновременно сбор данных четвертого изображения во второй позиции в поперечном направлении и на четвертой глубине, причем третья глубина отличается от четвертой глубины.
В примере образец находится в первой позиции относительно оптической оси микроскопа для сбора данных первого изображения и данных второго изображения, и образец находится во второй позиции относительно оптической оси для сбора данных третьего изображения и данных четвертого изображения.
В примере образец выполнен с возможностью быть перемещенным в поперечном направлении относительно оптической оси, причем образец находится в первой позиции для сбора данных первого и второго изображений, и образец находится во второй позиции для сбора данных третьего и четвертого изображений.
В примере данные изображения содержат множество цветов, и причем блок обработки выполнен с возможностью обрабатывать данные изображения посредством алгоритма совмещения фокуса на основе данных изображения, которые содержит один или более из множества цветов.
В примере данные первого рабочего изображения являются либо данными первого изображения, либо данными третьего изображения, и данные второго рабочего изображения являются либо данными второго изображения, либо данными четвертого изображения.
В соответствии с примером способ содержит:
На этапе 160, также называемом этапом c), вычисляются первые энергетические данные для данных первого изображения, и вычисляются третьи энергетические данные для данных третьего изображения.
На этапе 170 вычисления, также называемом этапом d), вычисляются вторые энергетические данные для данных второго изображения, и вычисляются четвертые энергетические данные для данных четвертого изображения; и
причем этап e) содержит выбор либо данных первого изображения, либо данных третьего изображения в качестве первого рабочего изображения, выбор содержит функцию первых энергетических данных и третьих энергетических данных; и причем этап f) содержит выбор либо данных второго изображения, либо данных четвертого изображения в качестве второго рабочего изображения, выбор содержит функцию вторых энергетических данных и четвертых энергетических данных. Следует напомнить, что этот выбор может выполняться на локальном уровне (на уровне пикселя или нескольких пикселей), а не для всей линии пикселей, другими словами, на уровне, относящемся к частям линии пикселей.
В соответствии с примером способы содержат:
На этапе формирования, также называемом этапом g), первые рабочие энергетические данные формируются 180 как первые энергетические данные, если данные первого изображения выбраны в качестве первого рабочего изображения, или первые рабочие энергетические данные формируются 190 как третьи энергетические данные, если данные третьего изображения выбраны в качестве первого рабочего изображения; и
На этапе формирования, также называемом этапом h), вторые рабочие энергетические данные формируются 200 как вторые энергетические данные, если данные второго изображения выбраны в качестве второго рабочего изображения, или вторые рабочие энергетические данные формируются 210 как четвертые энергетические данные, если данные четвертого изображения выбраны, когда второе рабочее изображение является данными четвертого изображения.
Следует напомнить, что детектор может собирать линейные данные изображения, в результате чего первое изображение является подмножеством этих линейных данных изображения и т.д., и выбор может выполняться на локальном (пиксельном) уровне, в результате чего изображения могут быть объединены для создания нового рабочего изображения, имеющего находящиеся в фокусе признаки, каждый из которых происходит из входных изображений.
В соответствии с примером способ дополнительно содержит:
При сборе, также называемом этапом i), данные пятого изображения собираются 220 в первой позиции в поперечном направлении, и данные шестого изображения собираются 230 во второй позиции в поперечном направлении, причем данные пятого изображения собираются на глубине, которая отличается от глубины для данных первого и третьего изображений, и данные шестого изображения собираются на глубине, которая отличается от глубины для данных второго и четвертого изображений.
На этапе формирования 240, также называемом этапом j), новые данные первого рабочего изображения формируются для первой позиции в поперечном направлении, формирование содержит обработку данных пятого изображения и данных первого рабочего изображения посредством алгоритма совмещения фокуса, причем новые данные первого рабочего изображения становятся данными первого рабочего изображения.
На этапе формирования 250, также называемом этапом k), новые данные второго рабочего изображения формируются для второй позиции в поперечном направлении, формирование содержит обработку данных шестого изображения и данных второго рабочего изображения посредством алгоритма совмещения фокуса, причем новые данные второго рабочего изображения становятся данными второго рабочего изображения.
Система и способ формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости теперь будут описаны более подробно со ссылкой на фиг. 3-18.
Фиг. 3 и 4 помогает показать проблему, решенную посредством системы и способа формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости. В патологии изображения образцов ткани или мазков анализируются с использованием микроскопа. В гистопатологии и/или цитопатологии специалист по клиническим лабораторным исследованиям изучает ткань, чтобы сделать диагноз. Образец ткани представляет собой тонкий срез ткани, установленный между двумя стеклянными пластинами. Эта ткань не является совершенно плоской и, как правило, не совершенно выровнена с фокальной плоскостью системы формирования изображений. Кроме того, клетки ткани размещены на разной высоте в слое ткани. Следовательно, значительная часть клеток в двухмерном изображении ткани будет находиться не в фокусе. Это иллюстрировано на фиг. 3 и 4, которые показывают вариации фокуса в образце ткани, наблюдаемые при усилении 20x. На левом изображении обеих из этих фигур сплошные линии указывают несколько ядер, которые находятся в надлежащем фокусе. На правом изображении обеих из этих фигур увеличенное сечение левого изображения показывает ядро в фокусе и ядро, которое находится не в фокусе. Микроскоп, используемый для получения этого изображение, сфокусирован на глубине, на которой расположено ядро, которое находится в фокусе. Микроскоп имеет глубину фокусировки, в результате чего признаки на той глубине фокусировки в большей или меньшей степени находятся в фокусе. Однако ядро в верхней части правого увеличенного изображения расположено на глубине, которая находится за пределами этой глубины фокусировки, в результате чего находится не в фокусе.
На практике специалист по клиническим лабораторным исследованиям использует рукоятку точной настройки фокуса микроскопа для перемещения к правильной плоскости в z-направлении. В настоящее время специалисты по клиническим лабораторным исследованиям все больше переходят к цифровому рабочему процессу. Тогда данные изображения собираются с помощью цифрового сканера и сохраняются на сервере, и специалисты по клиническим лабораторным исследованиям анализируют изображения на экране. Поскольку оптика цифрового сканера также имеет ограниченную глубину резкости, требуется трехмерное сканирование образца ткани. Однако это приводит к требованию хранения большого объема данных.
Фиг. 5 схематично показывает пример методики совмещения фокуса. Микроскоп используется для сбора данных изображений мухи, имеющих глубину, которая больше глубины фокусировки микроскопа. Собираются несколько цифровых изображений на разных фокусных расстояниях, в результате чего на разных изображениях в фокусе находятся разные части мухи. В одном изображении передняя часть мухи находится в фокусе, в то время как задняя часть мухи находится не в фокусе. В другом изображении передняя часть мухи находится не в фокусе, в то время как задняя часть мухи находится в фокусе. Другими словами, собирается стопка изображений, причем каждое изображение представляет собой двухмерное изображение на конкретной глубине фокусировки. После того, как изображения собраны, они могут быть сравнены для определения, какие части мухи в каком изображении находятся в фокусе. Затем из находящихся в фокусе частей мухи из разных изображений формируется составное изображение. Однако все изображения на разных глубинах фокусировки должны быть сохранены, что требует очень большого буфера изображений, и улучшенное изображение определяется только после того, как были собраны все изображения, и каждое изображение относится только к одной глубине.
Система и способ формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости решает упомянутые выше проблемы посредством обеспечения потоковой методики совмещения фокуса, которая может быть применена для преобразования данных изображения в искусственное (синтезированное) двухмерное изображение с повышенной глубиной резкости по мере сбора данных. Это делается "на лету" без необходимости сохранения промежуточных файлов изображений, устраняя потребность в очень больших буферах изображений. В примере данные изображения собираются из нескольких z-позиций (глубин) одновременно. Система и способ формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости более конкретно пояснены со ссылкой на фиг. 6-18.
Фиг. 6 схематично показывает две диаграммы поперечного сечения готового препарата ткани. Готовый препарат ткани содержит микроскопное предметное стекло 1, обычно имеющее толщину 1 мм, покровное стекло 2, обычно имеющее толщину 0,17 мм, заливочную среду 3 для фиксации и изоляции слоя 4 ткани. Слой 4 ткани может иметь толщину порядка 10-20 мкм, и заливочная среда 3 формирует слой, который может иметь толщину 15-30 мкм. Заливочная среда может быть нанесена в жидкой форме на предметное стекло со слоем ткани, прежде чем покровное стекло будет присоединено к предметному стеклу, затем жидкая заливочная среда затвердевает и, таким образом, механически фиксирует слой ткани и изолирует его от внешней среды, чтобы обеспечить устойчивость к повреждению. Позиция слоя ткани по глубине может изменяться в слое заливочной среды, и готовый препарат ткани может быть не совершенно плоским или не выровненным, например, вследствие наклона (как показано на нижнем изображении на фиг. 6). Кроме того, патологические признаки (например, гистопатологические и/или цитопатологические), изображение которых требуется получить, сами могут находиться на разных глубинах в слое ткани толщиной 10-20 мкм.
Фиг. 7 схематично показывает пример микроскопа-сканера, который используется для формирования синтезированного двухмерного изображения с повышенной глубиной резкости такого биологического образца, который показан на фиг. 6. Этот микроскоп-сканер выполнен с возможностью формирования изображений слоя ткани (например, биологического образца), который показан на фиг. 6. Готовый препарат ткани помещается на удерживающей поверхности предметного столика, который не показан на фигуре. Вдоль пути P формирования изображения, начиная от готового препарата ткани, микроскоп-сканер содержит объектив 22 микроскопа, как правило составленный из множества линз 22 a, b и c, апертуру 21 для блокировки излучения. Микроскоп-сканер также содержит линзу 23 трубки и датчик в форме двухмерной детекторной матрицы 40. Детектор наклонен относительно оптической оси O линзы объектива микроскопа, и это формирует наклонную проекцию (сечение) детектора в объекте (образце). Такое наклонное сечение также может быть сформировано оптически, например, посредством использования призмы вместо наклона детектора относительно оптической оси. В другом примере детектор, выполненный с возможностью собирать данные изображения наклонного сечения биологического образца, достигается для случая, в котором оптическая ось O объектива микроскопа параллельна по отношению к перпендикуляру к поверхности детектора. Вместо этого сам предметный столик наклонен относительно оптической оси O, и образец сканируется параллельно наклонному углу образца. Микроскоп-сканер содержит управляющий модуль 25, который может являться частью блок обработки 30, который управляет процессом работы сканера и процессом сканирования для формирования изображения образца. Свет, проходящий через предметное стекло 1, покровное стекло 2, заливочную среду 3 и слой ткани 4, захватывается линзой объектива 22 и отображается линзой 23 трубки на двухмерной детекторной матрице 40. Следует отметить, что "наклон" относительно оптической оси означает, что излучение от образца, которое падает на детектор, не падает перпендикулярно (как пояснено, это может быть достигнуто посредством наклона самого датчика или оптически для не наклоненного датчика).
Фиг. 8 служит для разъяснения одного примера системы и способа формирования комбинированного изображения биологического образца с повышенной глубиной резкости. Фиг. 8 схематично показывает признак, например, часть слоя 4 ткани, который простирается в поперечном направлении по готовому препарату ткани. Слой ткани отклоняется по глубине в готовом препарате ткани на расстояние, которое больше глубины фокусировки микроскопа-сканера в позициях на проекции (сечение 5 - показано как два сечения 5a и 5b, данные которых собираются в разное время) детектора в объекте (образце). В позиции в поперечном направлении x1 слой 4 ткани имеет признак A, изображение которого должно быть получено, например, конкретную часть ткани, которая была окрашена красителем, в результате чего она характеризуется пропусканием зеленого света. В позиции в поперечном направлении x2 слой 4 ткани имеет признак B, изображение которого должно быть получено, например, конкретную часть ткани, которая была окрашена красителем, в результате чего она характеризуется пропусканием зеленого света. Другими словами, признак A и признак B могут представлять собой материал одинакового типа. Однако признак B может представлять собой материал другого типа по сравнению с позицией x1, когда в позиции x2 нет материала, который совпадает с материалом в позиции x2, вместо этого признак B, например, был окрашен красителем, в результате чего он характеризуется пропусканием красного света. Однако при рассмотрении всего образца ткани специалист по клиническим лабораторным исследованиям хочет иметь возможность видеть и признак A, и признак B в фокусе во всем готовом препарате ткани одновременно. Пример настоящей системы и способа может быть разъяснен следующим образом. Микроскоп-сканер выполнен таким образом, что данные изображения собираются из сечения 5a образца. Другими словами, проекция детектора микроскопа-сканера расположена в позиции (a), показанной на фиг. 8. Микроскоп-сканер имеет такую глубину фокусировки, что признаки на малом расстоянии с каждой стороны сечения 5a находятся в фокусе. Таким образом, на первом полученном изображении сечения 5a слой 4 ткани находится не в фокусе в позиции x1 с находящимся не в фокусе признаком, обозначенным A'. Однако на первом полученном изображении сечения 5a слой 4 ткани находится в фокусе в позиции x2 с находящимся в фокусе признаком, обозначенным B. Полученное изображение становится рабочим изображением. Объектив микроскопа затем перемещается, в результате чего сечение 5, по которому собираются данные, перемещается вертикально в позицию 5b в образце. Вместо того, чтобы перемещать линзу объектива, сам образец может быть перемещен вниз (параллельно оптической оси O, как показано на фиг. 7). В этом втором изображении в позиции x1 признак A теперь находится в фокусе, в то время как признак B представляет находящийся не в фокусе признак B'. Блок обработки (не показан) затем обновляет рабочее изображение таким образом, что данные изображения в позиции x1, собранные в первом изображении, заменяются на данные, собранные во втором изображении (A' становится A), в то время как данные изображения в позиции x2 не изменяются. Это может быть выполнено в нескольких позициях вдоль детектора и для нескольких позиций по вертикали в образце. Тогда рабочее изображение непрерывно "на лету" обновляется во всех позициях в поперечном направлении (x) посредством признака, находящегося в наилучшем фокусе в этой позиции в поперечном направлении. Лишь рабочее изображение должно сохраняться и сравниваться с только что полученным изображением, и не требуется сохранение всех ранее полученных изображений. Таким образом, рабочее изображение содержит признаки, находящиеся в фокусе, но которые также находятся на глубинах, которые больше глубины фокусировки микроскопа. При постепенном прохождении вертикально через образец сам образец целиком может сдвигаться в поперечном направлении, и операция повторяется для части образца, для которой еще не было получено изображение. В соответствии с этим динамически создается изображение, имеющее повышенную глубину фокусировки, по мере сканирования образца, что позволяет экономить большой объем данных. В примере, показанном на фиг. 8, проекция детектора в образце (сечение 5) показана перпендикулярно оптической оси O, однако очевидно, что эта описанная потоковая методика для формирования изображения с повышенной глубиной резкости может работать, если проекция в образце такова, что сечение 5 является наклонным, т.е., не перпендикулярным оптической оси O.
Фиг. 9 служит для разъяснения другого примера системы и способа формирования комбинированного изображения биологического образца с повышенной глубиной резкости. Фиг. 9 схематично показывает признак, такой как часть слоя 4 ткани, который был показан на рис. 8. Снова слой ткани отклоняется по глубине в готовом препарате ткани на расстояние, которое больше глубины фокусировки микроскопа-сканера в позициях на проекции (сечение 5 - показано как два сечения 5a и 5b, данные которых собираются в разное время) детектора в объекте (образце). В позиции в поперечном направлении x1 слой 4 ткани имеет признак, изображение которого должно быть получено, например, конкретную часть ткани, которая была окрашена красителем, в результате чего она характеризуется пропусканием зеленого света. Теперь микроскоп-сканер содержит детектор, выполненный с возможностью собирать данные изображения наклонных сечений (5a, 5b) биологического образца. Как пояснено выше, это может быть достигнуто посредством наклона детектора или оптически. В первом полученном изображении (a) сечения 5a слой 4 ткани находится в фокусе в позиции x1 и при этом обозначен как признак A. Однако в первом изображении сечения 5a слой 4 ткани находится не в фокусе в позиции x2 и при этом обозначен как признак B'. Что касается примера, описанного относительно фиг. 8, полученное изображение становится рабочим изображением. Затем микроскоп-сканер выполнен с возможностью перемещать проекцию детектора (сечение 5) таким образом, что наклонное сечение 5a перемещается в поперечном направлении и показано как наклонное сечение 5b. Предметный столик перемещается в поперечном направлении, чтобы данные изображения наклонного сечения были собраны в другой позиции в поперечном направлении в образце. Однако, движение линз и/или детектора может затронуть это движение наклонного сечения, как будет понятно специалисту. В новой позиции, обозначенной как (b), детектор снова собирает данные в позиции x1 и в позиции x2, однако другие части детектора теперь собирают эти данные для ситуации, когда наклонное сечение переместилось только в поперечном направлении. Во втором изображении в позиции x1 слой 4 ткани теперь находится не в фокусе, и при этом полученное изображение обозначено как A', в то время как слой 4 ткани в позиции x2 находится в фокусе и при этом обозначен как признак B. Блок обработки (не показан) затем обновляет рабочее изображение, в результате чего данные изображения в позиции x1 остаются без изменений, в то время как данные изображения в позиции x2 заменяются на собранные во втором изображении (B' становится B). Это может быть выполнено в нескольких позициях вдоль детектора, каждая из которых соответствует отдельной позиции по вертикали в образце. По мере сканирования наклонного сечения 5 в поперечном направлении по образцу рабочее изображение непрерывно "на лету" обновляется во всех позициях в поперечном направлении (x) посредством признака, находящегося в наилучшем фокусе в этой позиции в поперечном направлении. Лишь рабочее изображение должно сохраняться и сравниваться с только что полученным изображением, и не требуется сохранение всех ранее полученных изображений. Таким образом, рабочее изображение содержит признаки, находящиеся в фокусе, но которые также находятся на глубинах, которые больше глубины фокусировки микроскопа. При постепенном прохождении через образец в поперечном направлении сам образец целиком может быть сдвинут в поперечном направлении, перпендикулярном по отношению к предыдущему направлению сканирования, и операции повторяются для части образца, изображение которой еще не было получено. Другими словами, динамически создается изображение, имеющее расширенную глубину фокусировки, по мере сканирования образца, что позволяет экономить большой объем данных. На фиг. 9 наклонное сечение 5 показано как перемещающееся только в поперечном направлении x, однако наряду с перемещением предметного столика, в результате которого наклонное сечение перемещается в поперечном направлении, объектив микроскопа может перемещаться вертикально в направлении оптической оси, в результате чего наклонное сечение перемещается и в поперечном направлении, и вертикально. Таким образом, микроскоп-сканер может следовать за крупными отклонениями позиций по вертикали слоя 4.
Фиг. 10 схематично показывает готовый препарат ткани и проекцию двухмерной детекторной матрицы и служит для дополнительного разъяснения примера системы и способа формирования синтезированного двухмерного изображения с повышенной глубиной резкости. Фиг. 10 снова иллюстрирует готовый препарат ткани с предметным стеклом 1, покровным стеклом 2, заливочной средой 3 и слоем 4 ткани. Проекция двухмерного массива детектора показана как сечение 5, которое соответствует области готового препарата ткани (и образца), в которой датчик может фактически обнаружить изображение. Показана декартова система координат X', Y, Z, причем детектор наклонен относительно оси X' под углом β', составляющим 30°. В примере X' и Y лежат в горизонтальной плоскости, и Z простирается в вертикальном направлении. Другими словами, детектор находится в плоскости X-Y и наклонен относительно горизонтальной плоскости. Следует понимать, что эти оси описаны относительно схематической системы, как показано на фиг. 7, где детектор находится на прямой линии вдоль оптической оси O, однако специалист поймет, может быть использовано зеркало или зеркала, в результате чего детектор в вертикальной ориентации, как показано на фиг. 7, не будет наклонен. Ось X' находится в поперечном направлении, которое является направлением сканирования, и которое в этом примере является перпендикулярным по отношению к оптической оси O. Поскольку образец имеет показатель преломления, сечение 5 делает угол β в образце отличающимся от угла наклона β' детектора (аналогичным образом палка, половина которой находится в воде и другая половина вне воды, кажется переломленной на границе между воздухом и водой). Наклонное поперечное сечение 5 пересекается со слоем 4 ткани на пересечении I, показанном на фиг. 10, пересечение I находится в фокусе. Как будет более подробно разъяснено со ссылкой на фиг. 12, детектор работает в режиме линейного сканирования. Другими словами, ряд или несколько смежных рядов пикселей могут быть активированы, причем каждый ряд находится в позиции в поперечном направлении x' и простирается вглубь страницы на фиг. 10 вдоль оси Y. Если бы слой 4 ткани не был наклонен под углом в направлении Y, то пересечение I находилось бы на одинаковой глубине Z вдоль оси Y, и пересечение I отображалось бы в фокусе посредством одного или более активированных рядов. Однако не только координаты X' и Y пересечения I могут изменяться вдоль его длины, но и разные признаки, изображение которых должно быть получено, могут присутствовать на оси Y образца. Таким образом, снова со ссылкой на фиг. 8 и 9, и как рабочее изображение непрерывно формируется, эти диаграммы могут рассматриваться как представляющие срез через готовый препарат ткани, как показано на фиг. 10, в одной координате Y. Процесс, разъясняемый со ссылкой на фиг. 8 и 9, затем выполняется для всех срезов в разных координатах Y. Другими словами, данные изображения в каждой позиции X', Y, но с разными координатами Z, собираемые для разных наклонных сечений 5, непрерывно обновляются, чтобы иметь наилучшим образом сфокусированный признак в этой позиции X', Y, где обновление может обозначать либо то, что изображение в только что полученном изображении заменяет соответствующее изображение в рабочем изображении, если новые данные изображения имеют более хороший фокус, либо рабочее изображение остается без изменений для изображения в этой координате X', Y, если рабочее изображение имеет более хороший фокус.
Фиг. 11 схематично показывает поперечное сечение готового препарата ткани с проекцией, показанной двухмерной детекторной матрицы и служит для разъяснения системной настройки. Как видно на фиг. 11, наклоненный детектор осуществляет получение изображения наклонного поперечного сечения 5 готового препарата ткани. Наклон находится в направлении 6 сканирования в поперечном направлении (X'). Вдоль оси X детектор имеет Nx пикселей и отбирает образцы объекта в направлении X' сканирования (в поперечном направлении) с шагом Δx' на пиксель и в продольном (вертикальном) направлении 7 (Z), параллельном по отношению к оптической оси O, с шагом Δz на пиксель. В направлении X каждый пиксель имеет длину L. Как пояснено выше, детектор наклонен под углом β', таким образом, поперечная и продольная выборка образцов в объекте задается как:
Где M - увеличение, и n - показатель преломления объекта.
Фиг. 12 схематично показывает иллюстративную двухмерную детекторную матрицу, которая собирает данные, используемые для формирования изображения с повышенной глубиной фокусировки. Пиксели, показанные белым цветом, чувствительны к свету и могут использоваться для сбора сигналов, когда они активированы, и другие не показанные пиксели используются для темного тока и сигнальных смещений. Несколько не показанных пикселей представляют электронику пикселей. Несколько рядов (или линий) пикселей формируют индивидуальный линейный детектор изображения, который со ссылкой на фиг. 10 находится в одной координате X', Z и простирается вглубь страницы вдоль оси Y. Полоса пикселей, состоящая из смежных строк пикселей, может быть объединена с использованием накопления с задержкой (TDI) в единую линию пиксельных значений. Различные количества линий могут быть объединены в различных иллюстративных детекторах, в которых, например, 2, 3, 4, 5, 10 или более смежных строк пикселей могут быть объединены с использованием TDI. Фактически каждая полоса пикселей может действовать как индивидуальный датчик TDI, тем самым улучшая соотношение сигнала к шуму. Для такого детектора каждый детектор линейного изображения имеет длину в нескольких тысяч пикселей, простирающихся в направлении Y, которые, например, представляют линию I, как показано на фиг. 10. Например, длина может составлять 1000, 2000, 3000, 4000, 5000 или другое количество пикселей. Если привод фокуса не используется для перемещения линзы объектива во время поперечного сканирования, то каждый линейный детектор отобразит образец на постоянной глубине по глубине фокусировки микроскопа-сканера, которая составляет приблизительно 1 мкм. Как было пояснено, каждая полоса пикселей может представлять несколько рядов одного блока TDI, если активирован TDI. Детектор содержит несколько таких блоков, разделенных электроникой считывания. Например, детектор может содержать 100, 200 или 300 блоков. Детектор может иметь другие количества блоков. Относительно поперечного сечения 5, которое является проекцией детектора в образце, расстояние в направлении z между каждым блоком TDI может быть вычислено с использованием приведенного выше уравнения. Таким образом, при глубине фокусировки приблизительно 1 мкм может иметься несколько блоков TDI, распределенных по этой глубине фокусировки. Детектор может быть сконфигурирован таким образом, что расстояние в направлении z между блоками может быть различным, и расстояние может изменяться между блоками. Один из этих блоков TDI, или в действительности несколько этих блоков на этой глубине фокусировки могут использоваться индивидуально или совместно для обеспечения данных изображения на конкретной глубине. Затем один или более блоков TDI в разных позициях детектора вдоль оси X могут быть активированы для сбора данных изображения для различной глубины образца по глубине фокусировки. Вторая глубина отделена от первой глубины по меньшей мере на глубину фокусировки (приблизительно 1 мкм). Каждый блок TDI или блоки TDI по глубине фокусировки на конкретной глубине фактически проходят слой данных изображения в образце, слой имеет толщину, приблизительно равную глубине фокусировки микроскопа (~1 мкм). Таким образом, сбор данных для образца, имеющего толщину 8 мкм, означает, что восемь таких блоков TDI в разных позициях вдоль детектора, каждый на разной глубине и в позиции в поперечном направлении, но имеющие одинаковую глубину вдоль своей длины, могут использоваться для сбора данных изображения из образца. Признаки, изображение которых должно быть получено, могут лежать, где угодно в пределах этой глубины 8 мкм. Таким образом, по мере прохода по поперечному сечению 5 в поперечном направлении по образцу, каждый из этих восьми блоков TDI соберет данные изображения с одинаковыми координатами X', Y образца, но на разных глубинах Z. Таким образом, следует отметить, что активные блоки TDI, используемые для сбора данных, могут быть расположены с промежутком от другого активного блока TDI, который собирает данные, и разделены несколькими блоками TDI, которые не собирают данные. Первое изображение, содержащее данные изображения от этих 8 блоков TDI, используется для формирования рабочего изображения, содержащего данные изображения для каждой визуализированной позиции X', Y. Когда поперечное сечение 5 перемещается в поперечном направлении в образце, данные изображения будут собраны для большинства этих уже визуализированных позиций X', Y, но на разных глубинах для этих позиций X', Y. Как пояснено со ссылкой на фиг. 8 и 9, рабочее изображение обновляется таким образом, что оно содержит наилучшим образом сфокусированное к настоящему времени изображение в этой позиции X', Y. Это может быть сделано "на лету" без необходимости сохранять все данные изображения, вместо этого файл рабочего изображения сохраняется и сравнивается с файлом изображения, только что полученным и обновленным в случае необходимости. Синтезированное двухмерное изображение, таким образом, формируется с повышенной глубиной резкости, в котором признак на одной глубине в образце может находиться в фокусе, и другой признак на другой глубине в образце также может находиться в фокусе, когда глубины больше, чем глубина фокусировки системы, в результате чего невозможно иметь их оба в фокусе при регулярной установке (которая собирает данные только на одной глубине по глубине фокусировки системы). Другими словами, несколько патологических признаков могут находиться в фокусе, в то время как эти признаки находятся на разной глубине в образце. Вместо того, чтобы выбирать файл рабочего изображения либо в качестве новых данных изображения, либо для поддержания первоначальных данных рабочего изображения, взвешенная сумма новых данных изображения с существующими данными рабочего изображения может использоваться для обеспечения обновленного рабочего изображения. Хотя детектор работает в режиме линейных изображений, следует отметить, что индивидуальные сечения вдоль линейного изображения используются отдельно. Это вызвано тем, что конкретный признак в одной точке вдоль линейного изображения может находиться в фокусе, в то время как другой признак, поскольку он находится на другой глубине вне глубины фокусировки, в другой точке вдоль линейного изображения может находиться не в фокусе. Таким образом, выбор делается на более локальном (пиксельном) уровне, причем пиксель может означать несколько пикселей, достаточных для выполнения сравнения с данными рабочего изображения, чтобы определить, какие данные в этой позиции в поперечном направлении (в заданном диапазоне координаты X', Y) находятся в наилучшем фокусе. Вместо того, чтобы быть зафиксированными относительно друг друга, блоки TDI, используемые для сбора данных, могут перемещаться вверх и вниз по детектору, а также перемещаться относительно друг друга. Интервал между блоками TDI, используемыми для сбора данных, может оставаться одинаковым по мере перемещения блоков TDI, или интервал между блоками TDI может изменяться по мере перемещения блоков TDI, и интервал между смежными блоками TDI изменяется по-разному для разных блоков TDI. Это обеспечивает возможность сканировать образец на разных уровнях разрешения и иметь разные уровни разрешения по образцу. Например, в образце признаки, изображения которых требуется получить, могут преимущественно находиться в верхней части образца, а также в нижней части образца. Тогда несколько блоков TDI могут быть размещены для сканирования верхней части образца, несколько из них размещены для сканирования нижней части образца, и центральную часть образца сканируют немного блоков TDI.
Фиг. 13 схематично показывает пример избыточной выборки образцов, когда изображение с повышенной глубиной резкости должно быть получено для центральной отчетливой области. Из обсуждения, относящегося к предыдущим фигурам, ясно, что данные изображения на всех доступных глубинах для конкретной точки в поперечном направлении образца формируется, когда проекция детектора в образце, т.е., поперечное сечение 5, полностью выполнила сканирование этой точки. Другими словами, первая часть детектора собирает данные изображения на одной экстремальной глубине, и когда образец был перемещен достаточным образом, тогда последняя часть детектора соберет данные изображения на другой экстремальной глубине. Промежуточные части детектора соберут данные изображения на промежуточных глубинах. Однако это означает, что для сканирования конкретной области по всем доступным глубинам проекция детектора должна начинаться неподалеку от одной стороны области, которая должна быть отсканирована, и заканчиваться неподалеку от другой стороны области, которая должна быть отсканирована, как показано на фиг. 13. Другими словами, существует определенное количество избыточной выборки образцов с обоих концов области, которая должна быть отсканирована. Со ссылкой на обсуждение, относящееся к фиг. 11, можно легко определить, какая избыточная выборка образцов требуется.
Фиг. 14 схематично показывает несколько визуализируемых областей или слоев. Другими словами, каждый слой соответствует тому, что каждый блок (или блоки) TDI отображает на конкретной глубине по глубине фокусировки микроскопа. Как пояснено ранее, готовый препарат ткани может быть неправильно выровнен, или образец, изображение которого требуется получить, может значительно изменяться по направлению глубины. Таким образом, перед сбором данных изображений, которые будут использоваться при формировании синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости, получается изображение готового препарата ткани с относительно невысоким разрешением. Это используется для оценки z-позиции (глубины) объема ткани. Другими словами, в одном или более местоположениях (X', Y) определяется оптимальный фокус (Z). Затем во время сбора данных изображений, которые формируют синтезированное двухмерное изображение с повышенной глубиной резкости в потоковом режиме, в каждой позиции линза объектива перемещается должным образом вдоль оптической оси O (или образец перемещается вдоль оптической оси), и несколько блоков TDI активируются для сбора данных, как разъяснено выше. В примере вместо того, чтобы изменять положение сечения 5 посредством движения линзы объектива или предметного столика, позиции блоков TDI перемещаются вверх и вниз по детектору, как требуется. В этом случае сечение 5 может выполнять сканирование на постоянной глубине, но собирать данные могут разные части детектора. В качестве альтернативы вместо того, чтобы получать предшествующее изображение с низким разрешением, может быть использован датчик с автоматической фокусировкой, как описано, например, в документе WO2011/161594A1. В такой конфигурации с автоматической фокусировкой детектор, показанный на фиг. 12, самостоятельно может быть выполнен как датчик с автоматической фокусировкой, или может быть использован отдельный датчик с автоматической фокусировкой. Это означает, что в каждой позиции, в которой данные изображения собираются для формирования изображения повышенной глубиной фокусировки, может быть определена позиция образца, и блоки TDI активируются, как требуется. Результат показан на фиг. 14, которая указывает, что глубины в образце отображаются отдельными блоками TDI во время сканирования. Как пояснено выше, в каждой позиции в поперечном направлении улучшенное изображение будет сформировано таким образом, что признак на конкретной глубине присутствует в синтезированном улучшенном изображении, причем признаки на разных глубинах (и, следовательно, в разных слоях) тогда присутствуют в получаемом в результате улучшенном изображении. Как пояснено выше, улучшенное изображение формируется без необходимости сохранения всех отдельных изображений, вместо этого только рабочее изображение сохраняется и сравнивается с только что полученным изображением, тем самым позволяя формировать изображение с повышенной глубиной резкости "на лету" без требования большого буфера изображения.
Таким образом, система может формировать "на лету" изображение, которое может иметь несколько патологических признаков в фокусе, в то время как эти признаки находятся на разных глубинах в образце.
Фиг. 15 схематично показывает пример системы для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости. В общем обзоре предметный столик может перемещать образец горизонтально и вертикально. Камера с низким разрешением (LRCAM) собирает данные предварительного сканирования, чтобы определить приблизительную позицию образца, изображение которого должно быть получено, по готовому препарату ткани. Во время сбора данных изображения для формирования изображения с повышенной глубиной резкости используются линза объектива (HROBJ) и линза трубки (HRTUB), как обсуждалось ранее. Камера HRCAM представляет собой камеру, содержащую наклоненный датчик, как обсуждалось ранее. Линза объектива (HROBJ) может быть перемещена в направлении глубины посредством привода фокусировки (HRFOCACT). Глобальная функция микроскопа-сканера, таким образом, состоит в следующем: препарат помещается на предметный столик сканера (СТАДИЯ), затем камера с низким разрешением (LRCAM) делает изображение препарата перед сканированием ткани в препарате с высоким разрешением. Это изображение с низким разрешением среди прочего используется для выведения исследуемой области (областей), т.е., для нахождения области (областей) в препарате, которые должны быть отсканированы. Каждая исследуемая область сканируется посредством выполнения одного или более проходов сканирования с помощью камеры с высоким разрешением (HRCAM). Фокусное расстояние измеряется через камеру HRCAM и автоматически управляется через привод фокусировки (HRFOCACT). Во время процедуры сканирования изображение с высоким разрешением переносится от сканера к получателю (например, IMS) через интерфейс Ethernet (GbE).
Совмещение фокуса было кратко представлено со ссылкой на фиг. 5. На фиг. 16 показан иллюстративный поток операций для совмещения фокуса, используемый при формировании комбинированного изображения с повышенной глубиной резкости. Для простоты объяснения совмещение фокуса описано относительно системы, собирающей данные, как показано на фиг. 8, однако оно применимо для наклоненного детектора, который обеспечивает наклонное поперечное сечение. В последующем обсуждении, слой, как пояснено ранее, относится к тому, что визуализирует микроскоп-сканер обработки изображений на конкретной глубине в образце по глубине фокусировки на этой глубине. При этом, поскольку объяснение относится к не наклоненному детектору, слой находится на одной и той же глубине в образце, но, как пояснено, этот процесс совмещения фокуса равным образом относится к наклоненному детектору и наклонному поперечному сечению, по которому собираются данные. Таким образом, собираются данные изображения слоя n. Во-первых, определяется количество энергии входного изображения, данные которого собраны в z-позиции n. Количество энергии определяется посредством применения высокочастотного фильтра (т.е. фильтра Лапласа), за которым следует операция сглаживания (для сокращения количество шума). Во-вторых, это вычисленное количество энергии слоя n сравнивается с энергией слоя ≤ (n-1). Для каждого индивидуального пикселя определяется, должен ли использоваться текущий слой (т.е., данные изображения слоя n) или объединенный результат (т.е., объединенные данные изображения слоя ≤ (n-1) - рабочее изображение, как пояснялось ранее); результатом этого является ʺвыбор слояʺ на фиг. 16. В-третьих, должны сохраняться два буфера, а именно, объединенные данные изображения (т.е. данные изображения слоя ≤ n) и объединенные энергетические данные (т.е. для слоя ≤ n). Затем может быть отсканирован следующий слой, и процесс повторяется, пока не будут собраны и обработаны данные последнего слоя. Следует отметить тот выбор слоя (т.е., какую часть какого слоя вы выбираете) используется для объединения информации из данных изображения слоя n и данных изображения объединенного изображения ≤ (n-1), а также для энергии.
Таким образом, в примере наклоненный датчик объединен с совмещением фокуса в потоковом режиме. Тогда больше не нужно полностью сохранять промежуточные результаты (т.е., данные изображения слоя ≤ (n-1) и энергии слоя ≤ (n-1)), а необходимы только ограниченная история изображения и энергетические данные, определенные отпечатком используемых фильтров изображения (т.е. высокочастотного фильтра и сглаживающего фильтра). Каждый раз, когда данные нового (наклонного) изображения собираются наклонным датчиком, определяется энергия на один ряд (т.е., на z-позицию) этого изображения; наклонное изображение, как пояснено ранее, находится в плоскости в Y (ряды изображения) и X'/Z (столбцы изображения). Эти значения энергии сравниваются с предыдущими собранными данными. Сравнение выполняется для совпадающих позиций (x', y), другими словами, на локальном уровне (для достаточного количества пикселей, для которых может быть применен упомянутый выше анализ энергии), а не для линейного изображения целиком как одного изображения. Если обнаруживается больше энергии фокуса, данные изображения обновляются. Когда все z-позиции для позиции (x', y) были оценены, (объединенные "рабочие") данные изображения могут быть перенесены. Это устраняет необходимость хранить десятки гигабайтов промежуточных результатов, в то время как конечный результат (т.е., повышенная глубина фокусировки) (однако же) доступен непосредственно после сканирования последней части образца ткани.
Фиг. 17 и 18 показывают конечный результат, изображение с повышенной глубиной резкости, которое является изображением справа. Изображение слева представляет собой отдельное изображение на одной глубине, которое было бы получено посредством традиционного микроскопа. На правом изображении больше признаков, клеток, находится в фокусе по сравнению с полученным традиционно изображением.
Альтернативы
В упомянутом выше процессе для каждого пикселя оптимальный слой изображения определяется посредством количества энергии (т.е., высокочастотным фильтром). Возможная реализация состоит в том, что различные цветовые каналы сливаются (т.е., с использованием операции RGB2Y), прежде чем определить высокочастотную информацию. В качестве альтернативы, информация лабораторных клинических исследований (т.е., из внешнего источника, такого как лабораторная/больничная информационная система (LIS/HIS), определенная посредством анализа изображения) может использоваться для большей фокусировки на заданном цвете. Это даже может быть объединено с дополнительным этапом цветоделения или этапом цветовой обратной свертки. Затем оптимальный слой может быть локально определен посредством количества энергии с использованием одного (или нескольких) заданных цветных красителей (например, фокусируясь на шаблоне хроматина клеточных ядер). Кроме того, добавление этапа цветоделения может привести к использованию различных двухмерных ядер сглаживания. Например, клеточные ядра содержат намного меньше деталей, чем цитоплазма, и, таким образом, выгодны меньшие ядра сглаживания (σ<2).
В упомянутом выше процессе используется высокочастотный фильтр Лапласа. В качестве альтернативы, собранные данные могут быть переведены в область вейвлетов, в которой высокочастотная подполоса может использоваться в качестве представления энергии. Это может быть объединено со сжатием iSyntax (см., например, документы US6711297B1 и US6553141).
В упомянутом выше процессе преобразование в один слой изображения, имеющего повышенную глубину резкости, применяется перед отправкой изображения на сервер. Также возможно, что преобразование в один слой выполняется на сервере, таким образом, выходная информация датчика переносится непосредственно на сервер.
Вместо выбора оптимального слоя для каждого пикселя также возможно, что пиксельные значения нескольких слоев объединяются с использованием весовых коэффициентов на основе распределения энергии пикселей.
Вместо выбора оптимального слоя для каждого пикселя также возможно суммировать все пиксели наклоненного датчика с одинаковым z-направлением. Результатом являются размытые суммарные изображения, которые могут впоследствии быть отфильтрованы с помощью простого полосового фильтра. Для получения информации, относящейся к суммированию цифровых изображений, см. документ US4141032A.
Этот способ также может использоваться для измерения толщины ткани, поскольку это относится к энергии каждого слоя.
В другом иллюстративном варианте осуществления обеспечены компьютерная программа или элемент компьютерной программы, которые отличаются тем, что выполнены с возможностью исполнять этапы способа в соответствии с одним из предыдущих вариантов осуществления на подходящей системе.
Элемент компьютерной программы, таким образом, может быть сохранен на компьютерном блоке, который также может являться частью варианта осуществления. Этот вычислительный блок может быть выполнен с возможностью выполнять или вызывать выполнение этапов описанного выше способа. Кроме того, он может быть выполнен с возможностью управлять компонентами описанного выше устройства. Вычислительный блок может быть выполнен с возможностью работать автоматически и/или исполнять команды пользователя. Компьютерная программа может быть загружена в оперативную память процессора данных. Процессор данных, таким образом, может быть оборудован для выполнения способа в соответствии с одним из предыдущих вариантов осуществления.
Этот иллюстративный вариант осуществления изобретения охватывает и компьютерную программу, которая изначально использует изобретение, и компьютерную программу, которая посредством обновления превращает существующую программу в программу, которая использует изобретение.
Кроме того, элемент компьютерной программы может обеспечить все необходимые этапы для выполнения процедуры иллюстративного варианта осуществления способа, как описано выше.
В соответствии с дополнительным иллюстративным вариантом осуществления настоящего изобретения представлен машиночитаемый носитель, такой как компакт-диск (CD-ROM), причем, машиночитаемый носитель имеет сохраненный на нем элемент компьютерной программы, который описан посредством предыдущего раздела.
Компьютерная программа может быть сохранена и/или распространена на подходящем носителе, таком как оптический запоминающий носитель или твердотельный носитель, обеспеченный вместе или как часть других аппаратных средств, но также может быть распространена в других формах, например, через Интернет или другие проводные или беспроводные системы связи.
Однако компьютерная программа также может быть представлена по сети, такой как всемирная паутина, и может быть загружена в оперативную память процессора данных из такой сети. В соответствии с дополнительным иллюстративным вариантом осуществления настоящего изобретения обеспечен носитель для того, чтобы сделать доступным для загрузки элемент компьютерной программы, который выполнен с возможностью выполнять способ в соответствии с одним из ранее описанных вариантов осуществления изобретения.
Следует отметить, что варианты осуществления изобретения описаны со ссылкой на разные предметы. В частности, некоторые варианты осуществления описаны со ссылкой на пункты формулы изобретения типа способа, тогда как другие варианты осуществления описаны со ссылкой на пункты формулы изобретения типа устройства. Однако специалист в области техники сможет понять из предыдущего и последующего описания, что, если не указано иначе, в дополнение к любой комбинации признаков, принадлежащих одному типу предмета, любая комбинация между признаками, относящимися к разным предметам, также считается раскрытой посредством этой заявки. Однако все признаки могут сочетаться, обеспечивая синергетические эффекты, которые представляют собой больше, чем простое суммирование признаков.
Хотя изобретение было проиллюстрировано и подробно описано в чертежах и предшествующем описании, такую иллюстрацию и описание следует считать иллюстративными, а не ограничивающими. Изобретение не ограничено раскрытыми вариантами осуществления. Другие изменения для раскрытых вариантов осуществления могут быть поняты и выполнены специалистами в области техники при осуществлении заявленного изобретения на основе изучения чертежей, описания и зависимых пунктов формулы изобретения.
В пунктах формулы изобретения слово "содержит" не исключает другие элементы или этапы, и употребление единственного числа не исключает множество. Один процессор или другой блок может выполнять функции нескольких элементов, описанных в пунктах формулы изобретения. Тот лишь факт, что некоторые меры повторно описаны во взаимно различных зависимых пунктах формулы изобретения, не указывает, что комбинация этих мер не может использоваться для получения преимуществ. Любые знаки для ссылок в формуле изобретения не должны рассматриваться как ограничение объема изобретения.
Изобретение относится к системе для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости, выполненной с возможностью собирать (110) с помощью микроскопа-сканера (20) данные первого изображения в первой позиции в поперечном направлении биологического образца и данные второго изображения во второй позиции в поперечном направлении биологического образца. Микроскоп-сканер используется для сбора (120) данных третьего изображения в первой позиции в поперечном направлении и данных четвертого изображения во второй позиции в поперечном направлении, причем данные третьего изображения собираются на глубине, которая отличается от глубины для данных первого изображения, и данные четвертого изображения собираются на глубине, которая отличается от глубины для данных второго изображения. Данные первого рабочего изображения формируются (130) для первой позиции в поперечном направлении, формирование содержит обработку данных первого изображения и данных третьего изображения посредством алгоритма совмещения фокуса. Данные второго рабочего изображения формируются (140) для второй позиции в поперечном направлении, формирование содержит обработку данных второго изображения и данных четвертого изображения посредством алгоритма совмещения фокуса. Данные первого рабочего изображения и данные второго рабочего изображения объединяются (150) во время сбора данных изображения, чтобы сформировать синтезированное двухмерное изображение биологического образца с повышенной глубиной резкости. 3 н. и 11 з.п. ф-лы, 18 ил.
1. Система (10) для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости, причем система содержит:
- микроскоп-сканер (20); и
- блок обработки (30);
причем микроскоп-сканер выполнен с возможностью собирать данные первого изображения в первой позиции в поперечном направлении биологического образца и данные второго изображения во второй позиции в поперечном направлении биологического образца;
причем микроскоп-сканер выполнен с возможностью собирать данные третьего изображения в первой позиции в поперечном направлении и данные четвертого изображения во второй позиции в поперечном направлении, причем данные третьего изображения собираются на глубине, которая отличается от глубины для данных первого изображения, и данные четвертого изображения собираются на глубине, которая отличается от глубины для данных второго изображения;
причем блок обработки выполнен с возможностью формировать данные первого рабочего изображения для первой позиции в поперечном направлении, формирование содержит обработку данных первого изображения и данных третьего изображения посредством алгоритма совмещения фокуса, и блок обработки выполнен с возможностью формировать данные второго рабочего изображения для второй позиции в поперечном направлении, формирование содержит обработку данных второго изображения и данных четвертого изображения посредством алгоритма совмещения фокуса, чтобы сформировать данные второго рабочего изображения для второй позиции в поперечном направлении; и
причем блок обработки выполнен с возможностью объединять данные первого рабочего изображения и данные второго рабочего изображения во время сбора данных изображения, чтобы сформировать синтезированное двухмерное изображение биологического образца с повышенной глубиной резкости.
2. Система по п. 1, в которой микроскоп-сканер содержит детектор (40), выполненный с возможностью собирать данные изображения наклонного сечения биологического образца.
3. Система по п. 2, в которой детектор (40) представляет собой двухмерный детектор, содержащий по меньшей мере две активные области.
4. Система по любому из пп. 1-3, в которой микроскоп-сканер выполнен с возможностью собирать данные изображения первого сечения биологического образца, чтобы собрать данные первого изображения и данные второго изображения, и при этом микроскоп-сканер выполнен с возможностью собирать данные изображения второго сечения биологического образца, чтобы собрать данные третьего изображения и данные четвертого изображения.
5. Система по любому из пп. 1-4, в которой микроскоп-сканер выполнен с возможностью собирать данные первого изображения в первой позиции в поперечном направлении биологического образца и на первой глубине и одновременно собирать данные второго изображения во второй позиции в поперечном направлении биологического образца и на второй глубине, причем первая глубина отличается от второй глубины; и причем микроскоп-сканер выполнен с возможностью собирать данные третьего изображения в первой позиции в поперечном направлении и на третьей глубине и одновременно собирать данные четвертого изображения во второй позиции в поперечном направлении и на четвертой глубине, причем третья глубина отличается от четвертой глубины.
6. Система по любому из пп. 1-5, в которой микроскоп-сканер имеет глубину фокусировки в первой позиции в поперечном направлении и во второй позиции в поперечном направлении, ни одна из которых не больше, чем расстояние в глубину между глубиной, на которой собираются данные первого изображения, и глубиной, на которой собираются данные второго изображения.
7. Система по любому из пп. 1-6, в которой образец находится в первой позиции относительно оптической оси микроскопа для сбора данных первого изображения и данных второго изображения, и образец находится во второй позиции относительно оптической оси для сбора данных третьего изображения и данных четвертого изображения.
8. Система по любому из пп. 1-7, в которой данные изображения содержат множество цветов, и причем блок обработки выполнен с возможностью обрабатывать данные изображения посредством алгоритма совмещения фокуса на основе данных изображения, которые содержат один или более из множества цветов.
9. Способ (100) формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости, содержащий этапы, на которых:
a) собирают (110) с помощью микроскопа-сканера (20) данные первого изображения в первой позиции в поперечном направлении биологического образца и собирают с помощью микроскопа-сканера данные второго изображения во второй позиции в поперечном направлении биологического образца;
b) собирают (120) с помощью микроскопа-сканера данные третьего изображения в первой позиции в поперечном направлении и собирают с помощью микроскопа-сканера данные четвертого изображения во второй позиции в поперечном направлении, причем
данные третьего изображения собираются на глубине, которая отличается от глубины для данных первого изображения, и данные четвертого изображения собираются на глубине, которая отличается от глубины для данных второго изображения;
e) формируют (130) данные первого рабочего изображения для первой позиции в поперечном направлении, формирование содержит этап, на котором обрабатывают данные первого изображения и данные третьего изображения посредством алгоритма совмещения фокуса; и
f) формируют (140) данные второго рабочего изображения для второй позиции в поперечном направлении, формирование содержит
этап, на котором обрабатывают данные второго изображения и данные четвертого изображения посредством алгоритма совмещения фокуса; и
I) объединяют (150) данные первого рабочего изображения и данные второго рабочего изображения во время сбора данных изображения, чтобы сформировать синтезированное двухмерное изображение биологического образца с повышенной глубиной резкости.
10. Способ по п. 9, в котором на этапе а) собирают данные первого изображения в первой позиции в поперечном направлении биологического образца и на первой глубине и одновременно собирают данные второго изображения во второй позиции в поперечном направлении биологического образца и на второй глубине, причем первая глубина отличается от второй глубины; и на этапе b) собирают данные третьего изображения в первой позиции в поперечном направлении и на третьей глубине и одновременно собирают данные четвертого изображения во второй позиции в поперечном направлении и на четвертой глубине, причем третья глубина отличается от четвертой глубины.
11. Способ по любому из пп. 9, 10, причем способ содержит этапы, на которых:
c) вычисляют (160) первые энергетические данные для данных первого изображения и вычисляют третьи энергетические данные для данных третьего изображения; и
d) вычисляют (170) вторые энергетические данные для данных второго изображения и вычисляют четвертые энергетические данные для данных четвертого изображения; и
причем этап е) содержит этап, на котором выбирают либо данные первого изображения, либо данные третьего изображения в качестве первого рабочего изображения, причем выбор содержит функцию первых энергетических данных и третьих энергетических данных; и
причем этап f) содержит этап, на котором выбирают либо данные второго изображения, либо данные четвертого изображения в качестве второго рабочего изображения, выбор содержит функцию вторых энергетических данных и четвертых энергетических данных;
и причем частотная информация в данных изображения является репрезентативной для энергетических данных.
12. Способ по п. 11, причем способ содержит этапы, на которых:
g) формируют (180) первые рабочие энергетические данные как первые энергетические данные, если данные первого изображения выбраны в качестве первого рабочего изображения, или формируют (190) первые рабочие энергетические данные как третьи энергетические данные, если данные третьего изображения выбраны в качестве первого рабочего изображения; и
h) формируют (200) вторые рабочие энергетические данные как вторые энергетические данные, если данные второго изображения выбраны в качестве второго рабочего изображения, или формируют (210) вторые рабочие энергетические данные как четвертые энергетические данные, если данные четвертого изображения выбраны, когда второе рабочее изображение является данными четвертого изображения.
13. Способ по любому из пп. 9-12, причем способ дополнительно содержит этапы, на которых: i) собирают (220) данные пятого изображения в первой позиции в поперечном направлении и собирают (230) данные шестого изображения во второй позиции в поперечном направлении, причем данные пятого изображения собираются на глубине, которая отличается от глубины для данных первого и третьего изображений, и данные шестого изображения собираются на глубине, которая отличается от глубины для данных второго и четвертого изображений; и
j) формируют (240) новые данные первого рабочего изображения для первой позиции в поперечном направлении, формирование содержит этап, на котором выполняют обработку данных пятого изображения и данных первого рабочего изображения посредством алгоритма совмещения фокуса, причем новые данные первого рабочего изображения становятся данными первого рабочего изображения; и
k) формируют (250) новые данные второго рабочего изображения для второй позиции в поперечном направлении, формирование содержит этап, на котором выполняют обработку данных шестого изображения и данных второго рабочего изображения посредством алгоритма совмещения фокуса, причем новые данные второго рабочего изображения становятся данными второго рабочего изображения.
14. Компьютер, содержащий машиночитаемый носитель, содержащий компьютерную программу для управления системой в соответствии с одним из пп. 1-8, сконфигурированный для выполнения компьютером этапов способа по пп. 9-13 при выполнении указанной компьютерной программы на компьютере.
| US 2004170312 A1, 02.09.2004 | |||
| US 5448399 A, 05.09.1995 | |||
| US 8059336 B2, 15.11.2011. |
