Способ коллективного обучения автоматических комбайнов микроскопии, анализирующих препараты биоматериалов Российский патент 2021 года по МПК G02B21/00 

1. Уровень техники

Применяющиеся при диагностике многочисленной группы патологий анализы микроскопических объектов биоматериалов относятся к группе наиболее трудных как для визуального анализа врачом, так и для автоматического анализатора. Это связано со сложностью морфологии таких объектов, их высокой изменчивостью, многочисленностью, сходством признаков, наличием редких форм, не полностью контролируемым влиянием на морфологию технологий подготовки препаратов и другими факторами. Одной из проблем создания автоматического анализатора рассматриваемого типа является формирование достаточно разнообразной обучающей выборки аттестованных препаратов биоматериалов для обучения анализатора. Из-за весьма большого объема такой выборки удлиняется период разработки и испытаний автоматического анализатора, остается значительной вероятность пропуска на испытаниях редких случаев. Проблемой является также необходимость адаптироваться как к индивидуальным особенностям препарата в реальном времени, так и к генеральной совокупности объектов анализа в течение жизненного цикла анализатора, что связано с выявлением новых видов объектов, новыми методами подготовки препаратов, новых требований к объему выборки объектов анализа и т.п. Неполное решение обеих проблем соответствует уровню автономности известных автоматических анализаторов класса «2 мнение», результаты автоматического анализа которых подлежат обязательному визуальному контролю с возможной корректировкой врачом, после чего они становятся результатами «1 мнения». Анализаторы «2 мнение» могут значительно улучшить производительность и условия труда, но остаются вспомогательным инструментом, не решая основную проблему замены высококвалифицированного персонала при массовых обследованиях.

2. Аналоги

2.1. Прототип

Патент RU 2703106 «Способ выбора комплектации и режимов сканирования адаптируемого многофункционального сканирующего микроскопа». В прототипе рассмотрен способ разработки и адаптации на этапе эксплуатации автоматического многофункционального сканирующего микроскопа (АМСМ). АМСМ реализует режимы сканирования препарата для производства его цифровых образов (ЦОП) на группе заданных разрешений. Сканирование может осуществляться на разных объективах, с выбором яркости осветителя и/или времени экспозиции при съемке в соответствии с условиями препарата, с перемещением препарата равномерным или с ускорениями. Конструкция АМСМ имеет модульную архитектуру, допускающую применение множества взаимозаменяемых комплектующих с разными характеристиками. Выбор комплектации АМСМ выполняется с использованием расчетного аналитического критерия качества (РАКК), позволяющего сравнивать комплектации с разными характеристиками комплектующих по скорости сканирования в разных режимах на группе заданных разрешений. С помощью РАКК выполняется оптимизация конструкции АМСМ в соответствии с требованиями группы заданных методик анализа. На этапе эксплуатации РАКК используется для автоматической адаптации режима сканирования к характеристикам текущего препарата с оптимизацией по скорости сканирования и качеству ЦОП. Недостатком прототипа является отсутствие функций автоматического анализатора заданных типов объектов в ЦОП, отсутствие функций адаптации анализатора к генеральной совокупности объектов анализа в течение жизненного цикла анализатора.

2.2. Аналог

Патент US 9367765 B2 “Method and apparatus for automatic detection of features in an image and method for training the apparatus”. В аналоге рассматривается способ модернизации анализатора ЦОП по мере выявления новых групп типов объектов, не использовавшихся на предыдущих этапах жизненного цикла анализатора. Способ формирования обучающей выборки новых типов объектов в аналоге не рассматривается. Недостатками аналога являются отсутствие способа формирования обучающей выборки в процессе эксплуатации анализатора для адаптации анализатора к генеральной совокупности объектов анализа в течение жизненного цикла анализатора и отсутствие встроенной методики оценки качества анализатора для определения возможности применения анализатора в качестве автономного.

3. Краткое описание чертежей и рисунков

3.1 Упрощенная схема оборудования АМСМ (Фиг. 1):

В составе лабораторно-облачного сканирующего комбайна-анализатора микроскопии (ЛОСКАМ) в качестве платформы применяют адаптируемый многофункциональный сканирующий микроскоп (АМСМ) прототипа. В состав АМСМ входит автоматизированный световой микроскоп с моторизованными / управляемыми от компьютера элементами конструкции, изменяющими свое положение в пространстве или функцию при подготовке или в процессе микроскопии: 1 - осветитель, 2 - конденсор, 3 - предметный стол, 4 - привод фокуса, 5 - турель объективов с объективами, опции (масленка иммерсионного масла 6, загрузчик предметных стекол на предметный стол 7 и др.). Статическим элементом конструкции является оптический тубус 8. Для сопряжения управляемых элементов с компьютером 9 используется контроллер 10. Программное обеспечение АМСМ инсталлируется на компьютере. Цифровая камера 11 устанавливается на оптическом адаптере 12. Указанные элементы конструкции АМСМ аналогичны элементам конструкции автоматизированных микроскопов производства ряда фирм. Возможно применение моторизованного адаптера сопряжения с камерой с изменяемым увеличением, создающим условия оптимизации скоростных характеристик АМСМ при использовании объективов со значительными различиями в соотношении апертура/увеличение, возможно применение нескольких разных камер для оптимизации скорости сканирования. Выбор комплектации АМСМ выполняется с использованием расчетного аналитического критерия качества (РАКК), реализуемого в составе программного обеспечения АМСМ, позволяющего сравнивать комплектации с разными характеристиками комплектующих по скорости сканирования в разных режимах на группе заданных разрешений. ПО РАКК используется также при эксплуатации АМСМ для выбора оптимального режима сканирования в зависимости от характеристик исследуемого препарата.

3.2. Схема облачных ресурсов лабораторно-облачного сканирующего комбайна-анализатора микроскопии (ЛОСКАМ) (Фиг. 2):

Используют основную облачную компоненту мониторинга (МЖЦ) 16, предназначенную для мониторинга качества работы группы эксплуатирующихся лабораторных ЛОСКАМ (стаи ЛОСКАМ) 14, подключенных к МЖЦ по каналу обмена.

Используют опциональную облачную компоненту (Telemedicine) 15, предназначенную для оказания услуг удаленной визуальной консультации анализируемых в ЛОКАМ препаратов.

Из комбайна стаи ЛОКАМ при наличии разрешения пользователя исполнительный анализатор комбайна ИАА пересылает в МЖЦ в автоматическом режиме:

• Выходные цифровые образы препаратов ЦОП, результаты их автоматического анализа ЦОП-АА-2 и результаты возможной корректировки автоматических результатов пользователем (ЦОП-АА-2-1) 17;

• технологические промежуточные данные в составе промежуточных ЦОП и их автоматического анализа, используемые для автоматической подготовки выходных цифровых образов препаратов 22.

Поступившие в базу данных МЖЦ ЦОП - ЦОП-АА-2 - ЦОП-АА-2-1 17 используют для обучения/модернизации маточного анализатора МАА 18.

Поступившие в МЖЦ технологические данные используют для мониторинга качества автоматических функций ЛОСКАМ.

При подключении лабораторного ЛОСКАМ к Telemedicine пользователь лабораторного ЛОСКАМ 14 имеет возможность переслать подключенным к Telemedicine удаленным консультантам 13 выходные ЦОП и результаты их автоматического анализа ЦОПАА-2 19. Telemedicine транслирует ЦОП и ЦОПАА-2 подключенным к Telemedicine удаленным консультантам или предоставляет им средства визуального анализа ЦОПАА-2 в собственной базе данных Telemedicine 15.

Из МЖЦ 16 в стаю ЛОКАМ 15 автоматически пересылают обновленные версии МАА, которые используют при обновлении программного обеспечения ЛОСКАМ в качестве новой версии лабораторного исполнительного анализатора ИАА 18.

Консультант формирует результаты своей оценки цифрового образа препарата и результатов его автоматического анализа ЦОП-АА-2-1 20, которые ресурс Telemedicine автоматически транслирует пользователю лабораторного ЛОСКАМ. Пользователь ЛОСКАМ может транслировать полученный от консультанта ЦОПАА-2-1 21 в МЖЦ 16.

3.3. Таблица функций ЛОСКАМ, реализующих этапы автономного лабораторного анализа, сбора данных монитором качества, модернизаций анализаторов из состава СКАМ (Фиг. 3):

В таблице представлены основные лабораторные и облачные функции лабораторно-облачного комбайна микроскопии ЛОСКАМ, формирующие действующий на протяжении жизненного цикла стаи ЛОСКАМ контур обучения/модернизации аналитических функций ЛОСКАМ. Контур обучения используется для адаптации ЛОСКАМ к генеральной совокупности объектов анализа после ввода в эксплуатацию. Контур обучения применяет сведения, полученные при эксплуатации стаи комбайнов в качестве анализатора класса 2 мнение для формирования/модернизации аналитических функций комбайна с целью получения анализатора класса 1 мнение, работающего в полностью автономном режиме.

4. Раскрытие изобретения

Применяют лабораторно-облачный сканирующий комбайн-анализатор микроскопии (ЛОСКАМ), предназначенный для автоматизации методик анализа микроскопических объектов биоматериалов.

Применяют следующий состав ЛОСКАМ:

• автоматический многофункциональный сканирующий микроскоп (АМСМ), комплектация и настройка которого обеспечивает производство группы цифровых образов препаратов (ЦОП) с заданными методикой анализа разрешениями;

• взаимодействующий с АМСМ автоматический исполнительный анализатор (ИАА) для анализа ЦОП и формирования интегрированных с ЦОП заданных методикой результатов анализа ЦОП (ЦОП-АА-2);

• взаимодействующие с ИАА интерактивные средства корректировки локальным или удаленным пользователем результатов автоматического анализа ЦОПАА-2 (ЦОП-АА-2-1);

• канал обмена с облачным ресурсом удаленных (телемедицинских) консультаций Telemedicine(опция);

• канал обмена с облачным коллективным монитором качества (МЖЦ) эксплуатирующихся лабораторных комбайнов ЛОСКАМ.

Применяют подключение эксплуатирующихся лабораторных ЛОСКАМ (стаи ЛОСКАМ) по каналу обмена к дистанционному монитору качества (МЖЦ). (Фиг. 2).

Применяют следующий состав МЖЦ:

• База данных (БД МЖЦ) поступивших из стаи ЛОСКАМ аттестованных результатов анализа ЦОП - ЦОП-АА-2 - ЦОП-АА-2-1;

• Маточный анализатор МАА, являющийся аналогом исполнительного анализатора комбайна ИАА;

• Средства обучения (модернизации) МАА с применением ЦОП - ЦОП-АА-2 - ЦОП-АА-2-1 из БД МЖЦ в качестве обучающей и экзаменационной выборок для настройки и испытаний МАА.

В МЖЦ на периодической основе выполняют сессии обучения МАА с использованием данных из БД МЖЦ.

Выполняют экспорт из МЖЦ в стаю ЛОСКАМ обученной модернизированной версии МАА в качестве модернизации исполнительных анализаторов ИАА стаи комбайнов.
Применяют сбор по БД МЖЦ статистики соотношения количества ЦОП-АА-2-1, формируемых квалифицированными пользователями, без корректирующих поправок и ЦОП-АА-2-1 с корректирующими поправками для принятия решения о возможности применения модернизированного ЛОСКАМ в качестве автономного автоматического анализатора класса 1 мнение.

5. Осуществление изобретения

5.1. Этапы формирования конструкции ЛОСКАМ

Этапами, предшествующими этапу осуществления собственно способа коллективного обучения ЛОСКАМ, являются этапы:

• Выбора группы методик микроскопического анализа биоматериалов, подлежащих автоматизации при применении ЛОСКАМ;

• Выбора (разработки) конструкции многофункционального сканирующего микроскопа АМСМ из состава ЛОСКАМ, обеспечивающего функции формирования ЦОП, заданных составом заданных методик микроскопического анализа биоматериалов;

• Выбора (разработки) исходной версии исполнительного анализатора ЦОП ИАА из состава ЛОСКАМ;

• Разработки взаимодействующих с ИАА интерактивных средств ЛОСКАМ для корректировки локальным или удаленным пользователем результатов автоматического анализа ЦОП-АА-2 (ЦОП-АА-2-1) с применением известных или специализированных средств разработки интерфейса пользователя с визуализацией ЦОП-АА-2 и ЦОП-АА-2-1 на мониторе необходимого для визуального анализа качества.

Выбор конструкции АМСМ осуществляют с применением способа выбора параметров конструкции, предложенного в прототипе RU 2703106 «Способ выбора комплектации и режимов сканирования адаптируемого многофункционального сканирующего микроскопа». Рассмотренный в прототипе способ выбора комплектации предоставляет возможность реализовать на одной и той же платформе АМСМ группу из нескольких автоматизированных методик анализ с производством всех необходимых для группы методик вариантов ЦОП. Применение технологии прототипа позволяет также осуществлять модернизации АМСМ в течение жизненного цикла АМСМ при необходимости внедрения новых методик анализа или при появлении более эффективных комплектующих. Возможны также другие способы конструирования АМСМ. Выбор/модернизация конструкции АМСМ реализует 1-й контур адаптации ЛОСКАМ.

При выборе (разработке) исходной версии анализаторов ИАА и МАА используют известную или вновь разработанную технологию разработки автоматического анализатора изображений, например обучение нейронной сети методом Deep learning. Используют собранную на этапе разработки исходных версий ИАА и МАА обучающую ЦОП - ЦОП-1 (размеченные опытными пользователями ЦОП с указанием объектов анализа и их типов) и экзаменационную выборку ЦОП-АА-2-1 с оценками пользователей результатов автоматического анализа версий ИАА и МАА. Целесообразно применение одной и той же технологии разработки (обучения) анализаторов ИАА и МАА.

Выполняют развертывание облачного монитора качества МЖЦ. Технологии, используемые для реализации функций МЖЦ, могут относиться к известным коммерчески доступным IT технологиям облачного удаленного доступа по каналам Интернет, web программирования и др.

5.2. Этап коллективного обучения ЛОСКАМ.

Выполняют подключение эксплуатирующихся лабораторных комбайнов стаи ЛОСКАМ к МЖЦ с использованием известных или вновь разработанных каналов обмена данными.

Автоматическую адаптацию условий съемки и режима сканирования при производстве ЦОП очередного анализируемого препарата в ЛОСКАМ осуществляют в соответствии с механизмами адаптации АМСМ из состава ЛОСКАМ. Могут использоваться механизмы адаптации прототипа RU 2703106 с применением аналитического критерия качества или иные механизмы адаптации, реализующие контур адаптации ЛОСКАМ к препарату в реальном времени (2-й контур адаптации ЛОСКАМ).

Формирование ЦОП-АА-2-1 пользователем может выполняться на основе как визуального анализа соответствующих ЦОП и ЦОП-АА-2 данного препарата, так и с привлечением других сведений о пациенте, например при анализе цитологического препарата с апостериорным использованием данных гистологического анализа.

С согласия пользователя и с соблюдением мер защиты персональных данных выполняют автоматический или автоматизированный экспорт результатов выполненных анализов ЦОП - ЦОП-АА-2 - ЦОП-АА-2-1 из локальной базы данных результатов анализа лабораторного комбайна в базу данных БД МЖЦ по каналам связи с МЖЦ. Экспорт может выполняться автоматически под управлением средств поддержки локальной базы данных результатов или автоматизировано по указаниям пользователя.

Накопление и хранение ЦОП - ЦОП-АА-2 - ЦОП-АА-2-1 в БД МЖЦ выполняют с применением стандартизированных или специальных средств сопровождения облачных баз данных.

В МЖЦ на периодической основе выполняют сессии обучения МАА с использованием данных из БД МЖЦ. Обучение МАА может выполняться с использованием известных технологий, таких как deep learning на ЭВМ с графическими ускорителями, или с использованием вновь разработанных технологий.

Выполняют экспорт из МЖЦ в стаю ЛОСКАМ обученной модернизированной версии МАА в качестве модернизации исполнительных анализаторов ИАА стаи комбайнов, осуществляя контур адаптации ЛОСКАМ к генеральной совокупности объектов анализа (3-й контур адаптации ЛОСКАМ).

После выполнения очередных модернизаций (внедрений новых версий) ИАА или на постоянной основе применяют сбор по БД МЖЦ статистики соотношения количества ЦОП-АА-2-1 с подтверждением пользователями результатов ЦОП-АА-2 в качестве 1 мнения к количеству ЦОП-АА-2 с корректирующими поправками пользователей для принятия решения о возможности применения модернизированной версии ЛОСКАМ в качестве автономного автоматического анализатора класса 1 мнение. Рассмотренная методика сбора указанной статистики может применяться в качестве методики испытаний лабораторно-облачного комбайна ЛОСКАМ, использующейся для аттестации изделия.

В случае перехода режима эксплуатации ЛОСКАМ в режим «1 мнение» экспорт ЦОП - ЦОП-АА-2 - ЦОПАА-2-1 в МЖЦ может осуществляться в рамках профилактических работ на стае ЛОСКАМ с привлечением опытных пользователей для подтверждения статуса автономного автоматического анализатора.

Сведения из БД МЖЦ могут использоваться для выбора практик пользователей (ЦОП-АА-2-1), подтвержденных другими референсными методиками (при наличии соответствующих апостериорных сведений о пациенте). Такого рода выборка ЦОП - ЦОП-АА-2 - ЦОПАА-2-1референс может использоваться для формирования контура адаптации ЛОСКАМ к генеральной совокупности объектов анализа в режиме обучения анализаторов без использования визуальной информации пользователей (4-го контура адаптации ЛОСКАМ).

Способ коллективного обучения группы эксплуатирующихся сканирующих лабораторно-облачных комбайнов-анализаторов микроскопии (ЛОСКАМ), имеющих в своем составе адаптируемый многофункциональный сканирующий микроскоп (АМСМ) для производства цифровых образов препаратов (ЦОП), имеющих автоматический исполнительный анализатор (ИАА) для анализа ЦОП и формирования автоматических результатов анализа ЦОП (ЦОП-АА-2), использующихся в режиме ответственности «2 мнение», являющегося предварительным, имеющих интерактивные средства визуального анализа ЦОП и ЦОП-АА-2, возможной корректировки ЦОП-АА-2 с формированием собственных результатов анализа пользователя ЦОП-АА-2-1, соответствующих режиму ответственности «1 мнение», являющегося окончательным. Коллективный монитор качества (МЖЦ) выполняет сбор данных контроля качества функционирования комбайнов ЛОСКАМ. В интегрированной базе данных МЖЦ (БД МЖЦ) накапливают результаты ЦОП – ЦОП-АА-2 – ЦОП-АА-2-1 выполненных анализов, выполняют в МЖЦ сессии обучения входящих в него маточных автоматических анализаторов (МАА) с использованием данных из БД МЖЦ в качестве обучающей и экзаменационной выборок для производства и контроля модернизированных версий МАА, которые экспортируют в ЛОСКАМ в качестве модернизаций исполнительных анализаторов ИАА, собирают в МЖЦ статистику соотношения ЦОП-АА-2-1 без корректировок пользователем или с его поправками для принятия решения о возможности применения комбайнов ЛОСКАМ с модернизированными ИАА в качестве автономных автоматических анализаторов. 3 ил.

Способ коллективного обучения группы эксплуатирующихся сканирующих лабораторно-облачных комбайнов-анализаторов микроскопии (ЛОСКАМ), предназначенных для автоматизации заданной группы методик анализа микроскопических объектов биоматериалов, имеющих в своем составе адаптируемый многофункциональный сканирующий микроскоп (АМСМ) для производства цифровых образов препаратов (ЦОП) с заданными методиками анализа разрешениями, имеющих в своем составе автоматический исполнительный анализатор (ИАА) для анализа ЦОП и формирования автоматических результатов анализа ЦОП (ЦОП-АА-2), использующихся в режиме ответственности «2 мнение», являющемся предварительным, имеющих в своем составе интерактивные средства визуального анализа ЦОП и ЦОП-АА-2, возможной корректировки ЦОП-АА-2 с формированием собственных результатов анализа пользователя ЦОП-АА-2-1, соответствующих режиму ответственности «1 мнение», являющемуся окончательным, подключенных к облачному коллективному монитору качества (МЖЦ), выполняющему сбор данных контроля качества функционирования комбайнов ЛОСКАМ в течение их жизненного цикла, отличающийся накоплением с согласия пользователей в интегрированной базе данных МЖЦ (БД МЖЦ) результатов ЦОП – ЦОП-АА-2 – ЦОП-АА-2-1 выполненных анализов, поступающих из комбайнов ЛОСКАМ, наличием в составе МЖЦ маточного автоматического анализатора (МАА), функционально эквивалентного исполнительному анализатору ИАА, периодическим выполнением в МЖЦ сессий обучения МАА с использованием данных из БД МЖЦ в качестве обучающей и экзаменационной выборок для производства и контроля модернизированных версий МАА, экспортом из МЖЦ в группу эксплуатирующихся комбайнов ЛОСКАМ модернизированных версий МАА в качестве модернизаций исполнительных анализаторов ИАА, сбором в МЖЦ статистики по группе эксплуатирующихся комбайнов ЛОСКАМ соотношения ЦОП-АА-2-1 без корректировок пользователем результатов ЦОП-АА-2 или с его корректирующими поправками для принятия решения о возможности применения комбайнов ЛОСКАМ с модернизированными ИАА в качестве автономных автоматических анализаторов с режимом ответственности результатов ЦОП-АА-2 «1 мнение», являющимся окончательным.