Контактная линза с тонкой камерой и способ её изготовления Российский патент 2024 года по МПК G02C7/04 

Группа изобретений относится к оптическим элементам с интегрированными электронными компонентами, а именно к контактным линзам со встроенной ультратонкой цифровой камерой, которые могут быть использованы для видеофиксации, распознавания объектов, реализации функции слежения за положением глаз пользователя (eye-tracking), в том числе при формировании виртуальной, дополненной, смешанной или расширенной реальности (VR/AR/MR/XR), а также с целью диагностики и компенсации глазных заболеваний и иных применений.

В последние годы наблюдается высокий интерес общества к VR/AR/MR/XR устройствам. Данные устройства являются альтернативным продолжением, ставших уже классическими, экранов смартфонов и мониторов компьютеров. Ключевыми характеристиками оптимальных для конечного пользователя AR устройств являются факторы компактности и совмещение цифрового мира с образом окружающего реального мира. Наиболее компактным представляется AR устройство в виде контактной линзы, в которой совмещение цифрового мира с окружающей реальностью осуществлено за счёт цифровых способов фиксации реального мира, последующего наложения и совмещения образа реального мира и цифрового контента. Наиболее полным и оптимальным способом фиксации реального мира является цифровая камера, интегрированная в контактную линзу. С учетом малой толщины контактной линзы и требованием интеграции в ее объем всей системы захвата изображения (камеры), такая задача является нетривиальной. Классические оптические системы, используемые в альтернативных устройствах фото и видео фиксации не применимы в контактной линзе ввиду их громоздкости. Контактная линза имеет ограниченную толщину и объем и, по своей сути, контактная линза изогнутая, а не плоская, таким образом для интеграции требуется использование специальной цифровой камеры ультратонкого физического размера.

Из уровня техники известен метод безобъективной реконструкции изображения камерой на основе кодирующей маски и обученной нейронной сети с методами регуляризации для решения технической проблемы в виде наличия зашумлённости полученного изображения (см. патент CN 112950750 B, кл. G06N3/08, опубл. 08.12.2023). Безобъективная камера по своей структуре представляет собой последовательность из КМОП (комплементарная структура металл - оксид - полупроводник) матрицы и бинарной маски в виде хромирования на кварцевом стекле. В качестве основного алгоритма восстановления изображения рассматривается метод усеченного сингулярного разложения Learned-TSVD, который в качестве своей основы использует обучаемую нейронную сеть. Использование данного алгоритма восстановления позволяет значительно снизить зашумленность итогового изображения.

Недостатком известного устройства является неадаптированность безобъективной камеры для интеграции в объем контактной линзы. А именно рассмотренная реализация безобъективной камеры представляет собой структуру с толщиной 2 мм, что не является удовлетворительной толщиной для применения в контактной линзе. А использование плоской бинарной маски на кварцевом стекле представляет собой ограниченность в виде частичного перекрытия области видимости, за счет непрозрачных частей бинарной маски, что снижает энергоэффективность регистрации изображения. Также процесс начальной калибровки безобъективной камеры ограничивается использованием вертикальных и горизонтальных калибровочных линий, что является ограничивающим фактором для достигаемой точности восстановления итогового изображения.

Из уровня техники известна интраокулярная видеосистема для улучшения и восстановления зрения, включающая в себя саму контактную линзу для ношения на поверхности глаза, камеру и дисплей, выполненный с возможностью получения изображения с камеры и дополнительной цифровой обработки или фильтрации (см. публикацию WO 2006015315 A3, кл. A61F2/14, опубл. 19.04.2007). Дисплей расположен внутри глаза пользователя и обеспечивает отображение цифрового изображения на сетчатку пользователя. В известном решении в качестве технической реализации камеры в контактной линзе рассматривается использование дугообразной камеры-обскура. Ключевым недостатком известного решения является ее большой размер на масштабе толщины контактной линзы (порядка 0.05-0.2 мм). Камера-обскура по своему принципу работы требует использования значительного оптического пути для построения геометрической оптической проекции изображения через маленькое отверстие на область электрооптического считывания сигнала. При значительном уменьшении характерных размеров камеры-обскура происходит переход принципов ее работы от геометрической оптики к волновой оптике, что приводит к ухудшению качества изображения (появление паразитных порядков дифракции света и дифракционному смещению цветов). Кроме того, камера-обскура имеет достаточно низкую контрастность изображения, что связано с необходимостью использовать малую входную апертуру и приводит к повышенным требованиям к чувствительности электрооптических детекторов, низкой скорости смены кадров и размытию движущихся объектов. Таким образом, возможность реализации известного решения на практике представляется весьма сомнительной.

Из уровня техники известна система захвата изображения, интегрированная в активную контактную линзу и осуществляющая захват изображения посредством тонкого компонента и системы обработки данных для выполнения функций отображения, передачи или фиксации изображения, видимого в области взгляда пользователя (см. публикацию WO 2014058733 A1, кл. G03B 15/00, опубл. 17.04.2014). В известной системе в качестве основного принципа захвата изображения используется камера, работающая на принципах классической геометрической оптики, но использующая фокусирующий оптический компонент с уменьшенной физической толщиной (линза Френеля или тонкая линза с переменным показателем преломления). Недостатком такой оптической системы является низкое качество детектируемого изображения, которое определяется переходом работы оптической системы от исключительно геометрических оптических физических принципов к волновой оптике и появлению дифракционных эффектов на масштабе толщины контактной линзы. Кроме того, известная система требует большого различия показателей преломления между оптическим фокусирующим элементом и объемом оптически прозрачной части контактной линзы, что трудно реализуемо на практике.

Из уровня техники известна умная контактной линзы с функцией захвата изображения, содержащая две части оптической системы, первая из которых представляет собой прозрачное смотровое окно, участвующего в корректном функционировании визуального восприятия глаза пользователя, а вторая часть представляет собой смотровое окно, окружающее первое смотровое окно и участвующее в непосредственном процессе захвата изображения (см. патент TWI 662318 B, кл. G02C 7/04, опубл. 11.06.2019). Вторая часть оптической системы содержит модуль ввода изображения, модуль последующей передачи изображения на базе волноводного принципа в объеме контактной линзы и модуль электрооптического восприятия изображения. Недостатком известного устройства является низкое качество регистрируемого изображения, обусловленное дифракционным расплыванием и набором ошибки искажения исходного изображения при многократном переотражении от границ объема контактной линзы. Кроме того, при механической деформации такой контактной линзы происходит значительное ухудшение качества регистрируемого изображения или полная его потеря на пути от исходного изображения до электрооптического компонента. Таким образом, работоспособность известного решения при реализации на практике представляется маловероятной.

Наиболее близкой по технической сущности к заявленному изобретению является умная контактная линза с интегрированной фемтокамерой для управления и взаимодействия с AR, причём фемтокамера представляет собой оптическую систему с изогнутой отражающей поверхностью и электрооптическим детектором, установленным по ходу продолжения отражённых лучей (см. патент US 10712564 B2, кл. G02B 27/01, опубл. 14.07.2020). Данная оптическая система является уменьшенным и упрощенным аналогом оптической системы телескопа Ньютона. Использование такой оптической системы в фемтокамере, позволяет уменьшить длину оптической системы камеры в два раза по сравнению с классическими оптическими системами, применяемыми в объективах типовых видеокамер. Однако, для обеспечения удовлетворительного качества детектируемого изображения, размер такой камеры по оценкам будет составлять не менее 1-2 мм. При дальнейшем уменьшении толщины фемтокамеры происходит значительное искажение детектируемого изображения, обусловленное аберрационными эффектами и появлением дифракционных порядков. Таким образом, известная контактная линза не может быть выполнена толщиной, удовлетворяющей требованию комфортного повседневного использования (не более 0.5 мм). Кроме того, известная камера имеет относительно массивный корпус и перекрывает прямой обзор пользователю.

Технической проблемой является устранение указанных недостатков, обусловленных использованием ограниченного набора классических оптических схем, не позволяющих интегрировать известные цифровые камеры в умную контактную линзу для повседневного комфортного использования конечным пользователем.

Технический результат заключается в значительном уменьшении толщины контактной линзы с интегрированной камерой и получении работоспособного устройства, комфортного для повседневного ношения.

Поставленная задача решается, а технический результат в части устройства достигается тем, что в контактной линзе, содержащей корпус из оптически прозрачного материала, в который встроен электронный компонент, содержащий источник питания и камеру с по меньшей мере одним приёмником в виде матрицы фоточувствительных элементов, оборудованную оптической системой, указанная оптическая система выполнена в виде по меньшей мере одной кодирующей маски, отделённой от приёмника промежуточным слоем однородного оптически прозрачного материала и расположенной на поверхности или внутри корпуса линзы.

Кодирующая маска может быть выполнена в виде амплитудной кодирующей маски, образованной прозрачными и непрозрачными областями. Прозрачные и непрозрачные области при этом могут образовывать матрицу Адамара.

Кодирующая маска может быть выполнена в виде фазовой кодирующей маски, образованной прозрачными областями с различной длиной оптического пути. Области с различной длиной оптического пути могут быть образованы путём формирования рельефа на поверхности линзы, или путём формирования внутри корпуса линзы микролинз с различными фокусными расстояниями, или путём размещения диэлектрических наночастиц одного состава, но различных размеров. При этом области с различной длиной оптического пути могут быть выполнены из материала с показателем преломления больше, чем корпус контактной линзы, или внутри корпуса линзы из материала с показателем преломления меньше, чем корпус контактной линзы. Области с различной длиной оптического пути могут также быть образованы прозрачными областями с различными показателями преломления. Области с различными показателями преломления могут быть образованы путём размещения диэлектрических наночастиц различного состава.

Промежуточный слой может быть выполнен из материала корпуса контактной линзы. Камера может быть снабжена единым приёмником замкнутой формы, расположенным на периферии контактной линзы или группой пространственно разделённых приёмников, расположенных на периферии контактной линзы и объединённых в единую систему. Также приёмник может быть выполнен оптически прозрачным и расположен по центру контактной линзы. Камера может быть обращена в сторону окружающего пространства или в сторону глаза пользователя.

Поставленная задача решается, а технический результат достигается в части способа тем, что при изготовлении контактной линзы, включающем подготовку электронного компонента, содержащего источник питания и камеру с по меньшей мере одним приёмником в виде матрицы фоточувствительных элементов, оборудованную оптической системой, размещение электронного компонента в заготовке контактной линзы, инкапсуляцию электронного компонента и формирование корпуса контактной линзы, оптическую систему камеры выполняют в виде кодирующей маски, расположенной на поверхности или внутри корпуса линзы, отделяют кодирующую маску от приёмника промежуточным слоем однородного оптически прозрачного материала и калибруют полученную камеру после инкапсуляции и формирования корпуса контактной линзы.

Калибровку камеры внутри корпуса контактной линзы в первом варианте проводят методом линейных математических преобразований путём расположения точечных источников света на заданных расстояниях от контактной линзы, получения их изображения с помощью камеры и расчёта калибровочных характеристик кодирующей маски для каждого из указанных расстояний. Калибровку камеры внутри корпуса контактной линзы во втором варианте проводят методом машинного обучения путём расположения трехмерных объектов на заданных расстояниях от контактной линзы, получения их изображения с помощью камеры, загрузки трехмерного изображения указанных объектов на заданных расстояниях и расчёта с использованием глубоких нейросетей калибровочной характеристики кодирующей маски для диапазона указанных расстояний. При этом предпочтительно используют сверточные нейросети. Инкапсуляцию электронного компонента предпочтительно проводят в процессе затвердевания материала корпуса линзы.

На фиг. 1 представлен общий вид предлагаемой контактной линзы;

на фиг. 2 - схема формирования изображения в глазу пользователя предлагаемой линзой с расположенными внутри амплитудной кодирующей маской Адамара (камера обращена в сторону окружающего пространства);

на фиг. 3 - узел камеры 3 по фиг. 2;

на фиг. 4 - общий вид глаза с установленной контактной линзой по фиг. 2;

на фиг. 5 - схема формирования изображения в глазу пользователя предлагаемой линзой с расположенными внутри несколькими амплитудными масками (камера обращена в сторону глаза пользователя);

на фиг. 6 - узел камеры 3 по фиг. 5;

на фиг. 7 - схема формирования изображения в глазу пользователя предлагаемой линзой с фазовой кодирующей маской в виде рельефа на поверхности линзы (камера обращена в сторону окружающего пространства);

на фиг. 8 - узел камеры 3 фиг. 7;

на фиг. 9 - общий вид глаза с установленной контактной линзой по фиг. 7;

на фиг. 10 - схема формирования изображения в глазу пользователя предлагаемой линзой с фазовой кодирующей маской в виде диэлектрических наночастиц одного состава, но различных размеров;

на фиг. 11 - схема формирования изображения в глазу пользователя предлагаемой линзой с фазовой кодирующей маской в виде микролинз с различными фокусными расстояниями;

на фиг. 12 - узел камеры 3 по фиг. 11;

на фиг. 13 - общий вид глаза с установленной контактной линзой по фиг. 11;

на фиг. 14 - схема формирования изображения в глазу пользователя предлагаемой линзой с фазовой кодирующей маской в виде пузырьков воздуха;

на фиг. 15 - схема формирования изображения в глазу пользователя предлагаемой линзой с фазовой кодирующей маской в виде диэлектрических наночастиц различного состава;

на фиг. 16 - схема формирования изображения в глазу пользователя предлагаемой линзой с камерой, снабжённой единым кольцевым приёмником замкнутой формы;

на фиг. 17 - общий вид глаза с установленной контактной линзой по фиг. 16;

на фиг. 18 - схема формирования изображения в глазу пользователя предлагаемой линзой с камерой, снабжённой группой пространственно разделённых приёмников;

на фиг. 19 - общий вид глаза с установленной контактной линзой по фиг. 18;

на фиг. 20 - схема формирования изображения в глазу пользователя предлагаемой линзой с камерой, снабжённой оптически прозрачным приёмником по центру контактной линзы;

на фиг. 21 - общий вид глаза с установленной контактной линзой по фиг. 20;

на фиг. 22 - принципиальная схема работы предлагаемой камеры;

на фиг. 23 - схема калибровки камеры методом линейных математических преобразований;

на фиг. 24 представлено изображение, непосредственно детектируемое приёмником 4, полученное в процессе калибровки тонкой камеры 3 с использованием точечного источника белого света, установленного на дистанции 50 см;

на фиг. 25 - итоговое изображение 18, восстановленное методом линейных математических преобразований из изображения по фиг. 24;

на фиг. 26 - схема калибровки камеры методом машинного обучения с разной глубиной фокусировки.

Предлагаемая контактная линза концептуально отличается от аналогов возможностью реализации в комфортном форм-факторе на базе компонентов, уже существующих на рынке, а также имеет широкие перспективы дальнейшей миниатюризации в ходе развития науки и техники.

Предлагаемая умная контактная линза представляет собой корпус 1 из оптически прозрачного материала, внутрь которого встроен электронный компонент: источник 2 питания (блок постоянного питания и заряда аккумуляторов) и камера 3. Электронный компонент может также включать блок передачи данных, проекционную систему, физиологические сенсоры, элементы для реализации управления и т.д., однако это не является предметом настоящего изобретения.

Камера 3 представляет собой один или несколько приёмников 4, перед которыми установлена оптическая система в виде одной или нескольких кодирующих масок 5.

Такая оптическая система для тонкой камеры значительно отличается от классических систем (последовательных линз или зеркал) оптической цифровой фиксации, используемых в аналогах предлагаемой линзы. В разработанной конструкции предполагается отойти от классических принципов построения оптических систем, которые имеют ключевое ограничение в виде принципиальной невозможности уменьшить их толщину до значений, необходимых для интеграции в контактную линзу, комфортную для ношения пользователем. В отличие от классических предлагаемая оптическая система тонкой камеры 3 может иметь произвольную форму и геометрию, при этом не требует соблюдения соосности последовательности оптических компонентов и дистанционной привязки в соответствии с их фокусными характеристиками (что совершенно необходимо в случае классических оптических систем, таких как объективы фотокамер).

Форма и геометрия тонкой камеры 3 и, соответственно, приёмника 4 могут быть представлены в виде: отдельного прямоугольного элемента, расположенного рядом со зрачком (наиболее применимо в случае разработки тонкой камеры на базе широко коммерчески-доступной прямоугольной электрооптической матрицы CMOS, CCD и др.) (фиг. 3, 4); единого изогнутого по форме зрачка элемента замкнутой формы, расположенного на периферии контактной линзы (фиг. 17); или группы (массива) пространственно разделённых приёмников (электрооптическая матрица разбита на ряд отдельных функциональных компонентов на периферии контактной линзы), которые в своей совокупности образуют единую систему тонкой камеры (фиг. 19); а также комбинации указанных форм.

Отсутствие ограничения на форму и геометрию тонкой камеры 3 также позволяет получить камеру с большей приёмной площадью, чем при использовании классических оптических систем (как правило, ограниченных круговой геометрией). В свою очередь, использование электрооптического детектора большей площади позволяет увеличить чувствительность камеры 3 и получать различимые изображения при более низкой интенсивности внешнего освещения наблюдаемых объектов. Кроме того, использование тонкой камеры 3 с изогнутой геометрией, на изогнутой “сферической” поверхности (такой как глаз человека) позволяет получить больший угол обзора камеры (FOV - field of view) по сравнению с классическими осевыми оптическими системами. Высокие значения характеристик чувствительности камеры 3 и больших углов обзора дают значительное преимущество при использовании предлагаемой умной контактной линзы в приложениях ночного зрения и высокоскоростной фиксации изображения в большом диапазоне просмотровых углов.

В одном из вариантов выполнения предлагаемая тонкая камера 3, интегрированная в объем контактной линзы (корпус 1), располагается своей плоскостью по касательной к внутренней поверхности контактной линзы - это позволяет использовать коммерчески доступные плоские фоточувствительные матрицы. По причине непрозрачности (на данный момент развития промышленных технологий) ряда компонентов (слоев) тонкой камеры 3, предпочтительно её размещение на периферии контактной линзы, т.е. вне зрачковой области, чтобы объем камеры 3 не препятствовал обзору окружающего мира конечным пользователем.

Тем не менее, ввиду существующих разработок в области создания приёмников 4 с полной или частичной прозрачностью, также возможен принцип размещения тонкой камеры 3 непосредственно в зрачковой области контактной линзы (фиг. 20, 21). Такое размещение обеспечивает совпадение направления обзора тонкой камеры 3 и глаза конечного пользователя, что дает значительное преимущество в процессе привязки цифрового мира дополненной реальности к образу реального окружающего мира.

Помимо самого приёмника 4, как отдельного элемента, в корпусе контактной линзы требуется размещение дополнительных электронных компонентов камеры 3, обеспечивающих ей полноценное функционирование в единой электрической системе умной контактной линзы. К таким дополнительным электронным компонентам относятся: уже упомянутый источник 2 питания; контроллер 6 камеры, выполняющий кодирование и предварительную обработку потока данных от приёмника 4 в цифровой формат, пригодный для входа в единый процессорный блок умной контактной линзы; сопутствующая электроника 7 для интеграции камеры 3 в единую электрическую систему всей умной контактной линзы (в т.ч. для подключения к источнику 2 питания, блоку управления и контроля команд, блоку приема и передачи данных беспроводными методами и т.д.).

Физически камера 3 представляет собой последовательность уложенных друг на друга тонких функциональных слоев (фиг. 3, фиг. 6). Базовая слоевая структура тонкой камеры включает в себя: кодирующую маску 5, матрицу 8 фоточувствительных элементов и расположенный между ними промежуточный слой 9 однородного оптически прозрачного материала (материала корпуса 1 линзы или иного материала, предварительно нанесённого на матрицу 8).

Кодирующая маска 5 представляет собой фазовый или амплитудный оптически-прозрачный, или частично оптически-прозрачный слой толщиной 0.05-30 мкм, расположенный на поверхности или внутри корпуса 1 линзы. Такое расположение и само использование именно кодирующей маски 5 позволяет создать полностью автономное устройство минимальных размеров, выполненное в форм-факторе тонкой контактной линзы с интегрированной камерой, которая комфортна для повседневного ношения - результат, принципиально не достижимый для классических оптических систем.

Основной функцией кодирующей маски 5 является наложение её оптических характеристик на изображение образа окружающего мира, т.е., по сути, производится сжатие с проекцией компонентов входного изображения на подпространство, образованное статической двумерной (2D) кодирующей маской 5. В классической системе осуществляется прямое тривиальное отображение точечных пространственных функций (2D образа, получаемого от точечного источника), где каждая локальная пространственная функция отображается на единственный пиксель. Для отхода от этого принципа и обеспечения распространения одной локальной точечной пространственной функции сразу на несколько пикселей матрицы 8 фоточувствительных элементов, кроме наличия самой кодирующей маски 5 требуется наличие дополнительного оптического пути. Для этого между маской 5 и приёмником 4 формируют промежуточный слой 9 однородного оптически прозрачного материала, где происходит распространение локальной точечной пространственной функции на ряд пикселей. За счёт этого небольшое отклонение точечного оптического источника от исходного положения приводит к значительному изменению всего образа точечной пространственной функции, детектируемой приёмником 4. Промежуточный слой 9 может быть сформирован отдельно при изготовлении камеры или одновременно с формированием корпуса 1 контактной линзы из того же материала.

Толщина промежуточного слоя 9 в значительной степени зависит от характеристик выбранной кодирующей маски 5 и требуемых фокусирующих характеристик всей оптической системы, а также от многих других параметров, и приблизительно должна находиться в диапазоне от 10 мкм до 1 мм. Полученное с помощью предлагаемого устройства проекционное изображение, детектируемое матрицей 8 (CMOS или CCD), значительно отличается от классического представления изображения (снимка), получаемого при использовании классических фото-фиксирующих устройств (линзовых и зеркальных фотоаппаратов, фотокамер и т.д.), и представляет собой закодированное маской исходное изображение окружающего пространства (фиг. 24), где каждая локальная область изображения (вплоть до отдельного пикселя) содержит информацию от всего изображения или его большей части. Таким образом, благодаря предлагаемой конструкции, при соответствующем подборе толщин различных функциональных слоев, рассматриваемая тонкая камера 3 по параметру толщины может находиться на уровне толщины контактной линзы для повседневного комфортного ношения человеком (в пределах не более 500 мкм).

В качестве кодирующей маски 5 могут применяться различные оптические маски, такие как: амплитудная дискретная маска, дискретная фазовая маска, адиабатическая фазовая маска и т.д.

Амплитудная дискретная кодирующая маска 5 представляет собой совокупность прозрачных областей 10 и непрозрачных областей 11 и может быть выполнена в виде тонкого металлического слоя (50-1000 нм), изготовленного методом напыления по шаблону на поверхность прозрачной подложки (фиг. 3). Отличительной особенностью кодирующей маски 5 для приложения тонкой камеры 3 от других оптических масок является то, что она должна содержать кодирующие параметры, представляющие собой широкий спектр пространственных частот. К таким дискретным кодирующим маскам относятся: зонные пластинки Френеля, маски по матрицам Адамара, оптимизированные произвольные паттерн-маски и т.д.

Кроме амплитудной дискретной кодирующей маски 5, по аналогии, возможно использование дискретной фазовой кодирующей маски 5. В такой фазовой маске 5 может использоваться пиксельная структура в виде областей 12 (“столбиков”) оптически прозрачного материала разной толщины, т.е. разного оптического пути. Области 12 с различной толщиной могут быть образованы непосредственно из материала корпуса 1 путём формирования рельефа на поверхности контактной линзы (фиг. 8). Дискретные кодирующие маски 5 могут быть изготовлены методами классической литографии или при использовании методов микро 3D-печати (например, методом двухфотонной фотополимеризация), а также другими известными способами.

В амплитудной кодирующей маске 5 непрозрачная область 11 обычно составляет порядка половины всей площади поверхности камеры 3, фазовая же маска представляет собой полностью прозрачный оптический слой и задействует в эффективной работе всю площадь приёмника 4. Это отличительное качество фазовой кодирующей маски, является преимуществом при использовании тонкой камеры 3 в условиях слабой освещенности. Большая эффективная рабочая площадь при более низких уровнях оптического сигнала позволяет различать предметы в темноте, а также производит уменьшение размера всей площади тонкой камеры 3.

И фазовая и амплитудная дискретные кодирующие маски 5 ввиду своей дискретности лучшим образом подходят для тонких камер 3, установленных на фиксированное рабочее фокусное расстояние. Однако, при изменении расположения регистрируемого объекта в рабочем поле камеры 3 (при удалении или приближении дискретной кодирующей маски 5) значительно ухудшается качество полученного изображения, а также увеличивается время, необходимое для его алгоритмического восстановления. Указанная проблема может быть решена путём использования адиабатических фазовых кодирующих масок 5.

Аналогичные области с различной длиной оптического пути могут быть сформированы из материала (например, наночастиц - фиг. 10) с показателем преломления больше, чем корпус 1 контактной линзы, или быть выполнены внутри корпуса 1 линзы из материала с показателем преломления меньше, чем корпус контактной линзы, например, в виде воздушных пузырьков (фиг. 14).

В самом простом случае адиабатическая фазовая кодирующая маска 5 представляет собой набор областей с различной длиной оптического пути, полученных путём размещения в корпусе 1 диэлектрических наночастиц одного состава, но различных размеров (фиг. 10, 14). Для этого исходные наночастицы различной дисперсностью замешивают, например, в полимерный буфер и наносят (наливают) полученный состав на готовый промежуточный слой 9, формируя неоднородные области, образующие кодирующую маску 5. Различие в концентрации одних и тех же наночастиц в различных локальных областях кодирующей маски 5 приводит к различию показателя преломления в этих локальных областях и формированию областей с различной длиной оптического пути.

В другом варианте фазовая маска 5 может быть образована путём формирования внутри корпуса 1 пересекающихся микролинз с различными фокусными расстояниями (фиг. 11-13). При использовании кодирующей маски 5 в виде пересекающихся микролинзовых поверхностей (микролинз) с различными фокусными расстояниями (фокусирующими характеристиками) за единичный снимок удается произвести фотофиксацию объектов с фокусировкой в большом диапазоне. Используя методы алгоритмической обработки, оптимизированные под набор фокусных расстояний, за единичный снимок можно восстановить сразу несколько снимков с различной глубиной фокусировки. Такое свойство адиабатической кодирующей маски 5 позволяет известными оптическими методами получить частичное 3D представление объектов, находящихся в поле видения камеры 3, что, в свою очередь, позволяет произвести оценку положения (расстояния до объектов) контактной линзы в окружающем пространстве, что сопоставимо с функцией LiDAR технологии.

Кодирующая маска 5 также может быть образована прозрачными областями 13 с различными показателями преломления (фиг. 15), которые получены, например, путём размещения диэлектрических наночастиц различного состава (т.е. с разными оптическими свойствами, например, разных веществ или разных фаз одного и того же вещества). Для этого исходные различные наночастицы могут одновременно быть замешаны в полимерный буфер и нанесены в виде единого состава на готовый промежуточный слой 9, формируя неоднородные области 13 с различными показателями преломления и различной длиной оптического пути. Оптический элемент с переменным показателем преломления на масштабе нескольких десятков микрон выполняет кодирующие функции для исходного изображения, выступая в качестве фазовой кодирующей маски 5.

В рамках предлагаемой конструкции камера 3 может быть обращена не только в сторону окружающего пространства (наружу) (фиг. 2-4), но и обращённой в сторону сетчатки 14 глаза пользователя (внутрь) (фиг. 5, 6). Оба изображённых варианта подразумевают расположение плоскости тонкой камеры 3 по касательной к поверхности корпуса 1, хотя принципиально возможно выполнение приёмника 4 изогнутым по форме контактной линзы.

В случае ориентации камеры 3 внутрь глаза (фиг. 5, 6), изображение от внешнего окружения 15, проходя и фокусируясь через оптическую систему глаза, проецируется на задней стороне сетчатки 14. Спроецированное изображение может быть зарегистрировано камерой 3, направленной на сетчатку 14. Таким образом, в случае ориентации тонкой камеры 3 внутрь глаза, детектируемое ею изображение представляет собой изображение, непосредственно видимое человеческим глазом. Такая конфигурация отличается возможностью перефокусировки за счет самой оптической системы глаза (хрусталика). При нормальном функционировании, глаз пользователя имеет динамическую фокусировку (аккомодация): в зависимости от объекта наблюдения (внешнего окружения 15), глаз может фокусироваться на разные дистанции, при этом объекты, находящиеся в фокусе наблюдения, четко фокусируются на задней стороне сетчатки 14 глаза пользователя. При этом камера 3, даже имея единственное фокусное расстояние, соответствующее дистанции до сетчатки 14, при правильной аккомодации глаза позволяет всегда фиксировать четкие образы, видимые пользователю, что в свою очередь позволяет значительно снизить требования к вычислительным алгоритмическим ресурсам по восстановлению изображения, а также избежать предварительной калибровки камеры 3 для различных фокусных расстояний.

Кроме того, камера 3, ориентированная внутрь глаза и настроенная на соответствующий спектральный диапазон (ИК), позволяет, например, проводить диагностику кровоснабжения сетчатки 14 в медицинских целях.

Предлагаемую контактную линзу изготавливают следующим образом.

На первом этапе проводят сборку электронного компонента: соединяют с помощью сопутствующей электроники 7 в единую систему источник 2 питания, камеру 3 и её контроллер 6, а также остальные необходимые элементы (блок приёма и передачи данных, процессорный блок, проекционную систему, блок управления и т.д.). Камера 3 на этом этапе может представлять собой непосредственно только один или несколько приёмников 4 с матрицами 8 фоточувствительных элементов или являться уже полноценной плоской камерой 3 с оптической системой, образованной всей слоистой структурой в сборе (матрица 8, промежуточный слой 9 и кодирующая маска 5).

Затем собранный электронный компонент размещают в заготовке контактной линзы, например, непосредственно в полимерной композиции материала корпуса 1 контактной линзы между формовочными молдами (полыми формами) для изготовления контактной линзы. После этого посредством УФ или химического отверждения в процессе затвердевания материала корпуса 1 проводят инкапсуляцию электронного компонента и одновременно формирование корпуса 1 контактной линзы. В случае, если кодирующая маска 5 представляет собой рельеф на поверхности линзы (фиг. 7, 8), а промежуточный слой 9 выполнен из однородного оптически прозрачного материала корпуса 1, шаблон для образования маски 5 может быть интегрирован непосредственно в один из молдов.

После инкапсуляции и формирования корпуса контактной линзы проводят калибровку полученной камеры 3. Поскольку в этот момент формируемое на приёмнике 4 изображение уже зависит от реальных параметров и несовершенств готовой системы, все особенности конкретного изделия могут быть учтены за один этап калибровки - таким образом можно значительно повысить качество рассчитанного изображения, что положительным образом сказывается на работоспособности устройства в целом.

Предлагаемая система регистрации с помощью контактной линзы с тонкой камерой 3 относится к вычислительной фотографии. Получение итогового изображения происходит за два последовательных этапа (фиг. 22).

На первом этапе свет от внешнего окружения (внешнего образа) 15 проходит через оптическую кодирующую маску 5 и промежуточный слой 9, после чего проецируется на фотоэлектрическую матрицу 8 приёмника 4. При прохождении света через кодирующую маску 5, происходит “перемножение” матричных характеристик исходного изображения внешнего окружения 15 на матричные характеристики оптической кодирующей маски 5. В результате получаемое оптическое изображение (фиг. 24), детектируемое приёмником 4, значительно отличается от исходного и представляет собой сильно смешенное исходное изображение с неоднородной интенсивностью, которое не может быть непосредственно распознано человеком, без использования компьютерных методов.

На втором этапе изображение с помощью CMOS/CCD матрицы 8 фоточувствительных элементов оптическое изображение преобразуется в электрический сигнал 16 матричного (пиксельного) формата и поступает в контроллер 6, а затем направляется в блок 17 алгоритмического вычисления и восстановления требуемого исходного изображения, который может быть также интегрирован в электронный компонент контактной линзы или быть расположен вне устройства для обеспечения возможности использования больших вычислительных мощностей.

Вычислительные алгоритмы могут иметь большое разнообразие своей реализации, однако в той или иной степени все они основываются на математических принципах сжатого кодирования (CS). Помимо классических алгоритмических принципов восстановления изображения в рассматриваемой тонкой камере, также могут быть использованы методы, основанные на машинном обучении (Machine Learning - ML) и глубоких нейронных сетях, в особенности на технологиях сверточных нейронных сетей. Подходы исключительно математического алгоритмического восстановления итогового изображения, которые по своей сути являются итерационными с ресурсоемкими матричными преобразованиями, могут приводить к значительной задержке между реальными событиями окружающей среды и итоговыми изображениями, полученными с помощью тонкой камеры 3. ML же подходы отличаются крайне высокой эффективностью по требуемой вычислительной мощности и скорости вычислений изображения тонкой камерой 3. Методы ML особенно предпочтительны при полной интеграции всей системы в контактную линзу, так как её размер сильно ограничивает возможные вычислительные ресурсы и их энергопотребление.

Как для исключительно математических алгоритмов, так и для алгоритмов на базе ML методов для получения из сигнала 16, детектируемого приёмником 4, итогового изображения 18 требуется проведение предварительной однократной “настройки” перед основным процессом работы тонкой камеры 3. Именно это настройку и называют калибровкой камеры 3. Способ калибровки зависит от выбираемого способа вычисления итогового изображения 18 - или полностью алгоритмического математического способа, или методов на базе ML.

В случае, если калибровку камеры внутри корпуса контактной линзы проводят методом линейных математических преобразований (без использования ML подходов), наиболее точной является калибровка с использованием фиксированных точечных источников оптического излучения в области видения (поле зрения) тонкой камеры 3 (фиг. 23). Для калибровки таким методом точечный источник 19 белого света выставляют на заданном фиксированном расстоянии d₁ от контактной линзы на дистанции, совпадающей с требуемыми фокусными характеристиками тонкой камеры 3. На приёмнике 4 получают снимок с изображением точечного источника 19 через оптическую кодирующую маску 5, после чего производят предварительный математический оптимизационный расчет итогового изображения 18. С учетом известности, что в поле зрения камеры находится только точечный источник 19, с помощью итерационного алгоритмического процесса рассчитывают калибровочную матрицу, которая далее используется при работе тонкой камеры 3, для вычисления итогового изображения 18 из изображения 16, детектируемого приёмником 4. Калибровочная матрица от единичного точечного источника белого света представляет собой матричное математическое представление кодирующей оптической маски 5, используемой в тонкой камере 3. В основном алгоритме вычисления итогового изображения 18 использование матричного представления кодирующей маски 5 позволяет произвести окончательный расчет итогового изображения 18 за счет “вычитания” матричных характеристик оптической кодирующей маски 5 из изображения 16, детектируемого приёмником 4.

Важной характеристикой тонкой камеры 3 с алгоритмом на базе линейных матричных преобразований является то, что для каждого отдельного фокусного расстояния (d₁, d₂ и т.д.) тонкой камеры требуется проведение своей отдельной калибровки. Для каждого фокусного расстояния калибровка может быть проведена аналогично, при помощи размещения точечного источника 19 белого света в соответствующей плоскости для каждого фокусного расстояния (фиг. 23). Получение изображения 16 и расчёта калибровочных характеристик кодирующей маски 5 при этом проводят для каждого из указанных расстояний. Увеличение числа последовательно проведенных калибровок по точечным источникам 19 в разном пространственном положении на одной фокусной плоскости позволяет повысить точность математического матричного описания оптических характеристик оптической кодирующей маски 5, используемой в тонкой камере 3. Более точное математическое описание кодирующей маски 5 позволяет значительно повысить точность рассчитываемого итогового изображения 18, по отношению к исходному изображению внешнего окружения 15.

В случае, если калибровку камеры внутри корпуса контактной линзы проводят методом машинного обучения (ML), в области видения тонкой камеры 3 располагают трехмерные объекты 20 на заданных расстояниях (d₁, d₂ и т.д.) от контактной линзы и получают сигнал 16 с помощью приёмника 4 камеры 3 (фиг. 26). Затем загружают в блок 17 алгоритмического вычисления и восстановления трехмерные изображения указанных объектов 20 на заданных расстояниях (полученные иными известными методами 3D сканирования) и рассчитывают с использованием глубоких нейросетей калибровочной характеристики кодирующей маски 5 для диапазона указанных расстояний. При использовании оптимизационного ML метода крайне важно в качестве обучаемой выборки использовать наиболее разнообразные сцены изображений объектов 20, а также обеспечить достаточное число изображений (более 1000) для получения приемлемого качества, обученного ML алгоритма. Отличительной особенностью ML алгоритмов является тот факт, что калибровка может производиться, как с целью распознавания самих объектов 20, так и для распознавания фокусной дистанции (расстояния d₁, d₂) до объекта 20. Таким образом, при выполнении полной калибровки: и по глубине фокусировки (за счет представления объекта 20 на разной дистанции от калибруемой камеры 3), и по самим распознаваемым объектам 20 (за счет представления разных объектов 20) удается получить камеру 3, которая на выходе может выдавать не только 2D изображения 18 (как классические фотокамеры), но и 3D изображения 18 c привязкой к пространственному положению относительно камеры 3 (т.е. камера 3, по сути, может выступать в качестве датчика LiDAR).

Из приведённого описания процесса очевидно, что для тонкой камеры 3, предназначенной для интеграции в корпус 1 контактной линзы, калибровка должна производиться непосредственно в самом объеме контактной линзы, в котором она будет использоваться конечным пользователем (а не на этапе производства тонкой камеры, как отдельного компонента, как это делается в классическом случае). Это обусловлено, в первую очередь тем, что при нанесении дополнительных оптических слоев корпуса 1 в процессе инкапсуляции будет происходить наращивание дополнительного оптического пути, что приведёт к отклонению характеристик, рассчитанных в ходе калибровки.

Стоит также учесть, что глаза пользователей могут иметь небольшие отклонения в форме поверхности: иметь различный радиус кривизны, различные порядки кривизны и т.д. При использовании тонкой камеры 3, которая имеет какие-либо гибкие участки, для каждого пользователя в ходе калибровки могут получаться немного различные калибровочные характеристики. При этом предлагаемый способ изготовления для пользователей с разной геометрией глаза не требует вносить какие-либо изменения в оптическую схему тонкой камеры 3, в ходе эксплуатации достаточно будет загрузить в блок 17 алгоритмического вычисления итогового изображения 18 соответствующую пользователю калибровочную характеристику. Указанный факт делает предлагаемую контактную линзу с тонкой камерой универсальным решением для широкого круга пользователей.

Описанные особенности предлагаемого изобретения позволяют значительно уменьшить толщину контактной линзы с интегрированной камерой и получить при этом работоспособное устройство, корректно восстанавливающее исходное изображение и комфортное для повседневного ношения. В зависимости от требуемых опций, камера в предложенной контактной линзе может реализовывать функции микроскопа, датчика положения глаз пользователя (eye-tracking), фильтра для предобработки (границы или движущиеся объекты), отслеживания морганий (в том числе, для управления контактной линзой), предупреждение с внешних датчиков (приближение в слепых зонах автомобилиста или пешехода), идентификация предмета в поле зрения, улучшение зрения и т.д.

Пример 1

Реализация эффекта дополненной реальности за счет привязки цифрового мира к окружающему пользователя пространству.

Данный сценарий относится к классическому применению цифровой камеры 3 в приложении дополненной реальности (AR). Применение тонкой камеры 3 в контактной линзе, аналогично применению цифровых камер классической компоновки в очках дополненной реальности. Цифровые камеры позволяют отследить объекты, окружающие пользователя и произвести точное совмещение объектов цифрового мира с объектами реального мира, таким образом создав реалистичное и полное погружение в “мир” дополненной реальности.

Сборка тонкой С-образной или О-образной (фиг. 17) камеры 3 в виде структуры из последовательности слоев, производится на отдельном начальном этапе, предшествующем интеграции тонкой камеры 3 в корпус 1 контактной линзы. На приемник 4 (коммерческую электрооптическую матрицу 8, произведенную классическими методами литографии) производится нанесение тонкого промежуточного слоя 9 прозрачного полимерного материала с показателем преломления меньшим показателя преломления используемой кодирующей маски 5. Нанесение промежуточного слоя 9 прозрачного материала (100-400 мкм) может осуществляться с использованием классических методов нанесения, таких как: центрифугирование или напыления. Прозрачный материал слоя 9 выполняет функцию оптического промежутка между кодирующей маской 5 и приемником 4.

На поверхность слоя 9 методом магнетронного распыления металлов (Au, Ag, Ti, W и пр.) наносят основу для амплитудной бинарной кодирующей маски 5. Толщина напыленного металла подбирается так, чтобы напыленный слой полностью блокировал видимый спектр света. Далее на слое напыленного металла производится формирования кодирующей маки 5, за счет “вскрытия” ряда участков маски в виде бинарной последовательности, составляющей узор Адамаровой бинарной матрицы. “Вскрытие” участков может быть осуществлено с использованием методов классической УФ или электронной литографии с этапом нанесения фоторезиста и последующего химического травления по маске из фоторезиста. Альтернативно указанные области могут быть “вскрыты” лазерными методами гравировки.

После процесса производства тонкой камеры 3 как отдельного элемента производят ее подключение в общую электрическую схему умной контактной линзы. Камеру 3 подключают к источнику 2 питания, системе управления и обработки изображения, а также к системе беспроводной передачи данных умной контактной линзы. Электрическое подключение может быть осуществлено с использованием гибких проводящих паст или с помощью тонких гибких проводящих металлических дорожек.

После процесса подключения и интеграции тонкой камеры 3 в общую электрическую схему контактной линзы производят покрытие камеры 3 и прочих электронных компонентов (обвязки) защитным слоем (пассивирование) с последующей окончательной формировкой в корпус 1 контактной линзы. В завершении на поверхность линзы методом химического осаждения из паровой фазы (SVD) наносят поверхностный биосовместимый слой покрывающего материала, например, перилена (perylene).

Для придания умной контактной линзе свойств, повышающих комфорт и длительность ношения умной контактной линзы конечным пользователем: высокая кислородная проницаемость, высокая степень мягкости и гибкости и т.п., могут быть использованы методы производства контактной линзы с комбинированием материалов нескольких функциональных слоев. Так, контактная линза после нанесения защитного биосовместимого слоя, может быть локально перфорирована с использованием методов лазерной гравировки, что приведет к увеличению газопроницаемости всей контактной линзы. После перфорирования также может быть осуществлено нанесение дополнительного тонкого слоя с большей степенью мягкости, таких как PDMS или гидрогель. Нанесение мягких слоев может быть осуществлено методами: центрифугирования, распылением спрея или формовкой с последующим УФ или термическим отверждением.

После изготовления умной контактной линзы, ее устанавливают в калибровочный стенд, который содержит: тонкую жесткую прозрачную поверхность в форме глаза человека; референсную цифровую камеру, установленную с обратной стороны тонкой камеры (на предполагаемом месте сетчатки 14); цифровой экран (систему экранов), установленных перед умной контактной линзой на дистанции (дистанциях), соответствующей требованиям рабочего фокусного расстояния камеры 3.

В процессе калибровки последовательно выводят изображений на цифровые экран (экраны), подстраивают параметры алгоритма восстановления (получают калибровочную матрицу) и оптимизируют восстанавливаемое изображение программными алгоритмами с помощью блока 17. По завершению процесса калибровки, производится запись калибровочных данных в память умной контактной линзы с использованием беспроводных методов прошивки.

Полученная и откалиброванная умная контактная линза с интегрированной тонкой камерой 3 и с системой проекции цифрового изображения может осуществлять сбор данных о положении объектов во внешнем окружении и совмещать (накладывать) цифровое изображения на образ окружающего мира. В таком устройстве изображение внешнего окружения детектируется камерой 3 и реконструируется с помощью блока 17, после чего восстановленное изображение поступает в единый блок обработки информации (процессор), который с использованием алгоритмов дополненной реальности, производят позиционирование цифровой информации на изображении образа окружающего мира, а позиционированное изображение выводят в проекционную систему контактной линзы. В результате, камера осуществляет точную неразрывную привязку цифрового мира к реальному, что позволяет достичь наилучшего качества эффекта дополненной реальности .

Пример 2

Реализация микроскопии глаза (сетчатки и века).

Для такого применения может быть использована тонкая камера на базе фазовой кодирующей маски 5 с переменной локальной толщиной маски или с переменным локальным показателем преломления.

Производство кодирующей маски 5 с переменной локальной толщиной (областями 12) для тонкой камеры 3, интегрированной в корпус 1 контактной линзы, требует нескольких последовательных этапов производства. На начальном этапе, происходит изготовление формовочной матрицы, рельеф которой затем переносится на внешний слой тонкой камеры 3 и формирует фазовую кодирующую маску 5. Характерный размер элементов фазовой маски, а соответственно и формовочной матрицы, должен находиться в пределах 5-100 мкм. Формовочная матрица может быть произведена методом микротокарной обработки, методом литографии с последующим травлением или методами микро 3D-печати (например, посредством двухфотонной фотополимеризацией), последние из которых позволяет получить непрерывную кривизну поверхности, которую в модельном приближении можно описать набором микролинз с разнообразными фокусирующими характеристиками (различными фокусными расстояниями). Дизайн формовочной матрицы подбирается с учетом показателя преломления конечного слоя фазовой маски и требования фокусировки на малом расстоянии (в пределах диаметра глаза человека). Также при проектировании фазовой маски должны учитываться характеристики типа фазовой маски: бинарная маска с резкими локальными границами или адиабатическая маска с непрерывным переходом по толщине рельефа. Стоит учесть, что адиабатическая маска представляет собой более подходящий вариант при интеграции тонкой камеры в объем контактной линзы, поскольку позволяет избавиться от шумовых аберрационных эффектов на резких локальных границах толщины в случаи бинарной маски.

После производства формовочной матрицы, на следующем этапе, производится перенос рельефа формовочной матрицы на поверхность тонкого окончательно не сформированного промежуточного слоя 9, нанесенного непосредственно на матрицу 8 фоточувствительных элементов. Перенос может быть осуществлен либо термическим методом (в случае термоплавкости промежуточного слоя 9), либо с использованием УФ фотоотверждения (при контакте формовочной матрицы с жидким фотополимером, из которого изготовлен промежуточный слой 9). При выполнении из высокотвёрдого материала формовочная матрица может многократно использоваться повторно в процессе производства фазовых кодирующих масок 5.

Фазовая кодирующая маска 5 с локальным переменным показателем преломления (областями 13), может быть изготовлена с использованием наночастиц. Такая кодирующая маска 5 представляет собой тонкий слой из оптически прозрачного материала, такого как PMMA (n=1.4905) или PDMS (n=1.4035), который выполняет функцию “каркаса”, в который производится наполнение наночастиц (в качестве высокорефрактивного материала может быть использован ZnO, TiO₂ или ZnS. В качестве высокорефрактивного материала также может быть использован Ван-дер-Ваальсов материал, состоящий из двумерных слоев, связанных между собой Ван-дер-Ваальсовыми силами, в частности графит, гексагональный нитрид бора, MoS₂, MoSe₂, WS₂, WSe₂, SnS₂, SnSe₂, PtS₂, PtSe₂, PtTe₂, ReS₂, ReSe₂,Cd₃As₂, Cd₃Sb₂, Cr₂AlC, Cr₂C, Mn₂AlC, Mo₂C, Mo₂Ga₂C, Mo₃AlC₂, Nb₂AlC, Nb₂C, Nb₄AlC₃, Nb₄C₃, Ta₂C, Ta₄AlC₃, Ti₂AlC, Ti₂AlN, Ti₂C, Ti₂N, Ti₃AlC₂, Ti₃C₂, Ti₃CN, Ti₃SiC₂, Ti₄N₃, V₂AlC, V₂C, V₄AlC₃, V₄C₃, PdS₂, PdSe₂, PdTe₂, ZrS₂, ZrSe₂, GaSe, Sb₂Te₃, GaS, GaSe, GaTe, Ca(OH)₂, Mg(OH)₂, MnO₂, MoO₃, Sb₂O₃, Sb₂OS₂, Sb₂S₃, Sb₂Se₃, Sb₂Te₃, As₂S₃, As₂Se₃, As₂Te₃, Bi₂O₂Se, Bi₂S₃, Bi₂Se₃, Bi₂Te₃, BiSbTe₃, AsP, CdI₂, CdPS₃, CuS, CoPS₃, Cr₂Ge₂Te₆, Cr₂S₃, CrBr₃, CrCl₃, CrGeTe₃, CrPS₃, CrSeBr, CuCrP₂S₆, CuIn₇Se₁₁, FeCl₂, FePS₃, FePSe₃, GaGeTe, GaInS₃, GaSeTe, GaSSe, GaPS₄, GaSTe, HfSe₂, HfS₂, In₂S₃, In₂Se₃, InSe, InTe, InSeBr, InSnSe, MoTe₂, WTe₂, NbS₂, NbSe₂, NbSe₃, VSe₂, ZrSe₃, MoSSe, MoWSe₂, MoWS₂, MoWTe₂, MoNbSe₂, MoO_2.5Cl_0.5, MoReS₂, MoTaSe₂, MoVSe₂, Na₂Co₂TeO₆, Nb₂SiTe₄, NbReS₂, NbReSe₂, NbS₃, Ni₂SiTe₄, Ni₃TeO₆, NiCl₂, NiI₂, NiPS₃, PbI₂, PbTe, ReNbS₂, ReNbSe₂, ReSSe, Sb₂OS₂, SbAsS₃, SbSe, SbSi, SiP, SnPSe₃, SnS, SnSe, TaS₂, TaS₃, TaSe₂, TaWSe₂, TlSe, TiBr₃, SnTe₂, TiS₂, TiS₃, TlGaS₂, TlGaSe₂, TlGaTe₂, TlInS₂, WNbSe₂, WReS₂, ZrS₂, ZnIn₂S₄, ZnPS₃, ZnPSe₃, ZrGeTe₄, ZrS₃, ZrSe₂, ZrTe₂ или ZrTe₃), с их Гауссовым распределением по объему “каркасного” материала. Такая фазовая кодирующая маска 5 может быть произведена с помощью замешивания подготовленных наночастиц в основном прозрачном оптическом полимере, таком как PMMA или PDMS с последующим, соответственно, термическим или химическим отверждением. Толщина произведенного слоя должна составлять не более 0.1-1 мкм, это требование определяется необходимостью формирования 2D кодирующей маски (для использования 2D приближения в алгоритме восстановления итогового изображения 18), а также возможности образования в тонком слое неравномерных локальных областей 13 с различной концентрацией наночастиц, а соответственно и различным показателем преломления.

Важной особенностью тонкой камеры 3, является наличии в ее слоистой структуре промежуточного слоя 9 толщиной 10-500 мкм с однородной оптической прозрачностью, который выполняет функцию оптического пути между оптической кодирующей (фазовой или амплитудной) маской и матрицей фотоэлектрического приемника.

Полученную тонкую камеру 3 на базе фазовой кодирующей маски 5 с переменной локальной толщиной или с переменным локальным показателем преломления интегрируют в корпус 1 контактной линзы с подключением соответствующей обвязки умной контактной линзы (источника 2 питания, контроллера 6, системы беспроводной передачи данных и т.д.) аналогично Примеру 1. В случае применения камеры 3 для микроскопии дна глаза её ориентируют внутрь, в сторону сетчатки 14. В случае применения камеры 3 для микроскопии обратной стороны века её ориентируют наружу и смещают к периферии корпуса 1 контактной линзы.

Калибровка такой тонкой камеры 3, интегрированной в корпус 1 контактной линзы, производят на калибровочном стенде, который в случае ориентированности камеры 3 внутрь глаза (для цели микроскопии глазного дна пользователя), представляет собой искусственный / модельный глаз человека с симуляцией оптических характеристик биологического глаза и характерными особенностями, такими как кровеносные сосуды с потоком крови или сетчатка глаза. Микроскопия сетчатки и глазного дна позволяет отслеживать микроскопические структурные нарушения, связанные с заболеваниями, а также позволяет проводить измерение медико-биологических параметров крови глаза пользователя. При ориентированности камеры внутрь глаза для микроскопии капилляров и потока веществ в них должна проводится калибровка с предоставлением набора различных конфигураций и направленности сосудов, а также с различным составом веществ в сосудах.

В случае применения камеры для микроскопии века и ее ориентированности наружу по отношению к глазу пользователя, требуется использование калибровочного стенда с имитацией века и требуемых к наблюдению характеристик века. Обратная сторона века глаза человека имеет большое число приповерхностных капилляров с биологическими жидкостями (кровью). Таким образом при ориентации тонкой камеры от глаза в сторону окружающего мира появляется возможность проводить микроскопию крови в реальном времени на базе умной контактной линзы.

В обоих случаях применения (микроскопии глазного дна и микроскопии века пользователя) калибровку камеры требуется производить на наборе данных соответствующих конечной задаче. Такой набор данных может быть обеспечен прокачкой тестового вещества (имитирующего поток крови) в наборе разнообразных дизайнов конфигурации капилляров.

В остальном процесс калибровки тонкой камеры аналогичен Примеру 1: на вход подается набор различных конфигураций данных (более 10000 различных конфигураций) и производится алгоритмический оптимизационный поиск передаточной матрицы, для достижения наибольшей точности восстановленного итогового изображения 18 по отношению к оригинальному изображению, получаемому классической камерой. После получения калибровочной матрицы её загружают в память умной контактной линзы. Возможность загрузки различного набора калибровочных матриц позволяет учитывать разнообразие и особенности глаз пользователя и осуществлять быстрый программный подбор характеристик для наиболее точного получения требуемых целевых значений и изображений.

Пример 3

Расширение спектральных возможностей зрения пользователя.

В отличие от зрения человека, спектральная чувствительность которого находится в диапазоне 350 - 760 нм, камера 3 может иметь более широкий спектр оптической восприимчивости. Если глаз человека не может различать объекты в темноте (при слабой освещенности), то камера 3 может быть настроена на ИК диапазон. Для настройки тонкой камеры 3, интегрированной в корпус 1 умной контактной линзы, на ИК диапазон, в ней требуется разместить электрооптическую матрицу 8 фоточувствительных элементов, чувствительных к ИК спектру. Такая матрица 8 может быть выполнена на основе квантовых точек кадмия селенида (CdSe), квантовых точек индия и мышьяка (InAs), квантовых точек германия и свинца (PbGe), арсенида галлия (GaAs) и т.д.

Также необходимо использовать кодирующую маску 5, оптимизированную под ИК диапазон (из таких материалов, как: Чальковый селенид (ZnSe) - для диапазона от 0,6 до 22 мкм; германий (Ge) - для ИК диапазона до 12 мкм; а также селений (Se); цифроний (ZnS); фторид кальция (CaF2)). Кодирующая маска 5 в этом случае может быть как амплитудной, так и фазовой.

Амплитудная маска может быть получена путём сверловки отверстий в тонком слое материала, используемого в ИК диапазоне, или могут быть использованы методы микро лазерной резки, для получения амплитудной кодирующей маски 5 с большим совпадением геометрии локальных бинарных элементов с геометрией отдельного фоточувствительного элемента матрицы 8.

Фазовая кодирующая маска 5 может быть изготовлена или микротокарным методом обработки тонкого слоя материала, используемого в ИК технике, или с использованием лазерной резки или лазерной литографии с последующим мокрым травлением тонкого слоя по дизайну, соответствующему различной локальной характеристике толщины формируемой фазовой кодирующей маски 5.

Оптическая кодирующая маска 5, как амплитудная, так и фазовая могут быть установлены на матрицу 8 следующим образом: на фоточувствительные элементы матрицы 8 наносится промежуточный слой 9 толщиной 10 - 500 мкм (материал наносимого распылением или методом центрифугирования материала может совпадать с материалом корпуса 1 контактной линзы - PMMA или PDMS), далее наносится тонкий слой из материала, используемого в ИК спектральном диапазоне (например, путём приклеивания жесткой тонкой пластины на поверхность жидкого слоя PDMS или PMMA с последующим отверждением жидкой фазы). Полученная как отдельный элемент тонкая камера 3 с ИК чувствительностью может быть интегрирована в корпус 1 контактной линзы аналогично Примеру 1. Ориентация камеры должна соответствовать целевому использованию.

Итоговое изображение 18 с ИК камеры 3, интегрированной в корпус 1 контактной линзы, за счёт цифровой обработки преобразуют в видимый спектр и непосредственно отображают в сторону глаза при помощи оптической проекционной системы. Проецируемое цифровое изображение может быть дополнительно обработано для выделения границ объектов в поле видимости пользователя и камеры 3 с последующим наложением цифровой информации на образ окружающего мира. Совмещение цифрового изображения, полученного от ИК камеры 3 с образами внешнего окружения 15, позволяет расширить динамический спектральный диапазон видимости глаз человека.

Также камера 3 может быть оптимизирована под УФ диапазон, рентгеновский диапазон и т.д., а также их комбинацию. Альтернативно можно использовать нескольких камер 3, настроенных на разную спектральную чувствительность, в одном корпусе 1 умной контактной линзы. Стоит учитывать, что каждый из расширяемых спектральных диапазонов требует использования материалов с соответствующими диапазону спектральными характеристиками - это относится и к материалу матрицы 8 фоточувствительных элементов, и к материалу кодирующей маски 5. Важно также учесть, чтобы материалы прочих элементов (промежуточного слоя 9, а также защитных слоёв тонкой камеры 3 и самой контактной линзы), находящиеся на оптическом пути от источника излучения до матрицы 8, имели окна прозрачности для целевого спектра съемки.

Пример 4

Отслеживание ориентации глаз пользователя с помощью контактной линзы (eye-tracking).

Необходимость отслеживать взгляд пользователя в системах дополненной реальности является ключевым фактором для задачи корректного наложения цифрового изображения на образ окружающего мира, а также для управления и контроля пользователем дополненной реальности. Предлагаемая контактная линза с камерой 3, направленной наружу, позволяет реализовать эту функцию на основе привязки контрольных точек к внешним окружающим объектам. При смене положения или ориентации камеры происходит переход к другому ракурсу на окружающие объекты, что позволяет определить направление перемещения и конечное положение.

Тонкая камера 3 для такого применения может быть изготовлена по технологии аналогичной Примеру 1 (на базе амплитудной маски) или Примеру 2 (на базе фазовой маски). Камера 3 как отдельный элемент в корпусе 1 контактной линзы при данном применении выполнят вспомогательную функцию для процесса формирования дополненной реальности. Камера 3 может быть установлена ближе к периферии корпуса 1, чтобы не перекрывать область зрения глаза пользователя, с известной геометрической поправкой по углу относительно направления взгляда.

После изготовления контактную линзу с интегрированной камерой 3 устанавливают в калибровочный стенд с имитацией внешнего окружения 15 и перемещения контактной линзы в пространстве, после чего калибруют с использованием классических алгоритмических методом восстановления изображения путём линейных математических преобразований или алгоритмов, использующих машинное обучения. Важной особенностью процесса калибровки является подбор калибровочных параметров (калибровочной матрицы) не под наибольшую точность восстановления конечного изображения, а под задачу получения наибольшей точности восстановления пространственного положения контактной линзы. Для данного целевого назначения, наиболее подходящим является использование методов машинного обучения с эквивалентом задачи повышения качества определения положения по внешнему окружению.

В таком применении камера 3 должна постоянно получать видео сигнал с привязкой к конкретному объекту. При движении глаз пользователя относительно этого объекта по относительному перемещению можно точно определить положение и направление глаз пользователя в пространстве. При использовании системы из двух умных контактных линз с камерами 3 дополнительно появляется возможность отслеживания глубины фокусировки взгляда пользователя (по ориентации направления просмотра одного глаза по отношению к направлению другого) для задачи представления и наложения объектов в дополненной реальности.

Пример 5

Выделение границ объектов для повышения качества зрения при неоперабельных случаях потери зрения человека.

В медицинской практике не редки случаи, когда у пациента наблюдаются проблемы со зрением и при этом не применимы операционные способы коррекции зрения. Среди причин неоперабельности глаз пациента могут быть: сосудистые, аутоиммунные и иммунодефицитные состояния и заболевания, снижающие способность организма к выздоровлению. В качестве решения проблемы, связанной с необходимостью улучшить зрения пациента, не прибегая к хирургическому вмешательству, может выступать контактная линза с тонкой камерой 3 и проекционной оптической системы, направленной на сетчатку пользователя.

Тонкая камера 3 для данного применения может быть изготовлена аналогично Примеру 1 (на базе амплитудной маски) или Примеру 2 2 (на базе фазовой маски). Ориентированность тонкой камеры требуется в сторону внешнего окружения 15 (наружу от глаза пользователя).

В данной связке, тонкая камера позволяет захватить образ внешнего изображения окружающего пользователя мира, произвести обработку изображения и передать на проекционную оптическую систему, которая подобрана и спроектирована таким образом, чтобы проецировать на сетчатку пользователя или передавать в зрительный канал пользователя изображение с высокой контрастностью и резкостью. Таким образом связка тонкой камеры и проекционной оптической системы позволяет не задействовать оптическую систему глаза пользователя (которая подразумевается нарушенной от нормального функционирования и представляет неоперабельный случай) в процессе проекции изображения внешнего окружения 15 с камеры 3 на сетчатку 14 или в зрительный канал пользователя. Такая система, образованная контактной линзой с тонкой камерой 3 и проекционной системой, является полной функциональной цифровой аналогией оптической системы глаза человека.

В такую систему могут быть интегрированы дополнительные элементы обработки видеосигнала с цифровой тонкой камеры 3, например, блоки, обеспечивающие выделение границ объектов (может быть использовано в качестве дополнительного наложения цифровой маски границ объектов на реальный образ при сниженном качестве зрения пользователя). Такое дополнительное цифровое совмещение цифрового образа границ объекта и реального изображения, формируемого глазом пользователя с оптическими отклонениями от нормы, позволяет значительно улучшить качество зрения, поскольку у пользователя появляется более точное представление о размерах и границах объекта. Также может быть применен дополнительный блок, обеспечивающий видимость в спектральной области, в которой у пациента наблюдаются дефекты, или использованы любые другие способы дополнительной обработки цифрового сигнала под любые требования улучшения зрения пользователя/пациента.

Группа изобретений относится к оптическим элементам с интегрированными электронными компонентами, а именно к контактным линзам со встроенной ультратонкой цифровой камерой, которые могут быть использованы для видеофиксации, распознавания объектов, реализации функции слежения за положением глаз пользователя (eye-tracking), в том числе при формировании виртуальной, дополненной, смешанной или расширенной реальности (VR/AR/MR/XR), а также с целью диагностики и компенсации глазных заболеваний и иных применений. В корпус контактной линзы из оптически прозрачного материала встроен электронный компонент, содержащий источник питания и камеру с по меньшей мере одним приёмником в виде матрицы фоточувствительных элементов. Камера оборудована оптической системой в виде по меньшей мере одной кодирующей маски, отделённой от приёмника промежуточным слоем однородного оптически прозрачного материала и расположенной на поверхности или внутри корпуса линзы. Технический результат - уменьшение толщины контактной линзы с интегрированной камерой, получение работоспособного устройства, комфортного для повседневного ношения. 2 н. и 20 з.п. ф-лы, 26 ил.

1. Контактная линза, содержащая корпус из оптически прозрачного материала, в который встроен электронный компонент, содержащий источник питания и камеру с по меньшей мере одним приёмником в виде матрицы фоточувствительных элементов, оборудованную оптической системой, отличающаяся тем, что оптическая система выполнена в виде по меньшей мере одной кодирующей маски, отделённой от приёмника промежуточным слоем однородного оптически прозрачного материала и расположенной на поверхности или внутри корпуса линзы.

2. Контактная линза по п.1, отличающаяся тем, что кодирующая маска выполнена в виде амплитудной кодирующей маски, образованной прозрачными и непрозрачными областями.

3. Контактная линза по п.2, отличающаяся тем, что прозрачные и непрозрачные области образуют матрицу Адамара.

4. Контактная линза по п.1, отличающаяся тем, что кодирующая маска выполнена в виде фазовой кодирующей маски, образованной прозрачными областями с различной длиной оптического пути.

5. Контактная линза по п.4, отличающаяся тем, что области с различной длиной оптического пути образованы путём формирования рельефа на поверхности линзы.

6. Контактная линза по п.4, отличающаяся тем, что области с различной длиной оптического пути образованы путём формирования внутри корпуса линзы микролинз с различными фокусными расстояниями.

7. Контактная линза по п.4, отличающаяся тем, что области с различной длиной оптического пути образованы путём размещения диэлектрических наночастиц одного состава, но различных размеров.

8. Контактная линза по п.4, отличающаяся тем, что области с различной длиной оптического пути выполнены из материала с показателем преломления больше, чем корпус контактной линзы.

9. Контактная линза по п.4, отличающаяся тем, что области с различной длиной оптического пути выполнены внутри корпуса линзы из материала с показателем преломления меньше, чем корпус контактной линзы.

10. Контактная линза по п.4, отличающаяся тем, что области с различной длиной оптического пути образованы прозрачными областями с различными показателями преломления.

11. Контактная линза по п.10, отличающаяся тем, что области с различными показателями преломления образованы путём размещения диэлектрических наночастиц различного состава.

12. Контактная линза по п.1, отличающаяся тем, что промежуточный слой выполнен из материала корпуса контактной линзы.

13. Контактная линза по п.1, отличающаяся тем, что камера снабжена единым приёмником замкнутой формы, расположенным на периферии контактной линзы.

14. Контактная линза по п.1, отличающаяся тем, что камера снабжена группой пространственно разделённых приёмников, расположенных на периферии контактной линзы и объединённых в единую систему.

15. Контактная линза по п.1, отличающаяся тем, что приёмник выполнен оптически прозрачным и расположен по центру контактной линзы.

16. Контактная линза по п.1, отличающаяся тем, что камера обращена в сторону окружающего пространства.

17. Контактная линза по п.1, отличающаяся тем, что камера обращена в сторону глаза пользователя.

18. Способ изготовления контактной линзы, включающий подготовку электронного компонента, содержащего источник питания и камеру с по меньшей мере одним приёмником в виде матрицы фоточувствительных элементов, оборудованную оптической системой, размещение электронного компонента в заготовке контактной линзы, инкапсуляцию электронного компонента и формирование корпуса контактной линзы, отличающийся тем, что оптическую систему камеры выполняют в виде кодирующей маски, расположенной на поверхности или внутри корпуса линзы, отделяют кодирующую маску от приёмника промежуточным слоем однородного оптически прозрачного материала и калибруют полученную камеру после инкапсуляции и формирования корпуса контактной линзы.

19. Способ по п.18, отличающийся тем, что калибровку камеры внутри корпуса контактной линзы проводят методом линейных математических преобразований путём расположения точечных источников света на заданных расстояниях от контактной линзы, получения их изображения с помощью камеры и расчёта калибровочных характеристик кодирующей маски для каждого из указанных расстояний.

20. Способ по п.18, отличающийся тем, что калибровку камеры внутри корпуса контактной линзы проводят методом машинного обучения путём расположения трехмерных объектов на заданных расстояниях от контактной линзы, получения их изображения с помощью камеры, загрузки трехмерного изображения указанных объектов на заданных расстояниях и расчёта с использованием глубоких нейросетей калибровочной характеристики кодирующей маски для диапазона указанных расстояний.

21. Способ по п.20, отличающийся тем, что используют сверточные нейросети.

22. Способ по п.18, отличающийся тем, что инкапсуляцию электронного компонента проводят в процессе затвердевания материала корпуса линзы.