ИНТЕГРАЛЬНОЕ УСТРОЙСТВО ВОСПРИЯТИЯ ИЗОБРАЖЕНИЯ И СООТВЕТСТВУЮЩИЙ СПОСОБ Российский патент 2016 года по МПК G06K9/78 G06N3/06 

Ссылки на родственные заявки

Настоящая заявка претендует на приоритет патентной заявки US 12/880964, поданной 13 сентября 2010 г., являющейся частичным продолжением патентной заявки US 11/477571, поданной 30 июня 2006 г., которая претендует на приоритет предварительной патентной заявки 60/694988, поданной 30 июня 2005 г., содержание которых полностью введено в настоящее описание посредством ссылки.

Область техники

В целом, изобретение относится к области устройств для формирования изображений и соответствующим способам. В частности, настоящее изобретение относится к микро-устройствам для распознавания изображений со светоизлучающими элементами, расположенным на прозрачной или полупрозрачной подложке, например, стекле или пластике, или встроенным в нее, а также к способам распознавания изображений.

Уровень техники

Прозрачные поверхности, например, стеклянные, существовали сотни лет. Прозрачные поверхности первоначально использовались для защиты жилого пространства, позволяя его обитателям воспринимать окружающий мир (местность, погоду и возможные опасности). В последнее время на прозрачные поверхности существует огромная потребность в производстве дисплеев, начиная от электронно-лучевых трубок (ЭЛТ) и кончая, в последние годы, жидкокристаллическими дисплеями (ЖК-дисплеи) и разного рода дисплеями с плоскими панелями. При их использовании, во многих случаях человек или живые организмы (животные, растения) располагаются вблизи таких прозрачных поверхностей.

Датчики изображения используются уже несколько десятилетий (например, ПЗС датчики (датчики на базе приборов с зарядовыми связями) или КМОП датчики (датчики на комплементарных структурах ″металл/оксид/полупроводник″). Например, в US 6617565, содержание которого включено в настоящее описание посредством ссылки, описан КМОП датчик изображения на одном кристалле. Типовыми конструкциями датчиков изображения являются камеры, включающие интегральную схему, установленную за линзой объектива, который может быть миниатюрным или сменным (например, навинчивающийся объектив). Чувствительные элементы датчика предназначены для преобразования световой энергии (фотонов) в электрический сигнал, пропорциональный количеству света, принятому фоточувствительными элементами, из которых в чувствительном элементе датчика сформирована решетка. Изображение синтезируется из выходных сигналов фоточувствительных элементов.

Технологии распознавания изображений становятся все более востребованными. Видеокамеры различных размеров и конструкций требуются для самых различных применений, например, охраны, идентификации личности, разведки, контроля качества, наблюдения за дорожным движением и др. Видеокамеры часто соединены с дисплеями либо проводной, либо беспроводной связью. Сегодня видеокамеры, объединенные с ЖК дисплеем, стали стандартной принадлежностью сотовых телефонов.

Для совершенствования распознавания изображений требуется синтез изображения высокого разрешения. Существующие системы распознавания изображений работают со сравнительно невысокой скоростью из-за низких вычислительных возможностей и (или) из-за того, что процессоры могут вести обработку не более одного пиксела изображения за один раз.

Таким образом, требуется создание новых устройств распознавания изображений, более совершенных, чем существующие.

Раскрытие изобретения

В основу настоящего изобретения положена задача создания устройства распознавания (восприятия) изображений, имеющего чувствительную площадку (например, фоточувствительные элементы), непосредственно встроенную в прозрачный или полупрозрачный материал, образующий оптический интерфейс между падающим изображением и чувствительной площадкой, или расположенную на таком материале. В предпочтительном варианте, само устройство распознавания изображений является прозрачным или полупрозрачным.

Другой задачей настоящего изобретения является создание чувствительной площадки, обладающей функцией самостоятельного ("на месте") принятия решения с использованием решетки обучаемых процессорных элементов. В одном варианте выполнения настоящего изобретения, обучаемые элементы когнитивной памяти или ячейки связаны с одним или более фоточувствительными элементами. Преимуществом принятия решения "на месте" является то, что снижаются требования к скорости передачи данных устройством (т.е., полосе пропускания), особенно в тех случаях, когда число фоточувствительных элементов велико, и должна быть высока частота передачи данных фоточувствительных элементов. Используя большие решетки чувствительных площадок, каждая из которых обладает способностью принятия решений "на месте", можно создать устройство формирования изображения с высоким быстродействием и разрешением.

В соответствии с вариантом выполнения настоящего изобретения, обучаемые элементы когнитивной памяти могут работать параллельно на низких

частотах и потреблять очень малый ток. Как следствие, может обеспечиваться автономная работа каждого элемента при использовании маломощных источников энергии, например, солнечных батарей или их эквивалентов.

В соответствии с вариантом выполнения настоящего изобретения, новое интегральное устройство распознавания изображений образовано соединением одного или более фоточувствительных элементов с одним или более обучаемых элементов когнитивной памяти, причем все они встроены в подложку или расположены на ней.

В соответствии с вариантом выполнения настоящего изобретения, множество фоточувствительных элементов, связанных с большим числом обучаемых элементов когнитивной памяти, может быть организовано в одну или несколько решеток и распределено по плоской прозрачной или полупрозрачной подложке. Решетки могут обладать изменяемыми геометрией и соединяемостью. К типичной геометрии относится, среди прочего, линейная решетка параллельно расположенных нейронов, либо двумерная решетка нейронов, объединенных растровой или сотовой геометрией.

Согласно одной особенности, в настоящем изобретении предложено устройство распознавания изображений, имеющее множество когнитивных воспринимающих элементов, множество оптических интерфейсов и множество светоизлучающих элементов. Множество когнитивных воспринимающих элементов встроено в прозрачную или полупрозрачную подложку или расположено на ней. Каждый воспринимающий элемент имеет фоточувствительный элемент и связанную с фоточувствительным элементом ячейку обучаемой когнитивной памяти. Каждый из множества оптических интерфейсов, встроенных в подложку или сформированных на ней, оптически сопряжен с соответствующим элементом из множества когнитивных воспринимающих элементов. Множество светоизлучающих элементов расположены на подложке и приспособлены для излучения света.

В некоторых вариантах выполнения, светом, излучаемым одним или более из множества светоизлучающих элементов, можно управлять в соответствии с выходным сигналом одного или более когнитивных воспринимающих элементов. Множество светоизлучающих элементов могут быть расположены таким образом, что формируют устройство воспроизведения изображения.

Устройство воспроизведения изображения может быть приспособлено для воспроизведения изображения, соответствующего свету, воспринимаемому фоточувствительными элементами одного или более из множества когнитивных воспринимающих элементов. Каждый когнитивный воспринимающий элемент может быть обучаемым и приспособленным для распознавания образов, связанных с падающим светом, а устройство воспроизведения изображения может быть приспособлено для воспроизведения изображения и модификации изображения в соответствии с образами, распознаваемыми одним или более из множества когнитивных воспринимающих элементов. Множество когнитивных воспринимающих элементов могут обладать полем зрения, и светоизлучающие элементы могут быть приспособлены для излучения света в этом поле зрения. Светоизлучающие элементы могут быть приспособлены для воспроизведения изображения, которое может восприниматься объектами, находящимися в поле зрения. Один или более из множества когнитивных элементов могут быть приспособлены для распознавания образов в падающем свете и для управления излучением света и воспроизведения изображения одного или более из светоизлучающих элементов в виде функции распознанного образа. Каждая ячейка когнитивной памяти может быть обучена распознаванию своей части изображения, и множество ячеек когнитивной памяти может быть приспособлено для совместной работы для распознавания изображения. Каждый элемент когнитивной памяти может содержать множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый упомянутый нейрон обучается ″знанием″, которое позволяет соответствующему нейрону распознавать сигнал и принимать решение. Множество когнитивных воспринимающих элементов может быть приспособлено для выполнения цифровых операций распознавания изображений, без использования программного обеспечения, посредством множества параллельно действующих элементов, каждый из которых действует независимо и автономно. Светоизлучающие элементы из множества светоизлучающих элементов выбираются из светодиодов (СД), органических светодиодов и плазменных ячеек.

В некоторых вариантах выполнения, устройства распознавания изображений могут включать фотоэлектрические элементы, встроенные в подложку или расположенные на ней. Фотоэлектрические элементы могут быть приспособлены для приема энергии, поступающей по беспроводному каналу, и подачи принимаемой энергии к множеству когнитивных воспринимающих элементов и множеству светоизлучающих элементов. Устройство распознавания изображений может иметь выходные линии передачи и линии подачи питания, гравированные или нанесенные напылением непосредственно на подложке. Каждый из множества когнитивных воспринимающих элементов может быть приспособлен для получения энергии от линий подачи питания и для выдачи выходных сигналов, используя линии подачи питания. Устройство распознавания изображений может иметь прозрачный или полупрозрачный защитный слой, и множество когнитивных воспринимающих элементов и множество светоизлучающих элементов могут быть расположены между защитным слоем и подложкой. Один или более из множества светоизлучающих элементов могут быть приспособлены для излучения света сквозь подложку. Один или более из множества светоизлучающих элементов могут быть приспособлены для излучения света сквозь защитный слой. Множество светоизлучающих элементов и множество когнитивных воспринимающих элементов могут быть расположены рядами и столбцами, и множество светоизлучающих элементов и множество когнитивных воспринимающих элементов могут чередоваться в каждом ряду и чередоваться в каждом столбце. Множество светоизлучающих элементов и множество когнитивных воспринимающих элементов могут быть расположены так, что каждый из множества когнитивных воспринимающих элементов окружен светоизлучающими элементами. Множество светоизлучающих элементов могут включать, в частном примере, красные пикселы, зеленые пикселы и синие пикселы.

В изобретении также предложено устройство распознавания изображений, имеющее чувствительный элемент, обрабатывающий элемент, соединенный с чувствительным элементом, и светоизлучающий элемент. Чувствительный элемент встроен в прозрачную или полупрозрачную подложку или расположен на ней. Обрабатывающий элемент встроен в подложку или расположен на ней и включает одну или более нейронных цепей. Светоизлучающий элемент встроен в подложку или расположен на ней. Прозрачная или полупрозрачная подложка

имеет оптический интерфейс между воспринимаемым падающим изображением и чувствительным пикселем чувствительного элемента. Светоизлучающий элемент приспособлен для излучения света навстречу падающему сигналу изображения, либо в противоположную сторону. В некоторых вариантах выполнения, светоизлучающий элемент может представлять собой один или более светодиодов (СД), органических СД или плазменных ячеек. Светоизлучающим элементом можно произвольно управлять посредством выходного сигнала обрабатывающего элемента. Обрабатывающий элемент может быть обучаемым и приспособленным для распознавания образов, основанных на воспринимаемых приходящих сигналах изображения. Обрабатывающий элемент может быть приспособлен для управления светом, излучаемым светоизлучающим элементом, в соответствии с образами, распознаваемыми обрабатывающим элементом. Чувствительный элемент может иметь поле зрения, и светоизлучающие элементы могут быть приспособлены для излучения света в этом поле зрения. Чувствительный элемент может иметь поле зрения, и светоизлучающие элементы могут быть приспособлены для излучения света в направлении, противоположном этому полю зрения. Обрабатывающий элемент может содержать множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной. Каждый нейрон может быть обучен ″знанием″, которое может позволить соответствующему нейрону распознавать сигнал и принимать решение. Обрабатывающий элемент может быть приспособлен для выполнения цифровых операций распознавания образов, без использования программного обеспечения, посредством множества параллельно действующих элементов, каждый из которых действует независимо и автономно. Устройство распознавания изображений может также содержать фотоэлектрические элементы, встроенные в подложку или расположенные на ней. Устройство распознавания изображений может также содержать выходные линии передачи и линии подачи питания, гравированные или нанесенные напылением непосредственно на подложке. Обрабатывающий элемент может быть приспособлен для получения энергии от линий подачи питания и для выдачи выходных сигналов, используя линии подачи питания. Устройство распознавания изображений может также иметь прозрачный или полупрозрачный защитный слой, а чувствительный элемент, обрабатывающий элемент и светоизлучающий элемент могут быть расположены между защитным слоем и подложкой. Светоизлучающий элемент может быть приспособлен для излучения света сквозь подложку. Светоизлучающий элемент может быть приспособлен для излучения света сквозь защитный слой.

Согласно другой особенности, в настоящем изобретении предложен способ распознавания изображений. При выполнении способа создают оптический тракт для множества чувствительных элементов, встроенных в прозрачную или полупрозрачную подложку, или расположенных на ней, путем использования множества оптических интерфейсов, встроенных в подложку или расположенных на ней. При выполнении способа, сигналы, вырабатываемые множеством чувствительных элементов, параллельно обрабатывают во множестве обрабатывающих элементов, каждый из которых соединен с одним из чувствительных элементов и встроен в подложку или расположен на ней. При выполнении способа излучают свет множеством светоизлучающих элементов, встроенных в подложку, или расположенных на подложке.

В некоторых вариантах выполнения, излучение света может включать управление светом, излучаемым из множества светоизлучающих элементов, в соответствии с выходными сигналами одного или более из множества обрабатывающих элементов. Обработка может включать распознавание образов, и излучение может включать управление светом, излучаемым множеством светоизлучающих элементов, в соответствии с распознанными образами. Распознавание образов может включать обнаружение присутствия одного или более объектов в поле зрения множества чувствительных элементов. Распознавание образов может включать определение расстояния от подложки до одного или более обнаруженных объектов. Распознавание образов может включать определение количества одного или более обнаруженных объектов. Распознавание образов может включать определение положения одного или более обнаруженных объектов. Управление может включать излучение уменьшенного количества света из множества светоизлучающих элементов, если объекты не обнаружены. Распознавание образов может включать определение того, является ли какой-либо из одного или более обнаруженных объектов авторизованным объектом. Распознавание образов может включать определение положения и направления взгляда одного или более наблюдателей в поле зрения множества чувствительных элементов. Распознавание образов может включать распознавание лица или распознавание выражения лица. Распознавание образов может включать биометрическую идентификацию. Излучение может включать воспроизведение изображения. Воспроизведенное изображение может соответствовать изображению, принятому множеством чувствительных элементов. Обработка может включать распознавание образов, а излучение может дополнительно включать модификацию воспроизведенного изображения в соответствии с распознанными образами.

Согласно другой особенности, в настоящем изобретении предлагается устройство распознавания изображений, имеющее прозрачную или полупрозрачную подложку, множество когнитивных воспринимающих элементов, множество оптических интерфейсов, слой наполнителя и множество светоизлучающих элементов. Множество когнитивных воспринимающих элементов расположены на подложке, и каждый из них включает фоточувствительный элемент и ячейку обучаемой когнитивной памяти, связанную с фоточувствительным элементом. Множество оптических интерфейсов сформировано на подложке, и каждый из них оптически связан с соответствующим когнитивным воспринимающим элементом. Слой наполнителя содержит наполнитель, между соседними когнитивными воспринимающими элементами из множества когнитивных воспринимающих элементов. Множество светоизлучающих элементов расположено на слое наполнителя и каждый из них приспособлен для излучения света. В некоторых вариантах выполнения, множество светоизлучающих элементов включает красные пикселы, зеленые пикселы и синие пикселы.

Другие применения и преимущества различных вариантов выполнения настоящего изобретения будут рассмотрены ниже, со ссылками на чертежи.

Согласно другой особенности, в настоящем изобретении предложен способ распознавания изображений. При выполнении способа, создают оптический тракт для чувствительного элемента, встроенного в прозрачную или полупрозрачную подложку, или расположенного на ней, путем использования оптического интерфейса, встроенного в подложку, или расположенного на ней. При выполнении способа, сигналы, вырабатываемые чувствительным элементом, обрабатывают в обрабатывающем элементе, соединенном с чувствительным элементом и встроенном в подложку или расположенном на подложке. При выполнении способа излучают свет светоизлучающим элементом, встроенным в подложку или расположенным на ней.

В некоторых вариантах выполнения, излучение света может включать управление светом, излучаемым из светоизлучающего элемента, в соответствии с выходными сигналами обрабатывающего элемента. Обработка может включать распознавание образов, и излучение может включать управление светом, излучаемым множеством светоизлучающих элементов, в соответствии с распознанными образами. Распознавание образов может включать обнаружение присутствия одного или более объектов в поле зрения упомянутого чувствительного элемента. Распознавание образов может включать определение расстояния от подложки до одного или более обнаруженных объектов. Распознавание образов может включать определение количества одного или более обнаруженных объектов. Распознавание образов может включать определение положения одного или более обнаруженных объектов. Распознавание образов может включать определение того, является ли какой-либо из одного или более обнаруженных объектов авторизованным объектом. Распознавание образов может включать определение положения и направления взгляда одного или более наблюдателей в поле зрения чувствительного элемента. Распознавание образов может включать распознавание лица или распознавание выражения лица. Распознавание образов может включать биометрическую идентификацию. Излучение может включать воспроизведение изображения. Воспроизведенное изображение может соответствовать изображению, принятому чувствительным элементом. Обработка может включать распознавание образов, а излучение может дополнительно включать модификацию воспроизведенного изображения в соответствии с распознанными образами.

Краткое описание чертежей

Ниже изобретение более подробно рассмотрено со ссылкой на прилагаемые чертежи, на которых:

на фиг.1А-Б представлены, соответственно, вид спереди и вид сверху решеток чувствительных элементов, расположенных на стекле или плексигласе, или ином прозрачном пластике или прозрачной подложке, в которой гравированы линзы, в соответствии с вариантом выполнения настоящего изобретения;

на фиг.2 представлен вид сверху решетки чувствительных элементов, расположенных на стеклянной или плексигласовой подложке с гравированными в ней линзами, в процессе распознавания фрагментов ДНК;

на фиг.3А-Б представлены, соответственно, вид сбоку и вид сверху матрицы чувствительных элементов;

на фиг.4 представлена блок-схема чувствительных элементов;

на фиг.5А представлена блок-схема решеток чувствительных элементов;

на фиг.5Б представлена блок-схема банка решеток чувствительных элементов;

на фиг.6А-В представлена конфигурация нейрона;

на фиг.7 представлена блок-схема нейрона;

на фиг.8-12 приведены примеры применения устройства распознавания образов;

на фиг.13А-Г представлены варианты выполнения, в которых чувствительные элементы и светоизлучающие элементы расположены в одной или на одной прозрачной или полупрозрачной подложке;

на фиг.14А-В представлен вариант выполнения интеллектуального светоизлучающего узла, включающего чувствительные элементы и светоизлучающие элементы, расположенные в одной или на одной прозрачной или полупрозрачной подложке;

на фиг.15А и 15Б представлен вариант выполнения интеллектуального дисплея, включающего чувствительные элементы и светоизлучающие элементы, расположенные в одной или на одной прозрачной или полупрозрачной подложке.

Подробное описание осуществления изобретения

Хотя настоящее изобретение может быть выполнено во множестве различных форм, в данном раскрытии описано несколько частных вариантов выполнения, в предположении, что они используются только в качестве иллюстрации принципов изобретения, и изобретение не должно считаться ограниченным этими конкретными описанными и (или) изображенными здесь предпочтительными вариантами выполнения.

Настоящее изобретение представляет собой устройство формирования изображения, которое может включать чувствительное воспринимающее устройство, например, фоточувствительный элемент, соединенный, скрепленный, либо иначе связанный с обучаемым когнитивным элементом, причем оба элементы нанесены химическим или иным путем на поверхность прозрачной подложки, либо встроены в нее. Объединение чувствительной площадки с обучаемым когнитивным элементом, обладающим способностью принятия решения ″на месте″, в настоящем документе называется ″CogniSensor″ (″познающий чувствительный элемент″). Обучаемый когнитивный элемент в настоящем документе называется ″CogniMem″ (″познающая память″). Чувствительные площадки обычно выполнены из одного или более фоточувствительных элементов, но могут быть и другие варианты конструкции чувствительной области.

В соответствии с вариантами выполнения настоящего изобретения, CogniSensors могут приспособлены для распознавания приходящей световой картины (например, изображений или частей изображений), обработку приходящей световой картины для принятия решения ″на месте″ и передачу результатов этого решения или его индикацию. CogniSensor может включать несколько компонентов, например, логическую схему ввода данных для принятия решения ″на месте″, ″нейроны″ и логическую схему вывода решений, буфер памяти, солнечные элементы для обеспечения автономной работы, а также и другие компоненты. В предпочтительном варианте выполнения, каждый CogniSensor включает параллельно организованные элементы реагирующей обучаемой ассоциативной памяти (REALM - от англ. reactive associative learning memories). Согласно варианту выполнения изобретения, CogniMem обеспечивает распознавание образов, как аналоговое, так и цифровое, без подключения к компьютеру.

CogniMem может содержать один или более нейронов, которые представляют собой параллельно организованные элементы ассоциативной памяти, которые могут реагировать на входные образы, аналогичные их собственному контенту. Нейроны могут реагировать как индивидуально, так и коллективно, подкрепляя свою реакцию реакцией других соседних нейронов. Выбор может осуществляться по входной линии ″торможение/возбуждение″, подходящей к нейронам.

Контент нейронов CogniMem образует ″знание″. Знание представляет собой набор статистически разделяемых дискретных сигнатур. Знание может быть статическим (загружаемым однократно) или динамическим (обновляемым реакцией других нейронов или загружаемым адаптивно из внешней базы данных знания), а в предпочтительном варианте знание генерируется автоматически в процессе обучения без использования компьютера. CogniMem, располагающаяся на той же подложке, может использовать это же или какое-либо иное знание.

CogniMem может быть нанесена на подложку или встроена в нее (либо присоединена иным способом), как часть CogniSensor, либо может быть отдельным компонентом. В первом случае, CogniMem обычно используется для распознавания данных пикселей, получаемых от фоточувствительного элемента. Во втором случае, CogniMem может быть использована для обслуживания других CogniMem и может, например, распознавать данные различных типов, передаваемые другими узлами CogniMem (например, для объединения образов по выходным данным с многих CogniSensors).

Приведенные ниже патенты и опубликованные заявки, содержание которых полностью включено в настоящее раскрытие посредством ссылки, описывают различные особенности нейронов и нейронных сетей, применимые к CogniMems и CogniSensors: US 5621863 - Нейронная сеть; US 5717832 - Усовершенствованная архитектура нейронной сети; US 5701397 - Схема для предварительной загрузки свободной нейронной сети; US 5710869 - Гирляндная схема для последовательного соединения нейронных сетей; US 5740326 - Поиск/сортировка данных в нейронных сетях; US 6332137 - Параллельная ассоциативная память для распознавания изолированного оборудования; US 6606614 - Однопроводный поиск и сортировка; заявки Японии JP 8-171543 - Гирляндная схема для последовательного соединения нейронных сетей; JP 8-171542 - Усовершенствованная схема загрузки; JP 8-171541 - Схема группирования (поиск/сортировка); JP 8-171540 - Нейронная сеть и нейронный чип; JP8-069445 - Архитектура нейронной сети; патентная заявка Кореи KR 164943 - Новая архитектура нейронной сети; Европейские патенты EP 0694852 - Новая архитектура нейронной сети; EP 0694854 - Усовершенствованная нейронная архитектура полупроводникового чипа; EP 0694855 - Поиск/сортировка для нейронных сетей; EP 0694853 - Схема для предварительной загрузки компонентов входного вектора в сети свободных нейронов в фазе распознавания; EP 0694856 - Гирляндная схема для последовательного соединения нейронных сетей; заявка Канады CA 2149478 - Усовершенствованная архитектура нейронной сети; патент Канады CA 2149479 - Усовершенствованная нейронная архитектура полупроводникового чипа.

Число нейронов, реализованных на CogniMem, может составлять от 1 до N, где N теоретически неограниченно благодаря архитектуре нейронной ячейки. В настоящее время N может достигать 1000. Вообще, N зависит от применения и, в частности, от разнообразия образов, которые требуется распознавать, и типа решений, которые необходимо передавать. Специалисту должно быть понятно, что технология кремниевых приборов может быть фактором, определяющим количество нейронов на единицу площади.

Пример конфигурации устройства распознавания изображений, согласно варианту выполнения настоящего изобретения, показан на фиг.1А и 1Б. Фиг.1А представляет вид сверху устройства 100, включающего подложку 102, которая может быть выполнена из ряда прозрачных или полупрозрачных материалов, например, стекла, плексигласа, прозрачных пластиков и др. Один или более CogniSensors 104 (в данном случае, в виде решетки) может быть встроен в подложку 102 или, как в данном случае, прикреплен или приклеен, либо как-то иначе связан с поверхностью подложки 102 (см. фиг.1Б). Оптический тракт может быть гравирован или нанесен на подложку перед каждым фоточувствительным элементом. Например, подложка 102 может иметь гравировку в месте размещения CogniSensors 104 для формования линз 102a для каждого CogniSensor 104. В другом варианте, микролинзы 102a могут быть встроены в подложку (фиг.2), либо приклеены (фиг.3А-Б) на подложку 102 перед фоточувствительными элементами. Другим вариантом может быть модификация подложки для изменения коэффициента отражения части подложки, граничащей с каждым чувствительным элементом, для фокусировки падающего света. Как показано на фиг.1Б, падающий свет фокусируется на каждом CogniSensor 104 линзами 102a подложки.

Множество линз 102a позволяет CogniSensors 104 иметь различное поле зрения, в предпочтительном варианте, равное поверхности подложки, хотя также возможно получение более узкого или более широкого поля зрения, чем поле зрения, равное поверхности подложки. Микролинзы 102a превращают решетку CogniSensors 104 в телецентрическое устройство восприятия изображения с неограниченной поверхностью и полем зрения.

На фиг.2 представлен вид сверху интегрального устройства формирования изображения, в соответствии с другим вариантом выполнения изобретения. Видно, что линзы 102a встроены в подложку 102 и расположены над каждым CogniSensor 104. В качестве примера использования устройства формирования изображения, на поверхности подложки 102 показаны расположенные там фрагменты 202 ДНК. Каждый CogniSensor 104 может обеспечивать независимое распознавание, либо распознавание во взаимодействии с соседними CogniSensors 104, отдельного фрагмента ДНК и выдачу сигнала при идентификации этого фрагмента.

На фиг.3А-Б показан пример варианта выполнения отдельного CogniSensor 104. Как показано на фиг.3А, площадка размещения нейронов 104а окружает чувствительную область 104b, где размещаются пикселы. Нейроны в площадке 104а размещения нейронов могут быть соединены с чувствительными элементами в площадке 104b пикселов, и могут быть приспособлены для распознавания образов, воспринятых площадкой 104b пикселов. Как показано на фиг.3Б, выпуклые линзы или микролинзы 102a расположены над площадкой 104b пикселов на поверхности подложки 102 для фокусировки падающего света на площадке 104b пикселов или соединены непосредственно с чувствительным элементом без промежуточной подложки. Линзы 102а могут, например, быть химически нанесены на подложку обычными средствами.

На фиг.4 приведена блок-схема использованного в качестве примера CogniSensor 104, в соответствии с вариантом выполнения настоящего изобретения. CogniSensor 104 включает область 402 чувствительного элемента (сенсора) или чувствительных элементов, логическую схему 404 представления данных, нейронную сеть 406 и логическую схему 408 принятия решений ″на месте″. Чувствительный элемент 402 может включать один или более чувствительных элементов, например, фоточувствительных элементов. Логическая схема 404 представления данных соединена с чувствительной областью 402 и нейронной сетью 406, приспособлена для представления в нейроны выходных данных чувствительных элементов в виде, пригодном для обработки. Нейроны 406 ″обучены″ или ″обучаются″ знанием и могут обрабатывать данные, поступающие на нейроны 406 из логической схемы 404 представления данных, и выдавать обработанные данные на логическую схему 408 принятия решений ″на месте″, которая принимает решение на основе обработанных данных. Логическая схема 408 принятия решений ″на месте″ может быть соединена с другими CogniSensors или CogniMem различными известными способами. Соответственно, CogniSensors 104 могут быть организованы в решетки или решетки решеток.

На фиг.5А и 5Б показаны схемы расположения решеток CogniSensors. Как показано на фиг.5А, каждый CogniSensors 104 может быть соединен с несколькими CogniSensors 104 для формирования решетки 502. Как описано ниже, входные и выходные шины могут быть использованы для последовательного или параллельного соединения чувствительных элементов.

Как показано на фиг.5Б, каждая решетка 502 может быть соединена с несколькими решетками 502 для образования банка 504 решеток. Объединяя решетки решеток CogniSensors 104, можно получить чрезвычайно мощное распознающее устройство, отличающееся как высоким разрешением, так и высоким быстродействием. Другими словами, разрешение формирователя изображения может быть увеличено путем увеличения числа чувствительных элементов. При использовании, однако, эффективного способа принятия решения ″на месте″ в форме CogniMem, увеличение числа CogniSensors не сопровождается снижением скорости обработки данных в устройстве. Кроме того, должно быть понятно, что организация решеток может иметь самую различную геометрию, и изобретение не ограничено только квадратными решетками.

Как уже упоминалось выше, каждый нейрон может быть соединен со многими входами 1-n, в том числе, например, мультиплексными, но также и другими. На фиг.6А представлен нейрон с большим числом входов, что упрощенно показано на фиг.6Б. Таким образом, может быть собрана решетка нейронов с использованием входной шины 602 (на фиг.6 В шина 602 отсутствует), имеющая простую параллельную архитектуру, показанную на фиг.6В. Каждый выход нейронов 406 может быть соединен с общей шиной 406 принятия решений.

Фиг.7 представляет функциональную схему нейрона, иллюстрирующую вариант выполнения изобретения. Назначение нейронов, организованных в неограниченно расширяемую сеть, состоит в том, чтобы выучить и вызывать из памяти дискретные векторы или сигнатуру (образ). Дискретные сигнатуры по большей части представляют собой пространственные распределения интенсивности света, кодированные сжатием данных при обработке. Нейроны могут быть соединены параллельно, как показано на фиг.6В, что означает, что все входы нейронов соединены параллельно, также как и их выходы.

Сигналы данных могут поступать в нейрон 700 с мультиплексной входной шины (не показана). Обучающий мультиплексор 702 может разделять мультиплексные входные сигналы и передавать сигналы входных данных в память 704 образов нейрона и элемент 706 ассоциативной логики. Память 704 образов нейрона обрабатывает входные сигналы и выдает обработанные сигналы в элемент 706 ассоциативной логики. Элемент 706 ассоциативной логики включает элемент 706а принятия решения по параметру сходства.

Каждый нейрон может получить образ (т.е., вектор, представляющий дискретную сигнатуру данных чувствительного элемента), генерируемый логической схемой 404 представления данных, используя широковещательную адресацию. Этот передаваемый всем нейронам образ может представлять собой трансформацию (сжатие) данных чувствительного элемента, либо мгновенную, либо во временной области.

Нейрон может находиться в трех хронологически последовательных состояниях: неактивном, готовности к обучению (RTL - от англ. ready to learn) и, затем, в активном состоянии. По меньшей мере один нейрон находится в состоянии RTL постоянно, за исключением случаев, когда сеть полна (т.е., все нейроны активны). Если рассматривать все параллельно соединенные нейроны как цепочку, RTL-нейрон может перемещаться из первого положения в цепочке в последнее положение. В контексте настоящего раскрытия, RTL-нейрон обычно будет находиться справа от активного нейрона, а неактивный нейрон будет находиться справа от RTL-нейрона.

Когда нейрон находится в неактивном состоянии, он не реагирует ни на какой поступающий к нему образ. RTL-нейрон загрузит поступающий образ в свою память образов с тем, чтобы обучиться ему, если пользовательский процесс примет такое решение. Этот RTL-нейрон не будет принимать участие в процессе распознавания, но будет выделен для накопления нового знания в ходе обучения.

Процесс обучения включает создание нового знания при возникновении нового образа и решении пользователя обучиться ему. Прибавление этого знания произойдет в RTL-нейроне. Помимо создания нового знания, активные нейроны, которые, возможно, неправильно идентифицируют входной образ (т.е., не могут ассоциировать нужную категорию), сокращают их интервал сходства с тем, чтобы избежать в дальнейшем неправильной классификации. При этом происходит модификация знания или ″адаптивное обучение″.

Фотоэлементы могут генерировать дискретные радиометрические значения. Комбинация всех значений по пространственному распределению формирует образ. Такой образ может также изменяться во времени и генерировать поток образа. Этот образ подвергается процедуре обработки со сжатием данных с получением дискретной сигнатуры (вектора) радиометрического образа. Сжатие при обработке не должно выходить за пределы так называемой ″минимальной различающей матрицы″, описанной ниже. Например, посредством матрицы 5×7 можно различить все символы верхнего регистра Европейских алфавитов, однако для Китайских иероглифов требуется матрица 16×16.

Активный нейрон обучается образу, находясь в состоянии RTL, ассоциируя вектор, загруженный в память образов 704, с категорией, хранимой в регистре 709 категорий. Когда поступающий образ попадает в активный нейрон, мультиплексор 702 сигналов обучения/вызова из памяти позволяет передать его в ассоциативную логику 706 для оценки сходства этого образа с вектором, хранящимся в памяти 704 образов. Если вычисленное сходство окажется меньше или равно параметру 706a сходства, произойдет возбуждение нейрона, и он выдаст сигнал через логическое устройство 712. Функция логического устройства ″возбуждения/торможения″ состоит в осуществлении арбитража подключения общей шины среди активных возбужденных нейронов, когда происходит возбуждение множества нейронов, и ″торможение″ тех нейронов, в которых не достигается высокого сходства. Область интереса

Каждый CogniSensor может быть ассоциирован с областью интереса (ROI - от англ. region of interest) в кадре изображения. Каждый CogniSensor может извлекать сигнатуру ROI для широковещательной передачи по своим нейронам (для обучения или распознавания). Сигнатура ROI представляет собой в сжатом виде значения сигналов ее пикселов, причем за счет сжатия ее размер соответствует последовательности N значений, где N представляет собой число ячеек памяти нейрона.

Рассмотрим пример, когда память нейрона имеет емкость 256 байт.CogniSensor может выполнять классификацию области интереса размером N×M пикселов. Сигнатура ROI будет сжата с M×N значений до 256 значений посредством, например, простого блочного сжатия.

CogniSensors могут быть приспособлены для обработки ими ROI любой формы, а выбор способов выделения сигнатуры может определяться конкретным применением (например, контроль деталей, контроль поверхности, распознавание лица, сопровождение цели и др.). Выделение некоторых сигнатур может включать интегрирование во времени, повторения и др. Кроме того, разрядность ячеек памяти нейронов может превышать 8 для согласования с сигналами, поступающими от чувствительных элементов с 12-разрядным разрешением пикселов или более высоким разрешением.

Объединение нейронов с чувствительным элементом и логической схемой представления данных является совершенно новым подходом к распознаванию изображений интегрированными в подложку элементами, без использования программных средств, для обучения или распознавания.

Адресация CogniMem может быть сквозной, либо выборочной (например, запускаемой реакцией других CogniMem ячеек).

Следует иметь в виду, что подложка, в которой помещается CogniSensor(s), выполняет функцию как механической основы, так и линз (см. например, фиг.1-2). Подложка может быть жесткой или гибкой, с плоской или криволинейной поверхностью, или какой-либо иной, и может быть выполнена из стекла, плексигласа, пластика, Майлара или иного материала.

В предпочтительном варианте выполнения, для соединения ячеек CogniSensors и CogniMem, расположенных на одной подложке, используется минимальное число проводов.

В предпочтительном варианте выполнения, загружаемое в CogniSensors знание может обеспечивать распознавание различных семейств образов, как связанных друг с другом, так и не связанных.

Примеры

В соответствии с вариантом выполнения настоящего изобретения, CogniSensors представляют собой идеальное средство для выполнения автоматизированного контроля на производстве. Как показано на фиг.8, для проверки бутылки с водой может быть использован один или более CogniSensors. В этом примере, для контроля трех различных областей, названных Эксперт 1-3, используется три разных CogniSensors. Общая оценка определяется объединением оценок трех проверяющих CogniSensors.

В данном примере, CogniSensor 1 (Эксперт 1) может быть настроен (обучен) на классификацию сигнатур ROI, содержащих крышку 802 бутылки. CogniSensor 1 может классифицировать свою ROI по двум категориям: Плохо и Хорошо. В категорию Плохо объединены следующие случаи: крышка отсутствует или крышка неправильно закручена.

Аналогично, CogniSensor 2 (Эксперт 2) может выучить сигнатуры ROI пересечения уровня 804 жидкости в бутылке. ROI может представлять собой узкий вертикально расположенный прямоугольник, который, в идеальном случае, перекрывает минимальный и максимальный возможные уровни заполнения бутылки. В зависимости от принятых производителем критериев контроля качества, CogniSensor 2 может классифицировать свою область интереса (ROI) по любому числу категорий, например, Приемлемо и Неприемлемо; Слишком Высоко, Приемлемо и Слишком Низко; или Слишком Высоко, Высоко, но Приемлемо, В поле допуска, Низко, но Приемлемо, Слишком Низко.

CogniSensor 3 (Эксперт 3) может выучить сигнатуры области интереса, покрывающей область 806 наклейки. CogniSensor 3 может быть настроен на распознавание различных признаков или комбинаций признаков, например: Отсутствие наклейки, Дефект наклейки (порвана, поцарапана или загнута), неправильное расположение наклейки (перевернута, наклонена) и Хорошо.

Выходной сигнал из CogniSensors 1-3 может быть подан на контроллер, включенный в систему автоматизации процесса изготовления, для совершения соответствующих действий на базе принятого решения.

В соответствии с вариантом выполнения настоящего изобретения, CogniSensors могут быть оформлены в виде отдельных узлов, образуя ″интеллектуальные″ фоточувствительные ячейки или микролинзы. Такие устройства могут применяться в самых различных областях, например, для обнаружения движущихся деталей, определения траекторий или направления по заданному маршруту движущихся деталей в процессе механической сборки (фиг.9А); для биометрической идентификации, например, в телефоне с фотокамерой (фиг.9Б); либо для обнаружения и идентификации посетителей в дверной глазок и т.п. (фиг.9В).

В соответствии с другим вариантом выполнения настоящего изобретения, предложена система обнаружения для предупреждения водителя. Как показано на фиг.10, один или более CogniSensor 104 может быть встроен в ветровое стекло, индикаторную панель приборного щитка или фары автомобиля. CogniSensors 104 могут быть обучены распознавать образы, указывающие на потерю внимания водителем (например, водитель засыпает), и выдавать сигнал, включающий сигнализацию. Эти образы могут включать отслеживание взгляда, распознавание лица, распознавание выражения лица и др. Кроме того, CogniSensors 104, находящиеся в ветровом стекле или фаре, могут быть обучены распознавать объекты или события снаружи транспортного средства, например, обнаруживать дождевые капли для работы дворников лобового стекла, или источники опасности на дороге для системы предупреждения об опасности на дороге.

Обнаружение случайно появляющегося объекта в дальнем или ближнем поле зрения может быть выполнено рядом способов. Например, два или три чувствительных элемента могут быть оснащены линзами, сфокусированными на разные дальности. В чувствительные элементы может быть загружено одинаковое знание, но работать они будут с областями интереса разного размера. Общая реакция системы распознавания может считаться положительной, если хотя бы один чувствительный элемент распознает объект.

Далее, в конструкции CogniSensors могут использоваться входные чувствительные элементы, чувствительные на разных длинах волн, например, ближнем инфракрасном и инфракрасном диапазонах, в узкой полосе, ограниченной фильтром и т.д. Для данного объекта или сцены, эти CogniSensors выдадут различные значения для пикселов, но могут быть обучены распознавать категории объектов по своим соответствующим видеоизображениям. При сопровождении целей, комбинация CogniSensors ближнего инфракрасного и инфракрасного диапазонов обеспечит распознавание цели в любое время суток.

В соответствии с другим вариантом выполнения настоящего изобретения, решетки CogniSensors могут использоваться во многих иных производственных процессах. Например, как показано на фиг.11А, одномерная решетка CogniSensors 1102 может быть использована для контроля качества стеклянных поплавков 1103 при их изготовлении. На фиг.11Б показана двумерная решетка CogniSensors 1104, используемая для обнаружения загрязнений на дне контейнеров 1105, например бутылок для напитков. В таких применениях, CogniSensors могут быть обучены определению образов, показывающих дефекты в стекле или загрязнения в жидкости.

Согласно другому варианту выполнения настоящего изобретения. CogniSensors могут быть распределены, например, по стеклянной панели и др. для выполнения многих независимых функций. CogniSensors могут быть сгруппированы, и каждые группы могут быть обучены своему знанию. На фиг.12 показана, в качестве примера, раздвижная дверь 1202, в которой имеется несколько групп CogniSensors 1204 для обнаружения приближающихся объектов различного размера. Первая группа может быть обучена знанию для распознавания первого размера 1208 человека или животного (например, собаки), вторая группа может быть обучена для распознавания человека другого размера (например, мальчика) 1210, третья группа - для человека третьего размера (например, взрослого) 1212, и так далее. Каждая группа 1204 может быть соединена с одной или более CogniMems 1206 для управления раздвижной дверью.

В соответствии с другим вариантом выполнения настоящего изобретения, показанным на фиг.13А-13Г, в ту же подложку 102, в которую встроены или на которой расположены один или более CogniSensors 104, могут быть встроены или на ней расположены один или более светоизлучающих элементов 1301. Каждый CogniSensor 104 обладает полем зрения, в пределах которого принимается свет, падающий на CogniSensor 104. Светоизлучающий элемент 1301 может быть приспособлен для излучения света по меньшей мере в поле зрения одного или более CogniSensors 104 (например, приспособлен для излучения света сквозь подложку 102). В другом варианте, светоизлучающий элемент 1301 может быть приспособлен для излучения света по меньшей мере за пределами поля зрения одного или более CogniSensors 104 (например, приспособлен для излучения света в сторону от подложки 102). В некоторых вариантах выполнения, один или более светоизлучающих элементов 1301 могут быть приспособлены для излучения света с одной стороны подложки 102, и один или более других излучающих элементов 1301 могут быть приспособлены для излучения света с другой стороны подложки 102.

В качестве одного или более светоизлучающих элементов 1301 могут быть, среди прочего, использованы светодиоды (СД), органические светодиоды, плазменные ячейки и любые другие подходящие электронные или хемилюминесцентные источники. Один или более светоизлучающих элементов 1301 могут возбуждаться для излучения света с заданной интенсивностью и (или) цветом. Интенсивность и (или) цвет одного или более светоизлучающих элементов 1301 может отличаться от интенсивности и (или) цвета, излучаемого одним или более другими светоизлучающими элементами 1301. Кроме того, конструкция одного или более светоизлучающих элементов 1301 может обеспечивать возможность регулировки интенсивности и (или) цвета излучаемого света или управления этими параметрами. Хотя бы один CogniSensor 104 и один светоизлучающий элемент 1301 могут быть встроены в подложку 102 или расположены на ней. Однако в подложку 102 могут быть встроены или расположены на ней множество CogniSensors 104 и (или) множество светоизлучающих элементов. При использовании множества CogniSensors 104 и (или) светоизлучающих элементов 1301, светоизлучающие элементы 1301 и CogniSensors 104 могут образовывать решетку на подложке 102, а количество светоизлучающих элементов 1301 может соответствовать, а может и не соответствовать количеству CogniSensors 104. Например, на каждый CogniSensors 104 может приходиться определенное количество светоизлучающих элементов 1301. Один или более светоизлучающих элементов 1301 могут быть приспособлены для создания освещения и (или) воспроизведения изображений.

Как было описано выше и показано на фиг.3А и 3Б, каждый из одного или более CogniSensors 104 может включать площадку 104b пикселов и площадку 104a размещения нейронов. Площадка 104b пикселов может принимать падающий на нее свет в поле зрения CogniSensors 104, а нейроны на площадке 104a размещения нейронов могут быть приспособлены для обнаружения и распознавания образов, создаваемых светом, принимаемым площадкой 104b пикселов. Соединение и управление каждого из одного или более светоизлучающих элементов 1301 может выполняться в соответствии с выходным(-ми) сигналом(-ми) одного или более CogniSensors 104. Соответственно, управление каждого из одного или более светоизлучающих элементов 1301 может выполняться в соответствии с образами, распознанными одним или более CogniSensors 104. Например, один или более CogniSensors 104 может управлять светоизлучающими элементами 1301 для создания интеллектуального освещения и (или) интеллектуального воспроизведения изображения.

На фиг.13А показана решетка CogniSensors 104 и светоизлучающих элементов 1301, которые могут быть встроены в подложку 102 или расположены на ней. В этом варианте выполнения, CogniSensors 104 и светоизлучающие элементы 1301 расположены рядами и столбцами чередующихся CogniSensors 104 и светоизлучающих элементов 1301. Кроме того, поскольку CogniSensors 104 и светоизлучающие элементы 1301 чередуются как по рядам, так и по строкам, один или более CogniSensors 104 примыкает к светоизлучающему элементу 1301 с каждой из своих четырех сторон. Аналогично, один или более светоизлучающих элементов 1301 примыкает к CogniSensors 104 с каждой из своих четырех сторон. В других вариантах выполнения, CogniSensors 104 и светоизлучающие элементы 1301 могут быть расположены чередующимися столбцами или рядами CogniSensors 104 и светоизлучающих элементов 1301. В этих вариантах выполнения, соотношение между светоизлучающими элементами 1301 и CogniSensors 104 может быть 1:1. Кроме того, каждый CogniSensors 104 может управлять интенсивностью и (или) цветом прилегающего светоизлучающего элемента 1301 и (или) не прилегающих к нему светоизлучающих элементов 1301.

На фиг.13Б показана решетка CogniSensors 104 и светоизлучающих элементов 1301, которые могут быть встроены в подложку 102 или расположены на ней, в соответствии с другим вариантом выполнения. В этом варианте выполнения, один или более CogniSensors 104 могут быть встроены в подложку 102 или расположены на ней, и каждый CogniSensor 104 окружен несколькими светоизлучающими элементами 1301. Например, как показано на фиг.13Б, каждый CogniSensor 104 может быть окружен двенадцатью светоизлучающими элементами 1301. Возможны, однако, и другие соотношения. Например, каждый CogniSensor 104 может быть окружен восемью светоизлучающими элементами 1301. Хотя светоизлучающие элементы 1301 могут формировать одно кольцо вокруг каждого CogniSensor 104, также может быть сформировано одно или более дополнительных колец светоизлучающих элементов вокруг каждого CogniSensor 104. Каждый CogniSensor 104 может управлять интенсивностью и (или) цветом излучения светоизлучающих элементов 1301, которые окружают CogniSensor 104, и (или) светоизлучающих элементов вокруг других CogniSensors 104.

На фиг.3В показано поперечное сечение CogniSensors 104 и светоизлучающих элементов 1301, встроенных в прозрачную или полупрозрачную подложку 102 или расположенных на ней. В этом варианте выполнения, светоизлучающие элементы 1301 излучают свет в сторону подложки 102, откуда принимается свет, падающий на CogniSensors 104. Соответственно светоизлучающие элементы 1301 могут быть приспособлены для излучения света сквозь подложку 102 в поле зрения одного или более CogniSensors 104. Как показано на чертеже, линзы 102а встроены в подложку 102 или расположены на ней, при этом каждая линза образует оптический тракт либо для CogniSensor 104, либо для светоизлучающего элемента 1301. Линзы 102а могут быть сформированы любым из способов, описанных выше применительно к фиг.1Б, 2 и 3Б. Кроме того, как показано на фиг.13В, CogniSensors 104 и светоизлучающие элементы 1301 могут чередоваться, а между чередующимися CogniSensors 104 и светоизлучающими элементами 1301 может быть помещен наполнитель или слой 1310 наполнителя. Слой 1310 наполнителя может содержать проводники, непосредственно нанесенные гравировкой или напылением на подложку 102, позволяющие подавать питание и (или) подводить сигналы к CogniSensors 104 и (или) светоизлучающим элементам 1301 и (или) от них. Один или более CogniSensors 104 и (или) один или более светоизлучающих элементов 1301 могут быть соединены друг с другом прозрачными или непрозрачными соединениями. Кроме того, со стороны CogniSensors 104 и светоизлучающих элементов 1301, противоположной подложке 102, может быть расположен защитный слой 1311. Также как и подложка 102, защитный слой 1311 может быть прозрачным или полупрозрачным, и может быть выполнен из стекла, плексигласа или прозрачного пластика.

На фиг.13Г показано поперечное сечение CogniSensors 104 и светоизлучающих элементов 1301, встроенных в прозрачную или полупрозрачную подложку 102, или расположенных на ней, в соответствии с вариантом выполнения, в котором светоизлучающие элементы 1301 излучают свет со стороны подложки 102, противоположной стороне подложки 102, с которой принимается свет, падающий на CogniSensors 104. Соответственно, светоизлучающие элементы 1301 могут, например, излучать свет сквозь защитный слой 1311, вместо подложки 102. Как показано на фиг.13Г, линзы 102а могут быть встроены в подложку 102 и защитный слой 1311, или располагаться на них. Каждая линза 102a, встроенная в подложку 102 или расположенная на ней, образует оптический тракт для CogniSensor 104, а каждая линза, встроенная в защитный слой 1311 или расположенная на нем, образует оптический тракт для светоизлучающего элемента 1301. Линза 102а может быть встроена в защитный слой 1311 или расположена на нем любым способом, рассмотренным выше в отношении линз 102a, встроенных в подложку 102 или расположенных на ней.

Каждый из светоизлучающих элементов 1301, показанных на фиг.13 В, приспособлен для излучения света сквозь подложку 102, и каждый из светоизлучающих элементов 1301, показанных на фиг.13Г, приспособлен для излучения света сквозь защитный слой 1311. Однако, в некоторых вариантах выполнения, один или более светоизлучающих элементов 1301 может быть приспособлен для излучения света сквозь подложку 102, в то время как другие светоизлучающие элементы приспособлены для излучения света сквозь защитный слой 1311.

В процессе работы, выходные сигналы одного или более CogniSensors 104 могут быть использованы для управления одним или более светоизлучающим элементом 1301. Как было описано выше, один или более CogniSensors 104 может быть использован для обнаружения и распознавания образов в свете, падающем на площадки 104b пикселов CogniSensors 104. Таким образом, один или более CogniSensors 104 могут быть обучены обнаруживать присутствие одного или более объектов в пределах поля зрения CogniSensors, определять количество объектов в поле зрения, определять расстояние между одним или более обнаруженными объектами и подложкой 102 или CogniSensor 104 (например, используя стереоэффект), определять положение одного или более обнаруженных объектов, определять, является ли один или более из обнаруженных объектов авторизованным объектом, распознавать лица в поле зрения, распознавать выражения распознанных лиц, определять местоположение и прослеживать направление взгляда одного или более наблюдателей в пределах поля зрения, и (или) выполнять биометрическую идентификацию. Кроме того, один или более CogniSensors 104 могут управлять одним или более светоизлучающими элементами 1301 при обнаружении незнакомого объекта. Представленный перечень не является исчерпывающим, и специалистам известны и другие формы распознавания образов.

Образы, распознаваемые одним или более CogniSensors 104, могут быть затем использованы для выборочного и индивидуального управления каждым из одного или более светоизлучающих элементов 1301. Примерами выборочного управления одним или более светоизлучающих элементов 1301 может служить включение или выключение одного или более светоизлучающих элементов 1301, и (или) регулировка или изменение цвета излучаемого света одним или более светоизлучающими элементами 1301.

Кроме того, поскольку CogniSensors 104 могут быть распределены на подложке 102 или внутри нее, CogniSensors 104 могут иметь большие чувствительные площадки, не требующие широкоугольных линз. Соответственно, CogniSensors 104 могут обнаруживать и распознавать объекты даже и в тех случаях, когда они находятся очень близко к подложке 102.

На фиг.14А-14В показаны частные варианты конструкции светоизлучающих элементов 1301 и CogniSensors 104 в интеллектуальном светоизлучающем узле 1400. Также, как и в вариантах выполнения, показанных на фиг.1-7, интеллектуальный светоизлучающий узел 1400 имеет прозрачную или полупрозрачную подложку 102, а один или более CogniSensors 104 встроены в подложку 102 или расположены на ней. Кроме того, один или более светоизлучающих элементов 1301 могут быть встроены в подложку 102 или расположены на ней. В некоторых вариантах выполнения, за одним или более CogniSensors 104 и одним или более светоизлучающих элементов 1301 может находиться защитный слой 1311, а между подложкой 102 и защитным слоем 1311 может быть расположен слой наполнителя. Благодаря тому, что один или более CogniSensors 104 и один или более светоизлучающих элементов 1301 находятся в одной или на одной и той же подложке, интеллектуальный излучающий узел может быть тонким и компактным.

Как показано на фиг.14А, CogniSensors 104 и светоизлучающие элементы 1301 могут образовывать решетку на подложке 102 или в ней. На фиг.14А показан частный пример расположения групп CogniSensors 104 и светоизлучающих элементов 1301 в подложке 102 или на ней, однако также возможно и много других вариантов расположения. Например, CogniSensors 104 и светоизлучающие элементы 1301 могут быть равномерно распределены по подложке 102, могут быть собраны группами, могут быть расположены по краям и (или) расположены в центре.

На фиг.14Б показано поперечное сечение интеллектуального светоизлучающего узла 1400, а на фиг.14В представлен фрагмент поперечного сечения, показанного на фиг.14Б, содержащий CogniSensor 104 и светоизлучающие элементы 1301. Хотя в показанном частной конструкции светоизлучающие элементы 1301 расположены по сторонам CogniSensor 104, возможны и другие конструкции. Например, CogniSensor 104 может быть окружен со всех сторон светоизлучающими элементами 1301, образуя квадрат, прямоугольник, круг и (или) овал вокруг CogniSensor 104, либо CogniSensors 104 и светоизлучающие элементы 1301 могут быть расположены с чередованием. В альтернативном варианте, может быть только один CogniSensor и (или) один светоизлучающий элемент 1301. Кроме того, CogniSensor 104 может включать решетку CogniSensors 104, как показано на фиг.5В. На фиг.14Б показано, что интеллектуальный светоизлучающий узел 1400 также может включать слой 1310 наполнителя, расположенный между подложкой 102 и защитным слоем 1311. Слой 1310 наполнителя может включать проводники, нанесенные гравированием или напылением непосредственно на подложку 102, которые позволяют подавать питание и (или) подводить сигналы к одному или более CogniSensors 104 и (или) одному или более светоизлучающим элементам 1301, и (или) от них.

Как показано на фиг.14В, CogniSensors 104 могут принимать свет, проходящий сквозь прозрачную или полупрозрачную подложку 102, а светоизлучающие элементы 1301 могут излучать свет сквозь подложку 102. Однако, вместо этого, один или более светоизлучающих элементов 1301 могут излучать свет сквозь защитное стекло 1311.

В процессе работы интеллектуальный светоизлучающий узел 1400 может управлять светом, излучаемым светоизлучающими элементами в соответствии с образами, обнаруженными в поле зрения CogniSensors 104. Например, интеллектуальный светоизлучающий узел 1400 может включать или увеличивать интенсивность света, излучаемого одним или более светоизлучающих элементов 1301 в ответ на то, что CogniSensors 104 обнаружат присутствие одного или более людей в поле зрения CogniSensors 104. Аналогично, интеллектуальный светоизлучающий узел 1400 может выключить или приглушить (т.е., снизить интенсивность излучаемого света) один или более светоизлучающих элементов 1301, если CogniSensors 104 обнаружат, что в поле зрения CogniSensors 104 люди отсутствуют.

Управление одним или более светоизлучающими элементами может выполняться в соответствии с характером изменений, распознанных интеллектуальным светоизлучающим узлом 1400. Например, интеллектуальный светоизлучающий узел 1400 может установить, что человек раскрыл книгу, и, в ответ, увеличить интенсивность света, направленного на книгу. Интеллектуальный светоизлучающий узел может выключить или приглушить один или более светоизлучающих элементов 1301, если один или более CogniSensors 104 установят, что один или более людей в поле зрения легли в кровать. Если один или более CogniSensors 104 в интеллектуальном светоизлучающем узле 1400 были обучены распознаванию потери сознания одним или более людей, интеллектуальный светоизлучающий узел может изменить цвет света, излучаемого одним или более светоизлучающими элементами 1301 (например, изменить цвет излучаемого света на красный).

Кроме того, интеллектуальный светоизлучающий узел 1400 может выдавать наружу результаты распознавания образов. Интеллектуальный светоизлучающий узел 1400, обнаруживший, что человек потерял сознание, может уведомить персонал службы экстренной помощи. В условиях отеля, помимо приглушения или отключения одного или более светоизлучающих элементов 1301, интеллектуальный светоизлучающий узел 1400 может информировать службу регистрации и обслуживания гостей и (или) службу уборки, что в комнате больше никого нет. Кроме того, интеллектуальный светоизлучающий узел 1400 может направлять команду на отключение вентиляторов, кондиционеров и (или) обогревателей, когда гости отсутствуют.

В условиях тюрьмы, интеллектуальный светоизлучающий узел 1400 может быть использован для определения и выдачи числа заключенных, находящихся в камере. Интеллектуальный светоизлучающий узел 1400 может быть использован для обнаружения происходящей драки, либо ситуации, когда заключенному требуется медицинская помощь. Интеллектуальный светоизлучающий узел 1400 также может включить сигнал тревоги, изменить цвет света, излучаемого одним или более светоизлучающим элементом 1301 и (или) уведомить персонал тюрьмы, когда количество заключенных в камере больше или меньше ожидаемого количества, о происходящей драке или необходимости медицинской помощи.

Кроме того, поскольку интеллектуальный светоизлучающий узел 1400 выполняет распознавание образов ″на месте″, отпадает необходимость в передаче изображений или видеоизображений, и выполняемая интеллектуальным светоизлучающим узлом 1400 идентификация действий людей не сопровождается вторжением в их частную жизнь.

Интеллектуальный светоизлучающий узел 1400 также может быть использован в оконной раме в парнике или ином строении. Один или более CogniSensors 104 могут определять количество света снаружи здания и управлять одним или более светоизлучающими элементами 1301. Например, интеллектуальный светоизлучающий узел 1400 может быть использован в парнике для включения одного или более светоизлучающих элементов 1301 для создания дополнительного освещения в облачные дни, и выключать один или более светоизлучающих элементов 1301 в солнечные дни. Кроме того, интеллектуальный светоизлучающий узел 1400 может быть использован в качестве окна в потолке или в стене здания. Например, при использовании в качестве окна, интеллектуальный светоизлучающий узел 1400 может выглядеть как просто прозрачное или полупрозрачное окно, когда получаемое одним или более CogniSensors 104 количество света превышает заданное значение, но при этом интеллектуальный светоизлучающий узел 1400 может создавать освещение, когда получаемое одним или более CogniSensors 104 количество света меньше определенной величины. В этих вариантах выполнения, интеллектуальный светоизлучающий узел 1400 может использовать конструкции светоизлучающих элементов 1301 и CogniSensors 104, показанные на фиг.13Г.

На фиг.15А и 15Б представлены частные варианты конфигураций одного или более светоизлучающих элементов 1301, и одного или более вариантов CogniSensors 104 в составе интеллектуального дисплея 1500. Также как и в вариантах выполнения, показанных на фиг.1-7, интеллектуальный светоизлучающий дисплей 1500 имеет прозрачную или полупрозрачную подложку 102, в которую встроены один или более CogniSensors 104, или расположены на ней. Кроме того, в подложку 102 встроены, или на ней расположены один или более светоизлучающих элементов 1301. Геометрическое расположение светоизлучающих элементов 1301 позволяет формировать изображения. Формируемые изображения могут быть представлены объектам в поле зрения одного или более CogniSensors 104. Формируемые изображения могут включать последовательность изображения (т.е., видеоизображение). Интеллектуальный дисплей 1500 может иметь узел ввода/вывода, через который могут быть приняты изображения для воспроизведения, и через который может быть передана информация распознавания образов. Узел ввода/вывода может отсылать и принимать сигналы по беспроводному каналу. В этом случае также, благодаря тому, что один или более CogniSensors 104 и светоизлучающие элементы 1301 расположены в одной и той же подложке 102 или на ней, интеллектуальный дисплей 1500 может быть сделан тонким и компактным. Кроме того, поскольку CogniSensors 104 могут быть распределены по всему дисплею, CogniSensors 104 могут иметь большую чувствительную поверхность и смогут обнаруживать и распознавать образы, даже если объекты находятся очень близко к подложке 102 дисплея 1500.

На фиг.15А представлена решетка CogniSensors 104 и светоизлучающих элементов 1301, которые могут быть встроены в подложку 102 или расположены на ней, в соответствии с одним вариантом выполнения интеллектуального дисплея 1500. В этом варианте выполнения, CogniSensors 104 и светоизлучающие элементы 1301 расположены чередующимися рядами CogniSensors 104 и светоизлучающих элементов 1301. Пикселы 1301a-1301c в этом варианте используются как светоизлучающие элементы 1301, и каждый пиксел может излучать свет различного цвета. Например, светоизлучающие элементы 1301 могут включать красные пикселы 1301a, зеленые пикселы 1301b и синие пикселы 1301c. Красные пикселы 1301а могут излучать красный свет, зеленые пикселы 1301b могут излучать зеленый свет и синие пикселы 1301c могут излучать синий свет. Каждый CogniSensor 104 может управлять пикселами одной или более групп из одного или более красных пикселов 1301a, одного или более зеленых пикселов 1301b и одного или более синих пикселов 1301 с так, что будучи сложенными друг с другом, они смогут излучать свет в широком диапазоне цветов. Каждый CogniSensor 104 может управлять интенсивностью и (или) цветом пикселов 1301а-1301 с прилегающей группы и (или) пикселов 1301a-1301c не прилегающей группы.

На фиг.15Б представлена решетка CogniSensors 104 и светоизлучающих элементов 1301, которые могут быть встроены в подложку 102 или расположены на ней, в соответствии с другим вариантом выполнения интеллектуального дисплея 1500. В этом варианте выполнения, красные пикселы 1301a, зеленые пикселы 1301b и синие пикселы 1301 с используются в качестве светоизлучающих элементов 1301. CogniSensors 104 встроены в прозрачную или полупрозрачную подложку 102 или расположены на ней. Линзы 102a, встроенные в подложку 102 или расположенные на ней, могут образовывать оптический тракт для CogniSensors 104. Между CogniSensors 104 может находиться наполнитель или слой 1310 наполнителя. Пикселы 1301a-1301c могут располагаться со стороны слоя 1310 наполнителя, противоположной подложке 102. Пикселы 1301a-1301c могут быть приспособлены для излучения света в сторону от подложки 102. Прозрачный или полупрозрачный защитный слой может закрывать пикселы 1301a-1301c так, что пикселы 1301a-1301c и CogniSensors 104 будут расположены между защитным слоем и подложкой 102.

На фиг.15 представлены конкретные примеры расположения светоизлучающих элементов 1301 и CogniSensors 104, однако специалистам должно быть понятно, что могут быть и другие варианты расположения. Например, пикселы 1301a-1301c могут быть размещены треугольником вокруг каждого CogniSensor 104. Кроме того, каждому CogniSensor 104 может соответствовать несколько групп пикселов 1301a-1301c.

В процессе работы, интеллектуальный дисплей 1500 может управлять светом, излучаемым светоизлучающими элементами, в соответствии с образами, обнаруженными в поле зрения одного или более CogniSensors 104. Например, интеллектуальный дисплей 1500 может распознать одну или более характеристик (например, пол, рост, вес, возраст) одного или более наблюдателей в поле зрения одного или более CogniSensors 104, и эти характеристики могут быть использованы для демонстрации соответствующей адресной рекламы. В одном варианте выполнения, интеллектуальный дисплей 1500 следит за взглядом одного или более наблюдателей и (или) распознает выражение лица, и в ответ могут быть представлены изображения, содержащие больше информации о продуктах, заинтересовавших наблюдателя. Кроме этого, CogniSensors 104 могут распознавать состояние скуки наблюдателя или его неодобрение в отношении одного или более представляемых ему изображений, и эта информация может быть использована для демонстрации другой, отличающейся, рекламы, которая сможет больше заинтересовать наблюдателя. Образы, распознаваемые одним или более CogniSensors 104, могут выдаваться и использоваться для определения того, какие изображения, реклама и (или) продукты вызывают наиболее одобрительную реакцию наблюдателей.

В контексте витринной рекламы, интеллектуальный дисплей 1500 может позволить человеку, рассматривающему витрины, заглянуть внутрь магазина сквозь интеллектуальный дисплей 1500, отследить направление его взгляда и представить информацию (например, рекламные материалы, цены, имеющиеся размеры и др.) о товаре, на который смотрит рассматривающий витрину человек. Внутри магазина, интеллектуальный дисплей 1500 может быть использован как для представления рекламы, так и для обнаружения случаев воровства.

Интеллектуальный дисплей 1500 также может быть использован в качестве зеркала, воспроизводящего изображения, принятого одним или более CogniSensors 104. При этом наблюдатель, глядящий в интеллектуальный дисплей 1500, увидит себя. Интеллектуальный дисплей 1500 может модифицировать изображение в качестве развлечения и (или) для рекламных целей. Например, наблюдатель может быть показан одетым в новую модель одежды рекламодателя и (или) может быть показан в другом месте.

Один или более CogniSensors 104 интеллектуального дисплея 1500 также может быть использован для распознавания расположения и расстояния относительно дисплея 1500 различных частей тела наблюдателя. Эта информация может быть использована для интерактивных видеоигр, или для управления интеллектуальным дисплеем. Например, один или более CogniSensors 104 интеллектуального дисплея 1500 могут распознать определенные движения тела как команду на выключение дисплея, для изменения показываемого канала или входного сигнала, или для регулировки громкости. Кроме того, поскольку CogniSensors 104 могут быть расположены по всей подложке 102 и иметь большую чувствительную поверхность, CogniSensors 104 могут обнаруживать и распознавать объекты, расположенные даже очень близко от подложки 102.

В этом случае, поскольку интеллектуальный дисплей 1500 выполняет распознавание образов ″на месте″, отсутствует необходимость в передаче изображений или видео, и интеллектуальный дисплей 1500 может распознавать действия людей, не вторгаясь в частную жизнь. Соответственно, интеллектуальные дисплеи 1500 могут быть использованы для определения рейтингов телевизионных программ (например, количества людей, просматривающих программу, и (или) насколько нравится программа зрителям).

Интеллектуальный дисплей 1500 также может быть использован в качестве интеллектуальных очков, для улучшения изображения, наблюдаемого пользователем в этих очках. Например, очки, солнечные очки или контактные линзы могут иметь прозрачную или полупрозрачную подложку, в которой встроены или на которой расположены один или более CogniSensors 104. CogniSensors 104 могут быть приспособлены для обнаружения и распознавания образов в свете, принимаемом CogniSensors 104. Светоизлучающими элементами 1301, которые могут представлять собой пикселы 1301а-1301с, можно управлять в соответствии с образами, распознанными CogniSensors 104, для улучшения изображений, которые видит человек в интеллектуальных очках. Например, интеллектуальные очки могут быть использованы для выделения оружия или угроз, показа имен людей, распознанных по лицам, индикации расстояний до распознанных объектов, выделения движущихся объектов или дорог, добавления обозначений и (или) показа названий объектов местности. В результате, обладатель интеллектуальных очков может наблюдать дополненную реальность, а очки могут образовать не имеющий краев экран (т.е., образы могут обнаруживаться и распознаваться вне зависимости от направления, куда смотрит человек в этих очках).

В любом из описанных здесь вариантов выполнения, подложка 102 может представлять собой плоскую поверхность с горизонтальной или вертикальной ориентацией, но также может быть и криволинейной и (или) ориентированной под любым углом. Энергия питания может подводиться по беспроводному каналу посредством одного или более фотоэлектрических устройств, встроенных в подложку 102 или расположенных на ней. Кроме того, каждый CogniSensor 104 может использовать для связи ту (те) же линию(-ии), что используется для подведения питания к CogniSensor 104. Кроме того, выходные линии передачи и (или) линии подвода питания могут быть выполнены гравированием или напылением непосредственно на подложке 102.

Для специалиста должно быть очевидно, что предложенное в изобретении устройство для формирования изображения может быть использовано для других многочисленных, не упомянутых здесь, применений. Например, это может быть обнаружение остаточных повреждений (изменение текстуры) в плотине, мосту или ином сооружении. Реализация этого применения должна быть очевидной с учетом приведенного описания вариантов осуществления настоящего изобретения. Кроме того, передача энергии и сигналов может быть беспроводной (например, по инфракрасному каналу, посредством фотоэлемента, петли индуктивности и др.).

Таким образом, выше были подробно описаны, со ссылками на чертежи, несколько предпочтительных вариантов выполнения изобретения. Хотя описание изобретения было основано на этих предпочтительных вариантах выполнения, для специалиста должно быть очевидным, что в описанных вариантах возможны определенные модификации, изменения и конструктивные исполнения, не выходящие за пределы существа и области патентных притязаний изобретения.

Группа изобретений относится к средствам формирования изображений. Технический результат заключается в создании устройства распознавания изображений, имеющего чувствительную площадку, непосредственно встроенную в прозрачный или полупрозрачный материал, образующий оптический интерфейс. В изобретении на основе применения фоточувствительных элементов, встроенных или внедренных в прозрачную или полупрозрачную подложку, или на подложку, например, из стекла или пластика. Сама подложка может выполнять функцию оптического устройства, фокусирующего падающие фотоны, относящиеся к получаемому изображению, на фоточувствительные элементы. Цифровая память нейронов может быть обучена распознаванию объектов в соответствии с падающими фотонами. Фоточувствительные элементы и элементы цифровой памяти нейронов могут быть скомбинированы со светоизлучающими элементами, управляемыми в соответствии с распознанными образами. В одном применении интеллектуальные светоизлучающие узлы излучают свет, проводя мониторинг окружающего пространства и (или) регулируя свет в соответствии с окружающим пространством. В другом применении интеллектуальные дисплеи воспроизводят изображения, и (или) видеоизображение, проводя мониторинг окружающего пространства и (или) изменяют воспроизводимые изображения и (или) видеоизображения в соответствии с этим окружающим пространством. 5 н. и 63 з.п. ф-лы, 29 ил.

1. Устройство восприятия изображений, содержащее:
множество когнитивных воспринимающих элементов, встроенных в прозрачную или полупрозрачную подложку или расположенных на ней, каждый из которых содержит фоточувствительный элемент и ячейку обучаемой когнитивной памяти, ассоциированную с фоточувствительным элементом;
множество оптических интерфейсов, сформированных на упомянутой подложке или встроенных в нее, каждый из которых оптически связан с соответствующим одним из множества когнитивных воспринимающих элементов; и
множество светоизлучающих элементов, расположенных на упомянутой подложке и приспособленных для излучения света.

2. Устройство п. 1, в котором обеспечивается управление светом, излучаемым одним или более из множества светоизлучающих элементов, в соответствии с выходным сигналом одного или более из множества когнитивных воспринимающих элементов.

3. Устройство п. 1, в котором геометрия расположения множества светоизлучающих элементов обеспечивает формирование устройства воспроизведения изображения.

4. Устройство п. 3, в котором устройство воспроизведения изображения приспособлено для воспроизведения изображения, соответствующего свету, принятому фоточувствительными элементами одного или более из множества когнитивных воспринимающих элементов.

5. Устройство п. 3, в котором каждый когнитивный воспринимающий элемент обучаем и приспособлен для распознавания образов, связанных с падающим светом, а устройство воспроизведения изображения приспособлено для воспроизведения изображения и модификации изображения в соответствии с образами, распознаваемыми одним или более из множества когнитивных воспринимающих элементов.

6. Устройство п. 1, в котором множество когнитивных воспринимающих элементов обладают полем зрения, а светоизлучающие элементы приспособлены для излучения света в этом поле зрения.

7. Устройство п. 1, в котором множество когнитивных воспринимающих элементов обладают полем зрения, а светоизлучающие элементы приспособлены для воспроизведения изображения, которое могут видеть объекты в этом поле зрения.

8. Устройство п. 1, в котором множество когнитивных воспринимающих элементов обладают полем зрения, а светоизлучающие элементы приспособлены для освещения объектов в этом поле зрения и для воспроизведения изображения для объектов в этом поле зрения.

9. Устройство п. 8, в котором один или более из множества когнитивных воспринимающих элементов приспособлен для распознавания образов, соответствующих падающему свету, и для управления освещением и воспроизведением изображения одним или более из множества светоизлучающих элементов как функции распознанных образов.

10. Устройство п. 1, в котором каждая ячейка когнитивной памяти обучается распознаванию своей, отличающейся, части изображения, а множество ячеек когнитивной памяти приспособлено для совместной работы для распознавания этого изображения.

11. Устройство п. 1, в котором каждый элемент когнитивной памяти содержит множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый упомянутый нейрон способен обучаться "знанием", которое позволяет соответствующему нейрону распознавать сигнал и принимать решение.

12. Устройство п. 1, в котором множество когнитивных воспринимающих элементов приспособлены для выполнения цифровых операций распознавания изображений без использования программного обеспечения посредством множества параллельно действующих элементов, каждый из которых действует независимо и автономно.

13. Устройство п. 1, в котором светоизлучающие элементы выбраны из светодиодов (СД), органических светодиодов и плазменных ячеек.

14. Устройство п. 1, дополнительно содержащее фотоэлектрические устройства, встроенные в подложку или расположенные на ней.

15. Устройство п. 1, дополнительно содержащее выходные линии передачи и линии подачи питания, гравированные или нанесенные напылением непосредственно на подложке.

16. Устройство п. 1, в котором каждый из множества когнитивных воспринимающих элементов приспособлен для получения энергии по линиям подачи питания и для выдачи выходных сигналов, используя линии подачи питания.

17. Устройство п. 1, дополнительно содержащее прозрачный или полупрозрачный защитный слой, при этом множество когнитивных воспринимающих элементов и множество светоизлучающих элементов расположены между защитным слоем и подложкой.

18. Устройство п. 17, в котором один или более из множества светоизлучающих элементов приспособлены для излучения света через подложку.

19. Устройство п. 17, в котором один или более из множества светоизлучающих элементов приспособлены для излучения света сквозь защитный слой.

20. Устройство п. 1, в котором множество светоизлучающих элементов и множество когнитивных воспринимающих элементов расположены рядами и столбцами, при этом множество светоизлучающих элементов и множество когнитивных воспринимающих элементов чередуются в каждом ряду и чередуются в каждом столбце.

21. Устройство п. 1, в котором множество светоизлучающих элементов и множество когнитивных воспринимающих элементов расположены так, что каждый из множества когнитивных воспринимающих элементов окружен светоизлучающими элементами.

22. Устройство п. 1, в котором множество светоизлучающих элементов включает красные пиксели, зеленые пиксели и синие пиксели.

23. Устройство восприятия изображений, включающее:
чувствительный элемент, встроенный в прозрачную или полупрозрачную подложку или расположенный на ней;
обрабатывающий элемент, соединенный с чувствительным элементом, встроенный в подложку или расположенный на ней и включающий одну или более нейронных цепей; и
светоизлучающий элемент, встроенный в подложку или расположенный на ней;
при этом прозрачная или полупрозрачная подложка образует оптический интерфейс между воспринимаемым падающим изображением и воспринимающим пикселом чувствительного элемента, а
светоизлучающий элемент приспособлен для излучения света навстречу приходящим сигналам изображения или в противоположном направлении.

24. Устройство п. 23, в котором светоизлучающий элемент включает один или более светодиод, органический светодиод или плазменную ячейку.

25. Устройство п. 23, в котором светоизлучающий элемент выборочно управляется выходным сигналом обрабатывающего элемента.

26. Устройство п. 23, в котором обрабатывающий элемент является обучаемым и приспособлен для распознавания образов, связанных с воспринимаемым падающим изображением.

27. Устройство п. 26, в котором обрабатывающий элемент приспособлен для управления светом, излучаемым светоизлучающим элементом, в соответствии с образами, распознанными обрабатывающим элементом.

28. Устройство п. 23, в котором чувствительный элемент обладает полем зрения, а светоизлучающие элементы приспособлены для излучения света в этом поле зрения.

29. Устройство п. 23, в котором чувствительный элемент обладает полем зрения, а светоизлучающие элементы приспособлены для излучения света в направлении, противоположном направлению поля зрения.

30. Устройство п. 23, в котором упомянутый обрабатывающий элемент содержит множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый упомянутый нейрон способен обучаться "знанием", которое позволяет соответствующему нейрону распознавать сигнал и принимать решение.

31. Устройство п. 23, в котором обрабатывающий элемент приспособлен для выполнения цифровых операций распознавания изображений, без использования программного обеспечения, посредством множества параллельно действующих элементов, каждый из которых действует независимо и автономно.

32. Устройство п. 23, дополнительно содержащее фотоэлектрические устройства, встроенные в подложку или расположенные на ней.

33. Устройство п. 23, дополнительно содержащее выходные линии передачи и линии подачи питания, гравированные или нанесенные напылением непосредственно на подложке.

34. Устройство п. 23, в котором обрабатывающий элемент приспособлен для получения энергии по линиям подачи питания и для выдачи выходных сигналов, используя линии подачи питания.

35. Устройство п. 23, дополнительно содержащее прозрачный или полупрозрачный защитный слой, при этом чувствительный элемент, обрабатывающий элемент и светоизлучающий элемент расположены между защитным слоем и подложкой.

36. Устройство п. 35, в котором светоизлучающий элемент приспособлен для излучения света через подложку.

37. Устройство п. 35, в котором светоизлучающий элемент приспособлен для излучения света сквозь защитный слой.

38. Способ восприятия изображений, в котором:
создают оптический тракт для множества чувствительных элементов, встроенных в прозрачную или полупрозрачную подложку или расположенных на ней, используя множество оптических интерфейсов, встроенных в эту подложку или расположенных на ней;
выполняют параллельную обработку сигналов, вырабатываемых множеством чувствительных элементов, во множестве обрабатывающих элементов, каждый из которых соединен с одним из чувствительных элементов и встроен в упомянутую подложку или расположен на ней и каждый из которых включает одну или более нейронных цепей; и
излучают свет из множества светоизлучающих элементов, встроенных в подложку или расположенных на ней.

39. Способ п. 38, в котором при излучении управляют светом, излучаемым множеством светоизлучающих элементов в соответствии с выходными сигналами одного или более из множества обрабатывающих элементов.

40. Способ п. 38, в котором при обработке выполняют распознавание образов, а при излучении управляют светом, излучаемым множеством светоизлучающих элементов, в соответствии с распознанными образами.

41. Способ п. 40, в котором при распознавании образов обнаруживают присутствие одного или более объектов в пределах поля зрения множества чувствительных элементов.

42. Способ п. 41, в котором при распознавании образов определяют расстояние от подложки до одного или более обнаруженных объектов.

43. Способ п. 41, в котором при распознавании образов определяют количество одного или более обнаруженных объектов.

44. Способ п. 41, в котором при распознавании образов определяют положение одного или более обнаруженных объектов.

45. Способ п. 41, в котором при управлении излучают уменьшенное количество света из множества светоизлучающих элементов, если не обнаружено присутствие объектов.

46. Способ п. 41, в котором при распознавании образов определяют, является ли какой-либо из одного или более обнаруженных объектов авторизованным объектом.

47. Способ п. 40, в котором при распознавании образов определяют положение и направление взгляда одного или более наблюдателей в пределах поля зрения множества чувствительных элементов.

48. Способ п. 40, в котором при распознавании образов распознают лица или выражения лиц.

49. Способ п. 40, в котором при распознавании образов выполняют биометрическую идентификацию.

50. Способ п. 38, в котором при излучении воспроизводят изображение.

51. Способ п. 50, в котором воспроизведенное изображение соответствует изображению, принятому множеством чувствительных элементов.

52. Способ п. 50, в котором при обработке распознают образы, а при излучении дополнительно модифицируют воспроизводимое изображение в соответствии с распознанными образами.

53. Устройство восприятия изображений, включающее:
прозрачную или полупрозрачную подложку;
множество когнитивных воспринимающих элементов, встроенных в подложку или расположенных на ней, каждый из которых содержит фоточувствительный элемент и ячейку обучаемой когнитивной памяти, ассоциированную с фоточувствительным элементом;
множество оптических интерфейсов, сформированных на упомянутой подложке или встроенных в подложку, каждый из которых оптически связан с соответствующим одним из множества когнитивных воспринимающих элементов;
слой наполнителя, содержащий наполнитель между соседними когнитивными воспринимающими элементами из множества когнитивных воспринимающих элементов;
множество светоизлучающих элементов, расположенных на слое наполнителя и приспособленных для излучения света.

54. Устройство п. 53, в котором множество светоизлучающих элементов включают красные пиксели, зеленые пиксели и синие пиксели.

55. Способ восприятия изображений, в котором:
создают оптический тракт для чувствительного элемента, встроенного в прозрачную или полупрозрачную подложку или расположенного на ней, используя оптический интерфейс, встроенный в эту подложку или расположенный на ней;
выполняют обработку сигналов, вырабатываемых чувствительным элементом, в обрабатывающем элементе, соединенном с этим чувствительным элементом и встроенным в упомянутую подложку или расположенным на ней, причем обрабатывающий элемент включает одну или более нейронных цепей; и
излучают свет из светоизлучающего элемента, встроенного в подложку или расположенного на ней.

56. Способ п. 55, в котором при излучении управляют светом, излучаемым светоизлучающим элементом в соответствии с выходными сигналами обрабатывающего элемента.

57. Способ п. 55, в котором при обработке выполняют распознавание образов, а при излучении управляют светом, излучаемым множеством светоизлучающих элементов, в соответствии с распознанными образами.

58. Способ п. 57, в котором при распознавании образов обнаруживают присутствие одного или более объектов в пределах поля зрения чувствительного элемента.

59. Способ п. 58, в котором при распознавании образов определяют расстояние от подложки до одного или более обнаруженных объектов.

60. Способ п. 58, в котором при распознавании образов определяют количество одного или более обнаруженных объектов.

61. Способ п. 58, в котором при распознавании образов определяют положение одного или более обнаруженных объектов.

62. Способ п. 58, в котором при распознавании образов определяют, является ли какой-либо из одного или более обнаруженных объектов авторизованным объектом.

63. Способ п. 57, в котором при распознавании образов определяют положение и направление взгляда одного или более наблюдателей в пределах поля зрения чувствительного элемента.

64. Способ п. 57, в котором при распознавании образов распознают лица или выражения лиц.

65. Способ п. 57, в котором при распознавании образов выполняют биометрическую идентификацию.

66. Способ п. 55, в котором при излучении воспроизводят изображение.

67. Способ п. 66, в котором воспроизведенное изображение соответствует изображению, принятому чувствительным элементом.

68. Способ п. 66, в котором при обработке распознают образы, а при излучении дополнительно модифицируют воспроизводимое изображение в соответствии с распознанными образами.