СПОСОБ ОБНАРУЖЕНИЯ ГЛАЗ ЛЮДЕЙ И ЖИВОТНЫХ Российский патент 2004 года по МПК G01S17/06 G06K9/00 

Предлагаемое изобретение относится к области оптико-электронного приборостроения, локационной измерительной и информационной техники, ВВТ, биологии, в частности биофизики, медицины, психологии, животноводства, охотоведения, а именно: к способам обеспечения безопасности, в частности, к способам дистанционного обнаружения, наблюдения, слежения, выявления, идентификации и получения изображения людей и животных посредством обзорно-поисковых оптико-электронных систем локации видимого электромагнитного диапазона длин волн, использующих активный принцип обнаружения исследуемого объекта на удаленном фоне путем динамического анализа частотного спектра отраженного излучения локационного сигнала, и может быть использовано для обнаружения, наблюдения, слежения, выявления, идентификации и получения изображения глаз преимущественно живых людей и животных в условиях ограниченной видимости в горных и поисково-спасательных работах, для целей охраны, охоты, в военном деле и при проведении антитеррористических операций для дистанционного наблюдения, слежения, выявления, идентификации и получения изображения живой силы в охраняемой зоне, в частности снайперов, террористов, наблюдателей и т. п. , ведущих встречное наблюдение и прицеливание, а также для автоматического устранения эффекта "красных глаз" при фотографировании цифровыми фотокамерами.

В последнее время в связи с военными конфликтами в Ираке, Югославии, Афганистане и Израиле, а также при проведении антитеррористических операций, особенно остро встала проблема дистанционного обнаружения с высокой степенью вероятности в темное время суток и при наличии существенной помеховой обстановки живой силы противника, в частности вероятных снайперов, террористов, наблюдателей и т.п.

В основе заявляемого способа дистанционного обнаружения глаз лежит биофизические свойства глаз людей и животных. Для пояснения уместно обратиться к практической фотографии.

Известно, что фотографирование человека при недостаточной освещенности требует применения световой вспышки, чтобы избежать недостаточной экспозиции. Однако использование световой вспышки часто приводит к тому, что глаза человека на фотографии выглядят красными, и, как следствие, изображение человека на фотографии становится ненатуральным. Это явление известно как эффект "красных глаз".

Обнаружены два типа отражения от глаза. Первый вызван световым излучением, проходящим через глаз человека и отраженным обратно от сетчатой оболочки глаза. Второй, известный как "glint" (сверкание, яркий блеск), формируется световым излучением, отраженным от поверхности роговой оболочки глаза. Именно излучение от световой вспышки, претерпевая многократное отражение от сетчатой оболочки глаз и выходя обратно через зрачок глаза, вызывает эффект "красных глаз".

Причиной эффекта "красных глаз" является биофизические свойства сетчатки глаза. Так при фотографировании в условиях низкой освещенности (в таких условиях используется лампа вспышка для подсветки объекта) в сетчатке глаза доминирует палочковый механизм зрения и физические механизмы восприятия оптического сигнала определяется химическим веществом "родопсин", входящем в состав глазных палочек.

Механизм эффекта "красных глаз" связан с тем, что молекулы зрительных пигментов включены в состав двойного липидного слоя мембранных дисков наружных сегментов сетчатки в виде упорядоченных структур. По этой причине, наряду с особенностями молекулярного поглощения, препарат сетчатки, извлеченный в темноте, а также раствор зрительного пигмента палочек (родопсин) имеют красный цвет, так как родопсин особенно сильно поглощает зеленую и синюю составляющие спектра электромагнитного излучения. Также известно, что в процессе формирования электрического сигнала (фотоцикла) химическая структура и свойства родопсина поглощать оптическое излучение в течение цикла претерпевают ряд изменений, представленных на фиг.1 (PHYSIOLOGICAL REVIEWS Vol. 81, 4, October 2001) (Rhodopsin: Structural Basis of Molecular Physiology SANTOSH T. MENON, MAY HAN, AND THOMAS P. SAKMAR Howard Hughes Medical Institute, Laboratory of Molecular Biology and Biochemistry, The Rockefeller University, New York).

Все известные технические решения по обнаружению эффекта "красных глаз" ставили перед собой цель исключения или, по крайней мере, уменьшения эффекта "красных глаз" или его коррекции на полученном видеоизображении.

И общим подходом известных технических решений является использование многократных вспышек в камере для того, чтобы зрачок глаза сузился к моменту, когда финальная световая вспышка будет использована для того, чтобы сделать выдержку и "поймать" изображение.

Недостатком известных технических решений является необходимость относительно большого периода предварительного освещения между первой световой вспышкой и моментом, когда фотокадр действительно выполнен. Это означает, что фотокадр выполнен через несколько секунд после начала процесса фотографирования. Кроме того, в течение этого времени человек может изменить положение прежде, чем его изображение будет "поймано", считая, что процесс фотографирования уже завершен.

Известные технические решения не могут полностью решить проблему эффекта "красных глаз" в уже готовой фотографии.

Для решения проблемы эффекта "красных глаз" используется технология получения цифрового изображения и возможность хранения оцифрованного изображения в компьютерном архиве. При этом система обнаружения распознает местоположение и размер красного зрачка глаза, а система уменьшения эффекта "красных глаз" обеспечивает изменение каждого пикселя красного цвета в пределах красного зрачка глаза в необходимый цвет.

Известен способ получения изображений живых и мертвых биологических объектов в отраженном и проходящем свете видимого, инфракрасного и ультрафиолетового диапазонов. В этих случаях объект освещают видимым светом и регистрируют на фотопластинке. Для получения четкого изображения биологического объекта используют фокусирующую оптику (авт. свид. СССР 512452, G 03 С 5/04, 1976).

Недостатком этого способа является необходимость воздействия на объект слабых электрических токов, что не позволяет применять его без непосредственного контакта с объектом.

Известен способ определения дефектов цвета глаза объекта на изображении вследствие вспышки освещения, включающий освещение световой вспышкой объекта, фотографирование объекта, получение изображения объекта, оценку пары дефектов - кандидатов на эффект "красных глаз" по интенсивности света, форме светового пятна и расположению его на сетчатке и коррекцию дефектов цвета глаза объекта (патент США 6252976, G 06 К 9/00, 2001).

Указанный способ требует значительных аппаратных ресурсов и базируется на сложном математическом аппарате. В противном случае необходимо вмешательство человека для определения области на фотографии, требующей цветовой коррекции. Способ не обеспечивает автоматической коррекции изображения глаз во всех возможных случаях, а также требует для обработки заранее подготовленную фотографию.

Наиболее близким техническим решением (прототипом) является способ обнаружения глаза и определения направления взгляда, включающий облучение лоцируемого объема пространства первичным сканирующим излучением оптического диапазона, захват видеокамерой двухмерного изображения лоцируемого объема пространства, прием отраженного от сетчатой оболочки глаза наблюдателя при наличии сканирующего излучения в виде расходящегося луча, определение вектора, проходящего через центр радужной оболочки глаза, прекращение облучения лоцируемого объема пространства первичным сканирующим излучением оптического диапазона, освещение из двух вторичных расходящихся источников излучения лоцируемого объема пространства, пространства, прием отраженного от поверхности роговой оболочки глаза излучения двух вторичных источников, определение векторов от каждого из вторичных источников излучения, проходящих через поверхность роговой оболочки глаза и определение направления взгляда по указанным векторам (патент Великобритании 2315858, G 01 S 17/06, 1998).

Прототип не позволяет объективно идентифицировать объект как глаз, т.к. в исследуемой области могут встретиться в большом количестве бликующие объекты другого происхождения, такие как камни, капли воды, осколки стекла и т.д.

Также идентификация затруднена, если в поле зрения находятся несколько пар глаз.

Новым достигаемым техническим результатом предлагаемого изобретения является повышение вероятности идентификации объектов, таких как глаз человека или животного, определение их точного местоположения в лоцируемом объеме, а также возможность динамической коррекции в реальном масштабе времени изображений обнаруженных объектов.

Новый технический результат достигается тем, что в способе обнаружения глаз людей и животных, включающем облучение лоцируемого объема пространства импульсным излучением видимого электромагнитного диапазона длин волн, прием отраженного импульсного излучения, обнаружение родопсина и, как следствие, определение наличия людей и животных в лоцируемом объеме пространства, в отличие от прототипа, облучение лоцируемого объема пространства осуществляют импульсным сканирующим излучением в диапазоне 450-760 нм электромагнитного спектра, после приема отраженного сканирующего излучения осуществляют в течение соответствующего периода действия импульса излучения по крайней мере два измерения энергии излучения, отраженного от лоцируемого объема пространства, каждое в диапазонах длин волн 450-500 нм и 500-570 нм - q_b1, q_g1 и q_b2, q_g2, соответственно, а определение наличия людей и животных в лоцируемом объеме пространства осуществляют по присутствию родопсина посредством сравнения отношений к₁=q_b1/q_g1и к₂=q_b2/q_g2 между собой - при к₂≠к₁ родопсин присутствует, при к₂ = к₁ родопсин отсутствует.

В течение соответствующего периода действия импульса излучения дополнительно последовательно могут производить по крайней мере два кадра видеоизображения размером m•n пикселей лоцируемого объема пространства посредством цифровой цветной видеокамеры, определение наличия людей и животных в лоцируемом объеме пространства по присутствию родопсина осуществляют посредством сравнения соотношений значений яркостей синего и зеленого диапазонов одноименных пикселей соответственно первого К1_m,n и второго К2_m,n кадров видеоизображения - при К1_m,n≠K2_m,n родопсин присутствует, при K1_m,n=К2_m,n родопсин отсутствует и определяют координаты глаз людей и животных по значениям m и n пикселей, для которых K1_m,n≠K2_m,n.

Облучение лоцируемого объема пространства сканирующим излучением видимого электромагнитного диапазона длин волн могут осуществлять на минимально возможном расстоянии от оптической оси приема отраженного излучения, обеспечивающим возможность максимального усиления эффекта "красный глаз".

Облучение лоцируемого объема пространства импульсным сканирующим излучением могут осуществлять посредством цветной цифровой фотокамеры, при этом фотографирование цветной цифровой фотокамерой за время экспозиции фотовспышкой осуществляют по крайней мере два фотоснимка в диапазоне 450-570 нм и 520-760 нм.

Способ обнаружения оптических и оптико-электронных объектов работает следующим образом.

Лоцируемый район местности освещается импульсным источником направленного света, например, газоразрядной лампой с отражателем в диапазоне длин волн электромагнитного спектра излучения от 450 до 760 нм.

Обнаружение людей и животных осуществляются путем сканирования осью визирования системы наблюдения выбранного объема пространства (сектора окружающей местности) в азимутальной плоскости (в том числе вручную).

Синхронно с излучаемыми импульсами света с помощью фотометра осуществляют по крайней мере два измерения энергии излучения, отраженного от лоцируемого объема пространства (сектора окружающей местности), каждое в диапазонах длин волн 450-500 нм (в начале фотоцикла родопсина) и 500-570 нм (в промежуточной области фотоцикла родопсина) - q_b1, q_g1 и q_b2, q_g2, соответственно, в течение соответствующего периода действия импульса излучения источника направленного света.

Коэффициент отражения и, следовательно, мощность отраженного сигнала для первого и второго измерения будут в соответствие со спектральными характеристиками фотоцикла родопсина зависеть от длины волны электромагнитного спектра излучения. Сравнительный анализ этих измерений позволяет сделать объективное заключение о наличии или отсутствии родопсина, а значит и глаза человека или животного.

Биофизические характеристики фотоцикла родопсина позволяют выбрать оптимальные для каждого измерения частотно-временные характеристики облучения. Частоты источника облучения должны содержать характерные частоты спектра поглощения родопсина от 450 до 570 нм, а временные характеристики выбираются из условия проявления нестационарных особенностей спектра поглощения родопсина, см. фиг. 1. Частота повторения импульсов источника направленного света может изменяться в широких пределах от режима моноимпульса до нескольких герц. Определяющим фактором здесь является насыщение процесса поглощения света родопсином, при выраженном насыщении уже не удается идентифицировать нестационарность процесса поглощения света родопсином в различных участках спектра. Возможно работать и с более длинными импульсами излучения (более нескольких миллисекунд), но при этом механизм зрения человека или животного определяется не палочками, а колбочками сетчатки глаза, при этом поглощение излучения сетчаткой глаза расширяется в красную область (до 760 нм).

На основе полученных замеров энергии излучения, отраженного от лоцируемого объема пространства (сектора окружающей местности), в течение соответствующего периода действия импульса излучения источника направленного света сравнивают отношения к₁=q_b1/q_g1 и к₂=q_b2/q_g2 между собой и определяют наличие людей и животных в лоцируемом объеме пространства (секторе окружающей местности) по присутствию родопсина - при к₂≠к₁ родопсин присутствует (как следствие присутствия родопсина - присутствуют люди или/и животные), при к₂= к₁ родопсин отсутствует (как следствие отсутствия родопсина - у объекта отсутствуют глаза, то есть объект не опасен).

Определение наличия людей или/и животных в лоцируемом объеме пространства (секторе окружающей местности) по присутствию родопсина могут производить, при необходимости, также, следующим образом.

Последовательно производят посредством цифровой цветной видеокамеры в течение соответствующего периода действия импульса излучения источника направленного света по крайней мере два кадра видеоизображения размером m•n пикселей лоцируемого объема пространства (сектора окружающей местности).

После чего посредством сканирования значений яркостей сине-зеленой и красной области спектра диапазонов обоих кадров видеоизображения по одноименным пикселям вычисляют коэффициенты: К1_m,n=b1_m,n/g1_m,n, где b1_m,n, g1_m,n - значения яркостей сине-зеленого и красного диапазонов одноименных пикселов соответственно первого кадра; К2_m,n=b2_m,n/g2_m,n, где b2_m,n, g2_m,n - значения яркостей сине-зеленого и красного диапазонов одноименных пикселей соответственно второго кадра.

Затем определяют наличие людей и животных в лоцируемом объеме пространства (секторе окружающей местности) по присутствию родопсина посредством сравнения соотношений значений яркостей сине-зеленого и красного диапазонов одноименных пикселей соответственно первого K1_m,n и второго K2_m,n кадров видеоизображения - при K1_m,n≠K2_m,n родопсин присутствует (как следствие присутствия родопсина - присутствует и люди или/и животные), при K1_m,n=К2_m,n родопсин отсутствует (как следствие отсутствия родопсина - у объекта отсутствуют глаза, то есть объект не опасен).

Кроме самого факта обнаружения глаз человека или животного, важным является определение координат обнаруженных объектов. Так, при необходимости определяют также и координаты глаз людей или/и животных по значениям m и n пикселей, для которых K1_m,n≠K2_m,n. Схема определения искомых координат является стандартной.

Оптическая ось устройства считывания изображения сканирует лоцирумый объем записывая данные в массив пикселов видеоизображения. Оптическая схема однозначно определяет соответствие между номерами пикселов изображения и реальными координатами. Используемый способ позволяет идентифицировать положение искомых объектов на видеоизображении, т.е. номера пикселов. В результате цифровой обработки изображения (массива пикселов) определяются угловые координаты искомых объектов относительно оптической оси устройства считывания изображения.

Предлагаемый способ обнаружения глаз людей и животных основан на использовании динамических свойств зрительного пигмента сетчатой оболочки глаза, а именно: по динамическим характеристикам спектра поглощения производных родопсина (зрительного пигмента) (фиг. 2), то есть на использовании эффекта "красных глаз". Иными словами, если все известные технические решения ставили перед собой цель исключения или, по крайней мере, уменьшения эффекта "красных глаз" или его коррекции на полученном видеоизображении, то предлагаемое техническое решение, наоборот, заинтересовано для более эффективного выполнения достигаемого технического результата - в усилении эффекта "красных глаз".

В свою очередь эффект "красный глаз" зависит от расстояния источника излучения от оптической оси линз и, чем источник излучения размещен ближе к оптической оси приема отраженного излучения, тем в большей степени выражен эффект "красный глаз".

Поэтому для более эффективного выполнения достигаемого технического результата источник излучения размещают на возможно более близком расстоянии от оптической оси приема отраженного излучения.

Достижение нового технического результата - вероятности идентификации объектов, таких как глаз человека или животного, определение их точного местоположения в лоцируемом объеме, а также возможность динамической коррекции в реальном масштабе времени изображений обнаруженных объектов, - в предлагаемом способе обнаружения глаз людей и животных обеспечивается при по крайней мере двух измерениях энергии излучения и кадров видеоизображения. Большее количество измерений энергии излучения и кадров видеоизображения также обеспечивает достижение нового технического результата, но удорожает и сделает более длительным предлагаемый способ без повышения качества и эффективности достигаемого технического результата.

В качестве животных, обнаруживаемых с использованием предлагаемого способа, могут быть домашние животные, например собаки, лошади и др., а также дикие животные, например лисицы, шакалы, крокодилы и др., в том числе на которых осуществляется охота.

Кроме того, обнаружение глаз людей и животных предлагаемый способ обеспечивает и в случае, если люди и животные являются мертвыми в течение некоторого времени непосредственно после их смерти.

Предлагаемый способ обнаружения глаз людей и животных также может быть использован для автоматического устранения эффекта "красных глаз" при фотографировании цифровыми фотокамерами, например, при фотографировании лоцируемого объема пространства цветной цифровой фотокамерой, при этом за время экспозиции фотовспышкой, осуществляющей облучение импульсным сканирующим излучением, производят по крайней мере два фотоснимка в диапазоне 450-570 нм и 520-760 нм, посредством коррекции в реальном времени изображений в практической фотографии, включая:
1. Автоматическое определение участка, где находится район ненормального отражения.

2. Использование в этом участке (пикселы) стандартной программы коррекции изображения (уменьшения доли красного цвета) на программно-аппаратном уровне.

На основании вышеизложенного новым достигаемым техническим результатом предлагаемого изобретения является:
1. Повышение информативности о людях или/и животных, удаленных на конечную дальность при априорно неизвестном удаленном фоне, в том числе в боевых условиях, за счет повышения его обнаружительной способности в результате повышения вероятности обнаружения людей или/и животных, удаленных на конечную дальность при априорно неизвестном удаленном фоне.

2. Повышение вероятности обнаружения людей или/и животных, удаленного на конечную дальность при априорно неизвестном удаленном фоне, за счет динамического анализа в реальном масштабе времени спектральных характеристик отраженного излучения и учета временных и частотных особенностей отражения излучения от производных родопсина, определяющих зрение людей и животных.

3. Обеспечение выделения отраженного от глаз людей или/и животных сигнала излучателя видимого электромагнитного диапазона длин волн на фоне помех: фар автомашин, ламп освещения, светящихся окон квартир, при наличии яркого солнца, вспышки ракеты, открытого огня и т.д.

4. Обеспечивает возможность эффективного устранения эффекта "красных глаз" при фотографировании цифровыми фотокамерами посредством коррекции в реальном времени изображений в практической фотографии.

В настоящее время в ЗАО НПАО "Эполар" выпущена технологическая инструкция на предложенный способ обнаружения глаз людей и животных и проведены испытания по обнаружению глаз людей и животных в соответствии с предложенным выше техническим решением, на основе которых выпущен протокол испытаний.

Изобретение относится к оптико-электронному приборостроению, локационной измерительной и информационной технике, биологии. Техническим результатом является обеспечение вероятности идентификации объектов, таких, как глаз человека или животного, определение их точного местоположения в лоцируемом объеме, а также возможность динамической коррекции в реальном масштабе времени изображений обнаруженных объектов. В способе осуществляют облучение лоцируемого объема пространства импульсным сканирующим излучением в диапазоне 450-760 нм электромагнитного спектра, прием отраженного сканирующего излучения, по крайней мере два измерения энергии излучения, отраженного от лоцируемого объема пространства, каждое в диапазонах длин волн 450-500 нм и 500-570 нм - q_b1, q_g1 и q_b2, q_g2, a соответственно, а определение наличия людей и животных в лоцируемом объеме пространства осуществляют по присутствию родопсина посредством сравнения отношений к₁=q_b1/q_g1 и к₂= q_b2/q_g2 между собой - при к₂≠к₁ родопсин присутствует, при к₂=к₁ родопсин отсутствует. В течение соответствующего периода действия импульса излучения дополнительно могут последовательно производить по крайней мере два кадра видеоизображения размером m•n пикселей лоцируемого объема пространства посредством цифровой цветной видеокамеры, при этом определение наличия людей и животных в лоцируемом объеме пространства по присутствию родопсина осуществляют посредством сравнения соотношений значений яркостей синего и зеленого диапазонов одноименных пикселей соответственно первого K1_m,_n и второго K2_m,n кадров видеоизображения - при К1_m,n≠К2_m,n родопсин присутствует, при K1_m,n= K2_m,n родопсин отсутствует, и определяют координаты глаз людей и животных по значениям m и n пикселей, для которых K1_m,_n≠K2_m,n. Облучение лоцируемого объема пространства сканирующим излучением видимого электромагнитного диапазона длин волн могут осуществлять на минимально возможном расстоянии от оптической оси приема отраженного излучения, обеспечивающим возможность максимального усиления эффекта "красный глаз". Облучение лоцируемого объема пространства импульсным сканирующим излучением могут осуществлять посредством цветной цифровой фотокамеры, при этом фотографирование цветной цифровой фотокамерой за время экспозиции фотовспышкой осуществляют по крайней мере два фотоснимка в диапазоне 450-570 нм и 520-760 нм. 3 з.п. ф-лы, 2 ил.

1. Способ обнаружения глаз людей и животных, включающий облучение лоцируемого объема пространства сканирующим излучением видимого электромагнитного диапазона длин волн, прием отраженного сканирующего излучения и определение наличия людей и животных в лоцируемом объеме пространства, отличающийся тем, что облучение лоцируемого объема пространства осуществляют импульсным сканирующим излучением в диапазоне 450-760 нм электромагнитного спектра, после приема отраженного сканирующего излучения осуществляют в течение соответствующего периода действия импульса излучения по крайней мере два измерения энергии излучения, отраженного от лоцируемого объема пространства, каждое в диапазонах длин волн 450-500 нм и 500-570 нм - q_b1, q_g1 и q_b2, q_g2, соответственно, а определение наличия людей и животных в лоцируемом объеме пространства осуществляют по присутствию родопсина посредством сравнения отношении и между собой - при к₂ ≠ к₁ родопсин присутствует, при к₂=к₁ родопсин отсутствует.2. Способ по п.1, отличающийся тем, что в течение соответствующего периода действия импульса излучения дополнительно последовательно производят по крайней мере два кадра видеоизображения размером m x n пикселей лоцируемого объема пространства посредством цифровой цветной видеокамеры, определение наличия людей и животных в лоцируемом объеме пространства по присутствию родопсина осуществляют посредством сравнения соотношений значений яркостей синего и зеленого диапазонов одноименных пикселей соответственно первого K1_m,_n и второго K2_m,n кадров видеоизображения - при K1_m,_n ≠ К2_m,n родопсин присутствует, при K1_m,_n=K2_m,n родопсин отсутствует, и определяют координаты глаз людей и животных по значениям m и n пикселей, для которых K1_m,_n ≠ K2_m,n.3. Способ по п.1, отличающийся тем, что облучение лоцируемого объема пространства сканирующим излучением видимого электромагнитного диапазона длин волн осуществляют на минимально возможном расстоянии от оптической оси приема отраженного излучения, обеспечивающим возможность максимального усиления эффекта “красный глаз”.4. Способ по п.1, отличающийся тем, что облучение лоцируемого объема пространства импульсным сканирующим излучением осуществляют посредством цветной цифровой фотокамеры, при этом фотографирование цветной цифровой фотокамерой за время экспозиции фотовспышкой осуществляют по крайней мере два фотоснимка в диапазоне 450-570 нм и 520-760 нм.