СПЕЦИАЛИЗИРОВАННАЯ ВИДЕОКАМЕРА КОНТРОЛЯ ОПЕРАТОРА Российский патент 2012 года по МПК A61B3/113 A61B3/14 

Изобретение относится к области обеспечения технической безопасности (различные системы управления объектами, транспортные средства и пр.), где требуется определение психофизического состояния оператора, а кроме того, может найти применение в системах обучения и тестирования, в медицинской диагностике, физиологических экспериментах и пр.

Важным элементом определения физиологического и психологического состояния, текущей загруженности оператора является отслеживание траектории (трекинг) глаз. При этом обычно определяется координата центра зрачка, центра радужной оболочки или другого характерного (в том числе - индивидуального) параметра изображения глаза, получаемого обработкой видеоинформации. При необходимости делать это с высокой частотой (например, 500 fps (кадров/сек) и более) и с высоким разрешением, главным препятствием обычно является необходимость передачи цифрового потока от камеры к вычислителю с нужной для обработки скоростью (несколько Гбод).

Известны многочисленные средства контроля направления взгляда оператора, например, по патенту CN 101344919, A61G 5/10, 2009-01-14. Это устройство включает платформу, камеру, дисплей и блок управления и его основным недостатком является недостаточное быстродействие и сложность, обусловленные трудностью передачи цифрового потока от камеры к вычислителю с нужной для обработки скоростью.

В JP 2006190129, G06T 1/00, 2006-07-20 две камеры и инфракрасная подсветка применены для исключения необходимости оператору «позировать», но устройству в целом присущи те же недостатки.

В JP 2006235745, А61В 3/113, 2006-09-07 описано средство коммуникации, включающее камеру, инфракрасную подсветку, ключ, выделяющий потоки цветовой и инфракрасной информации, блок распознавания, блоки запоминания цветовой и инфракрасной информации, блок выделения образа зрачка оператора из инфракрасной информации и средство создания комплексного образа из выделенного образа зрачка и цветовой информации.

В JP 2004329879, А61В 3/11, 2004-11-25 описан аппарат для изучения глаза, содержащий камеру, дисплей, процессор, который из всего объема видеоданных выделяет информацию о форме зрачка и его движении, и блок сравнения. В данном устройстве на дисплей поступает ограниченный объем информации, однако от камеры в процессор поступает вся информация, так что выделение информации о форме и положении зрачка не направлено на сокращение объема данных, передаваемых в процессор или обрабатываемых процессором.

Наиболее близкой к предложенной является специализированная видеокамера, предназначенная для мониторинга состояния оператора и содержащая камеру (преобразователь видимого света или инфракрасного излучения в видеосигнал), источник подсветки и видеопроцессор (см. ЕР 1700567, А61В 3/113, 2006-09-13). Последний включает блок ввода кадров, цифровой сигнальный процессор, блок запоминания и блок управления. Информация от блока ввода кадров поступает в цифровой сигнальный процессор, который при выявлении ее недостатков через блок управления передает соответствующую команду управления на камеру, корректируя изображение, а в нормальном режиме сопоставляет выделенные образы (точнее их параметры) с хранящимися в блоке запоминания и выдает соответствующий выходной сигнал, который может поступать уже в центральный процессор и по которому последний предпринимает действия, направленные на обеспечение безопасности.

Однако и в этом случае мониторинг состояния оператора осуществляется на основании обработки в процессоре всего массива информации, что отрицательно сказывается на быстродействии и простоте реализации известного устройства.

Таким образом, техническим результатом, ожидаемым от использования изобретения, является повышение быстродействия и упрощение видеосистемы за счет сокращения передаваемого объема видеоданных, обрабатываемых внешним видеопроцессором. Еще одним результатом является возможность имеющимися средствами контролировать тремор и саккадические движения глаз оператора, являющиеся высокочастотными и весьма информативными параметрами его состояния.

Указанный результат достигается тем, что известная специализированная видеокамера, содержащая преобразователь излучения в видеосигнал, выход которого соединен с формирователем кадров, и цифровой сигнальный процессор, снабжена блоком выделения координат зрачка или другого характерного элемента глазного яблока, при этом выход формирователя кадров подключен к входу блока выделения координат зрачка или другого характерного элемента глазного яблока, первый и второй выходы которого соединены с соответствующими входами цифрового сигнального процессора.

Таким образом, существо предложенного технического решения сводится к следующему:

- специализированная видеокамера содержит первичный преобразователь излучения в видеосигнал, т.е. фоточувствительную матрицу;

- на выходе этой фоточувствительной матрицы установлено средство преобразования аналогового сигнала в цифровой вид, выполняющее также покадровую разбивку изображения;

- весь поток цифровой информации не поступает сразу на цифровой сигнальный процессор коррекции изображения, как в известном решении, а подвергается в блоке выделения координат зрачка «прореживанию» и «сжатию», так что на выходы блока выделения координат зрачка поступают «прореженный» и «сжатый» сигналы;

- «прореживание» означает выборку одного из N кадров, например одного из 20 или 50. Т.е. через блок выделения координат зрачка или другого характерного элемента глазного яблока в цифровой сигнальный процессор поступает только каждый двадцатый или пятидесятый кадр, если другие не требуются для нужд общей коррекции изображения, подавления шума и т.п.;

- «сжатие» в данном случае означает выделение информации о положении зрачка (или другого характерного элемента глазного яблока) относительно выбранной системы координат или реперных точек изображения, в том числе, информации о его отсутствии в кадре и преобразования остальной видеоинформации в удобную форму (включая различные виды накопления) с выдачей на пониженной частоте;

- в результате объем информации, с которой оперирует цифровой сигнальный процессор коррекции изображения, практически снижается почти в N раз;

- на выходе системы присутствует прореженный (например, до 60 fps) видеоряд в выбранном формате, сопровождающийся цифровой информацией о положении и, например, параметрах зрачка с временным разрешением, соответствующим изначальной высокой частоте кадров (например, 2000 fps).

На чертеже представлена блок-схема видеокамеры, которая содержит преобразователь 1 излучения в видеосигнал, формирователь кадров 2, причем с выхода преобразователя 1 видеосигнал поступает на вход формирователя кадров 2. Последний преобразует видеосигнал в кодовые последовательности, которые с выхода формирователя кадров 2 поступают на вход блока 3 выделения координат зрачка (или другого характерного элемента глазного яблока), который состоит из формирователя кодов 4 и блока распознавания 5.

Вход формирователя кодов 4 соединен с выходом формирователя кадров 2 и входом блока распознавания 5. Формирователь кодов 4 «прореживает» информационный поток, передавая на выход один из N кадров, например, в формате Ethernet 100 Mb. Реализовать это можно аппаратными или программными средствами путем подсчета числа входных кадров и пропускания на выход каждого N-ного. Выход формирователя кодов 4 образует первый выход блока 3 выделения координат зрачка (в дальнейшем, для простоты опустим упоминание о возможности контролировать любой другой характерный элемент).

Блок распознавания 5 анализирует изображение (каждый кадр) и по одному или нескольким признакам (к которым можно отнести форму и размеры зрачка, градиент яркости и цвета, предшествующие данные о положении зрачка и т.п.) из всего кадра выделяет только координату центра зрачка, поступающую с выхода блока распознавания 5 на второй выход блока 3 выделения координат зрачка.

Цифровой сигнальный процессор 6 обрабатывает медленно изменяющуюся, но полную информацию одного из N кадров, поступающую на его первый вход, и быстроизменяющуюся, но малую по объему информацию о положении и параметрах зрачка оператора, поступающую на его второй вход, обладая, таким образом, всей необходимой информацией. Это позволяет за счет сокращения объема передаваемой и обрабатываемой информации упростить и удешевить цифровой сигнальный процессор 6, повысить его быстродействие и обеспечить более эффективный контроль психофизического состояния оператора.

На выходной шине 7 цифрового сигнального процессора 6 по результатам анализа восстановленных вышеописанным образом изображений и сопоставления их с ранее зафиксированными и хранящимися в цифровом сигнальном процессоре 6 изображениями, характерными для нормального состояния оператора, формируется сигнал, отражающий текущее состояние оператора. Это может быть как сигнал управления, например, для включения аварийного режима в случае отклонения состояния оператора от нормы, так и изображение лица оператора в одном из цифровых форматов для дальнейшего анализа. На втором выходе цифрового сигнального процессора 6 может формироваться сигнал коррекции, поступающий на управляющий вход преобразователя 1 излучения в видеосигнал, по которому режим работы преобразователя 1 корректируется с целью улучшения качества изображения и повышения достоверности распознавания опасных ситуаций.

Таким образом, предлагаемое решение характеризуется тем, что видеообработка производится непосредственно в видеокамере процессором (он образован блоком 3 выделения координат зрачка и цифровым сигнальным процессором 6), напрямую связанным с видео-АЦП, принимающим сигналы с фоточувствительной матрицы (формирователем кадров 2). Причем обработка может производиться как одним, так и несколькими разными алгоритмами (поскольку их погрешность существенно зависит от уровня освещенности, режима фотосенсора и пр.). В то же время, процессор может оказывать влияние или непосредственно управлять режимами матрицы (фотосенсора), оптимизируя их под условия съемки и алгоритм. При этом на цифровой выход камеры (шина 7 или выходы блока 3) выдается как вычисленная координата глаза (центр зрачка) в привязке к координатным осям матрицы (преобразователя 1) видеокамеры в темпе реальной съемки (например, 2000 fps) - что составляет очень небольшой цифровой поток (например, менее 0,2 Мбод), так и, для других нужд, - прореженный видеопоток (например - 60 fps), что также составляет приемлемую величину. Если режимы преобразователя 1 (фоточувствительной матрицы), оптимальные для минимизации погрешности определения координаты глаза, входят в противоречие с обеспечением приемлемого качества обычной видеокартинки и простых методов обработки (изменения контраста, яркости и т.п. недостаточно для компенсации), цифровой сигнальный процессор 6 специально для нужд прореженного видеопотока может изменять режимы съемки отдельных кадров (прореженного кадра, в приведенном примере 3 кадра из 100), учитывая возникающую при этом дополнительную погрешность вычисления координаты в этих кадрах (для конкретного алгоритма) или даже получая ее интерполяцией из значений соседних кадров.

Как упоминалось выше, информация может сниматься и с выхода формирователя кодов 4 и блока распознавания 5. Прореженная «картинка» может использоваться для дополнительного анализа, а координаты зрачка, например, для управления позиционным механизмом (на базе шагового двигателя, пьезо/магнитострикционного механизма и т.п.) для отслеживания положения. При этом движение позиционера учитывается в выдаваемых данных координаты. Таким образом, получаем гибкое средство трекинга глаз с одновременным решением технологических и иных задач системы, легко совместимое со стандартными компьютерными интерфейсами.

Могут использоваться следующие алгоритмы, используемые для определения координаты центра зрачка, или другого характерного элемента глаза:

- корреляционная обработка фрагментов изображения соседних кадров, дающая вектор перемещения от начальных координат;

- определение «центра тяжести» фигуры (точка пересечения двух прямых, проведенных, например, методом наименьших квадратов через середины отрезков разбиения объекта, выделенного по яркости или цвету, по строкам и столбцам пикселей матрицы);

- для зрачка, например, определение параметров полуосей наилучшего вписанного или описанного в объект, определенный по яркости эллипса и т.п.

В предложенной видеокамере для дифференциального измерения и выделения движения непосредственно глаза (зрачка) из других (движения головы, торса и т.п. относительно камеры) может использоваться метод блика (светлое пятно от светодиода, например, или любого другого контрастного объекта, отражающегося на поверхности глазного яблока).

Изложенное позволяет заключить, что основным отличием предложенного устройства является выделение и обработка каким-то (пусть уже встроенным до этого в камеру для других целей, например, повышения качества изображения) процессором специальной информации - координаты зрачка оператора. При этом, с одной стороны, мы получаем выгоды за счет того, что убираем мощный цифровой поток первичных данных (высокочастотных кадров), присутствующий во всех скоростных системах трекинга глаз, выполненных пусть на специализированных, но не обладающих предлагаемой нами функцией камерах, с другой - имеем некоторые особенности настроек, если оптимизация (например, по выдержке или контрастности) по трекингу зрачка не является таковой для съемки прочей видеосцены, данные по которой нам нужны в виде обычных кадров, но со значительно меньшей, стандартной частотой (30 fps, 50 fps и т.п.), а цифровой коррекцией изображения обойтись нельзя. Тогда режимы работы сенсора могут периодически изменяться для более качественной обработки видеосцены, а зашумленные или заведомо недостоверные данные, например координаты, восстанавливаться методом интерполяции. Это придает всей видеосистеме требуемую гибкость для работы в широком диапазоне освещенности и параллельного решения нескольких задач видеообработки.

Литература:

1. С.П.Марпл-мл. Цифровой спектральный анализ и его приложения, - М.: «Мир», 1990 г.

2. Применение цифровой обработки сигналов, под ред. Э.Оппенгейма - М.: «Мир», 1980 г.

3. S.K.Mitra, Digital Signal Processing: A Computer-Based Approach, New York, NY: McGraw-Hill, 1998.

Изобретение относится к медицинской технике и предназначено для обеспечения технической безопасности, может быть использовано для определения психофизического состояния оператора, в системах обучения и тестирования, в медицинской диагностике, физиологических экспериментах. Видеокамера для измерения и выделения движения глаза содержит преобразователь 1 излучения в видеосигнал, выход которого соединен с формирователем кадров 2, и цифровой сигнальный процессор 6. Видеокамера дополнительно снабжена блоком выделения координат зрачка или другого характерного элемента глазного яблока 3. При этом выход формирователя кадров 2 подключен к входу блока выделения координат зрачка или другого характерного элемента глазного яблока 3, первый и второй выходы которого соединены с соответствующими входами цифрового сигнального процессора 6. Весь поток цифровой информации подвергается в блоке выделения координат зрачка 3 сжатию путем выборки одного из N кадров и выделения информации о положении зрачка в каждом из N кадров. Существенно снижается объем информации, которой оперирует цифровой сигнальный процессор коррекции изображения, в результате чего повышается быстродействие видеосистемы. 1 ил.

Видеокамера для измерения и выделения движения глаза, содержащая преобразователь излучения в видеосигнал, выход которого соединен с формирователем кадров, и цифровой сигнальный процессор, отличающаяся тем, что она снабжена блоком выделения координат зрачка или другого характерного элемента глазного яблока, при этом выход формирователя кадров подключен к входу блока выделения координат зрачка или другого характерного элемента глазного яблока, первый и второй выходы которого соединены с соответствующими входами цифрового сигнального процессора.