СПОСОБ ПРЕДУПРЕЖДЕНИЯ ЗАСЫПАНИЯ ВОДИТЕЛЯ ТРАНСПОРТНОГО СРЕДСТВА Российский патент 2011 года по МПК B60K28/02 

Изобретение относится к вычислительной технике и может быть использовано для предотвращения засыпания водителя транспортного средства посредством обнаружения признаков усталости и закрытия глаз по изображению его лица.

Одной из причин дорожно-транспортных происшествий является сонливое состояние водителя. Внешними проявлениями засыпания водителя (как процесса незавершенного, так и завершенного - сна) являются:

- снижение частоты морганий глаз;

- снижение частоты движений глаз (смены направления наблюдения) и длительная фиксация взгляда в одном направлении;

- закрывание глаз на длительное время.

Известны способ предупреждения засыпания водителя и реализующая его автомобильная система «Attention Assist» (см. Система Attention Assist http://mb-market.ru/content/view/437/129) [1], интегрированная в автомобили фирмы «Мерседес-Бенц», предназначенная для предупреждения засыпающего водителя на основе распознавания признаков усталости в движениях и реакциях водителя. Если признаки усталости обнаружены, система сигнализирует о необходимости передохнуть. Система постоянно отслеживает движения водителя и на основе полученных данных моделирует типичное лично для него поведение. Далее система создает профиль, учитывающий время суток, длительность поездки без остановок и реакцию водителя. Обработав полученные данные, система оповещает водителя о необходимости сделать перерыв. Система регистрирует и анализирует следующие данные: угол вращения колеса, скорость, ускорение, использование индикаторов и нажатие на педали, а также внешние факторы, такие как ветер или неровное дорожное покрытие. Если система зафиксирует изменение в поведении водителя, она выдает сигнал, уведомляющий водителя, о необходимости отдохнуть. Помимо естественной усталости от нехватки сна устройство идентифицирует монотонность не изменяющихся дорожных условий в длительной поездке и отсутствие другого транспорта на дороге, особенно в темноте, так как именно из-за этих факторов водитель устает и теряет бдительность.

Основными недостатками этой системы является то, что ее функционирование основано на распознавании признаков усталости конкретного водителя, а также сложность ее обучения и адаптации под каждого водителя. Кроме того, данная система не пригодна для использования в автомобилях, используемых более чем одним водителем. Система не может быть также использована в автомобилях других марок, т.к. получает информацию о состоянии водителя от вспомогательных датчиков (положения руля, педали газа и т.д.), которые могут быть несовместимы с другими марками автомобилей. Еще одним недостатком системы является ее высокая сложность, стоимость, ограничивающая ее применение в отечественных автомобилях, и высокая структурная и функциональная избыточность.

Известен способ автоматического обнаружения закрытых глаз на цифровых изображениях произвольной природы со сложным фоном (см. заявку на изобретение РФ 2007107099) [2], заключающийся в выполнении следующих операций: производят обнаружение лица/лиц на цифровом изображении; для каждого обнаруженного лица производят локализацию глаз; осуществляют выделение особенностей закрытых глаз, объединяющих набор связанных пикселей, характерных для данного дефекта; анализируют два типа характерных особенностей, а именно: горизонтальные и вертикальные особенности; выделенные характерные особенности представляют в виде кривых, аппроксимируемых параболами на основе метода наименьших квадратов; делают заключение о присутствии либо отсутствии закрытых глаз на цифровом изображении на основании данных о направлениях выпуклостей парабол, аппроксимирующих эти особенности.

Недостатком способа является значительная вычислительная сложность, затрудняющая его реализацию во встроенных бортовых вычислительных средствах автомобиля, не обладающих достаточной вычислительной мощностью; увеличение времени получения сигнала о засыпании из-за относительно длительного процесса обнаружения глаз.

Известен способ опознавания по радужной оболочке глаза (см. патент РФ 2331107) [3], содержащий этапы получения изображения, по меньшей мере, одного глаза человека в инфракрасном спектре и обработки полученного изображения для определения идентификационных признаков на основе радужной оболочки, ограниченной наружной границей на глазе, при этом способ содержит следующие этапы: получение изображения глаза в видимом спектре почти одновременно с получением его изображения в инфракрасном спектре; определение наружной границы радужной оболочки на основе изображения, выполненного в видимом спектре, перед обработкой изображения, полученного в инфракрасном спектре.

Недостаток способа заключается в сложности реализации (из-за ресурсоемкости способа) во встроенных вычислительных средствах операции анализа радужной оболочки. Другими недостатками является отсутствие возможности отслеживания движений глаз и невозможность обнаружения рассмотренным способом закрытых глаз, что принципиально необходимо для системы предупреждения дорожно-транспортного происшествия.

Известен способ определения позиции глаза и устройство для его реализации (см. патент США №7,130,453) [4], заключающийся в получении изображения лица в ближнем инфракрасном свете, предобработке изображения и повышении контраста склеры и радужной оболочки на основе построения гистограммы яркости и последующем определении расчетного соотношения для коррекции яркости по гистограмме, определении соответствия градиентного изображения и шаблона глаза.

Недостатком способа является возможность обнаружения только открытых глаз и невозможность анализа движений глаз в динамике.

Известен способ безопасного определения глаз (см. патент США №7,430,365) [5], включающий оценку расстояния до глаза, итерационное изменение мощности излучения в зависимости от глаза, детектирование глаз.

Недостатком способа является необходимость многократной оценки расстояния до глаза и обнаружения глаза, что увеличивает суммарное время выполнения способа и не обеспечивает своевременного обнаружения глаз.

Известен способ обнаружения глаз людей и животных (см. патент РФ №2223516) [6]. В способе осуществляют облучение лоцируемого объема пространства импульсным сканирующим излучением в диапазоне 450-760 нм электромагнитного спектра, прием отраженного сканирующего излучения, по крайней мере, два измерения энергии излучения, отраженного от лоцируемого объема пространства, каждое в диапазонах длин волн 450-500 нм и 500-570 нм - q_b1, q_g1 и q_b2, q_g1 соответственно, а определение наличия людей и животных в лоцируемом объеме пространства осуществляют по присутствию родопсина посредством сравнения отношений k₁=q_b1/q_g1 и k₂=q_b2/q_g2 между собой - при k₂≠k₁ родопсин присутствует, при k₂=k₁ родопсин отсутствует. Облучение лоцируемого объема пространства сканирующим излучением видимого электромагнитного диапазона длин волн должны осуществлять на минимально возможном расстоянии от оптической оси приема отраженного излучения, обеспечивающим возможность максимального усиления эффекта "красный глаз". Облучение лоцируемого объема пространства импульсным сканирующим излучением могут осуществлять посредством цветной цифровой фотокамеры, при этом фотографирование цветной цифровой фотокамерой за время экспозиции фотовспышкой осуществляют, по крайней мере, два фотоснимка в диапазоне 450-570 нм и 520-760 нм.

Недостатками способа являются:

- получение не менее двух кадров за время действия фотовспышки, что не всегда возможно вследствие недостаточно высокого быстродействия используемого оптико-электронного датчика (например, для изображений большого размера) и малого времени действия вспышки;

- расположение источника излучения на близком расстоянии от оптической оси приема отраженного излучения не возможно для системы предупреждения засыпания водителя;

- использование вспышки совершенно неприемлемо по причине создания визуальной помехи водителю.

Наиболее близким к предлагаемому является способ обнаружения закрытых глаз в системе предупреждения засыпания водителя (см. патент США №6,130,617) [7], заключающийся в получении изображения лица с ПЗС-камеры, выделении пар областей, предположительно содержащих изображения глаз, обнаружении областей глаз и носа по наименьшему составленному ими равнобедренному треугольнику.

Недостатком способа является отсутствие возможности анализа движений глаз, отсутствие измерения параметров движений и морганий.

Задачей, которую призвано решить заявляемое изобретение, является разработка способа предупреждения засыпания водителя транспортного средства, отличающегося от известных:

- возможностью применения в транспортном средстве любого типа,

- низкой вычислительной сложностью, достаточной для реализации на низкобюджетных вычислительных модулях,

- простотой практической реализации,

- возможностью анализа как признаков процесса засыпания и усталости водителя, так и факта его засыпания,

- инвариантностью к изменениям внешнего освещения.

Технический результат достигается за счет того, что в известный способ [7] обнаружения закрытых глаз в системе предупреждения засыпания водителя, включающий получение изображения лица, обнаружение областей, предположительно содержащих глаза, обнаружении областей глаз, введены операции по формированию эталона зрачка текущего водителя на основе общего для любого человека описания, периодическое освещение лица водителя инфракрасным светом, обнаружение области изображения, содержащей лицо, определение границ области движения зрачка, определение частоты и направлений движения глаз, определение частоты морганий, определение длительности периода времени, в течение которого глаза закрыты, сравнение параметров, характеризующих состояние водителя, с эталонными для состояния засыпания и состояния сна, принятие решения о необходимости сигнализации о засыпании водителя.

Изобретение может быть использовано для повышения безопасности управления транспортным средством посредством своевременного предотвращения засыпания водителя и соответствует критерию «промышленная применимость».

Сущность изобретения поясняется чертежом, где показан алгоритм реализации способа.

Последовательность операций в способе предупреждения засыпания водителя следующая:

- получение изображения лица,

- формирование эталона зрачка текущего водителя на основе общего для любого человека описания,

- обнаружение области изображения, содержащей лицо,

- обнаружение областей, предположительно содержащих глаза,

- обнаружение областей глаз и определение границ области движения зрачка,

- определение текущих координат зрачков,

- определение частоты, амплитуды и направлений движения глаз,

- определение частоты и длительности морганий,

- определение длительности периода времени, в течение которого глаза закрыты,

- сравнение параметров, характеризующих состояние водителя, с эталонными для состояния засыпания и состояния сна,

- принятие решения о необходимости сигнализации о засыпании водителя.

Рассмотрим способ предупреждения засыпания водителя.

Способ заключается в автоматическом выполнении следующих групп операций (см. алгоритм на фиг.1):

- настройке параметров способа обнаружения глаз текущего водителя (осуществляется однократное распознавание глаз текущего водителя на основе общего описания характеристик глаза с целью последующего использования эталона глаза и зрачка именно текущего водителя; это обеспечивает существенное снижение вычислительной сложности последующей многократно выполняемой процедуры обнаружения глаза, используемой при анализе траектории движения глаз), блоки 1-3 алгоритма на фиг.1,

- анализе текущего состояния глаз (открыты, закрыты, положение зрачков), блоки 4-11 алгоритма,

- оценки состояния водителя и принятие решения о необходимости сигнализации о засыпании водителя, блоки 12-20 алгоритма.

Получение изображения лица осуществляют посредством использования закрепленного напротив лица водителя малогабаритного оптико-элекронного датчика. Оптико-электронный датчик (ОЭД) закрепляют на приборной доске автомобиля или над лобовым стеклом. Для освещения и получения контрастного изображения лица независимо от внешней освещенности используют малогабаритный инфракрасный осветитель, располагаемый аналогично ОЭД напротив лица.

На основе априорной информации об изображении зрачка и глаза (зрачок почти круглый, на его изображении выделяются две области - радужная оболочка и непосредственно сам зрачок, зрачок имеет цвет, отличный от кожи и глазного яблока, сверху и снизу глаза расположены границы нижнего и верхнего века, уголки глаз имеют острый угол) производится распознавание глаза (блок 2 алгоритма, фиг.1). Используемый для формирования эталона метод распознавания позволяет достоверно выделять глаза на изображении (см. Принципы функционирования бинокулярного оптико-электронного устройства для диагностики отклонений глазодвигательного аппарата /В.Н.Гридин, B.C.Титов, М.И.Труфанов // Известия вузов. Приборостроение, - 2008 г., - №2, - С.48-53 [8]; Метод обнаружения глаз на изображении и распознавания их состояния /B.C.Титов, М.И.Труфанов // Вестник ТулГУ. Серия Радиотехника и радиоэлектроника. Т.IX. - Тула: Изд-во ТулГУ, 2007, - С.133-138 [9]).

В результате формируется эталон глаз текущего водителя, представляющий собой набор характеристик (блок 3, фиг.1):

- длина и ширина описанных вокруг каждого глаза прямоугольников;

- диаметр зрачков и радужных оболочек,

- отношение цвета зрачка к цвету радужной оболочки (цвет во всех операциях способа представляется в градациях серого),

- расстояние между глазами.

Далее согласно предлагаемому способу выполняется группа операций, обеспечивающая анализ текущего состояния глаз (открыт/закрыт) и определение координат зрачков для открытых глаз.

Для этого получают изображения лица при выключенном и затем при включенном инфракрасном (ИК) осветителе. Каждый кадр изображения разбивают на небольшие области. По каждой области получают среднее значение яркостей пикселей, ее составляющих. Анализ средних яркостей областей кадров при выключенном и включенном источнике ИК-излучения позволяет обнаружить лицо на основе следующих особенностей. При включенном ИК-излучении кожа лица имеет почти белый цвет, тогда как фон, расположенный дальше от ОЭД, чем лицо, характеризуется существенно меньшей яркостью. Кроме этого для обнаружения лица используют дополнительный признак: при выключенном и включенном ИК-излучении яркость соответствующей коже лица части кадра будет существенно отличаться, а яркость фона за лицом лишь незначительно изменится. Таким образом, совокупность данных признаков позволяет обнаружить лицо водителя простой с вычислительной точки зрения процедурой. Заключительной операцией второй группы операций является обнаружение глаз по наличию зрачков на изображении на основе использования следующих признаков и измерение двумерных координат зрачков:

- при ИК-освещении зрачок остается почти черным на изображении, а остальная часть лица светлой, а также круглой формы зрачка;

- известного (определенного ранее в блоках 1-3 алгоритма, фиг.1) диаметра зрачков,

- расстояния между глазами (также определенного ранее в блоках 1-3 алгоритма).

Для обнаружения глаз, определения их состояния и измерения координат зрачков в случае открытых глаз производят:

1) получение кадра I₁ изображения при отключенном ИК-излучении;

2) оценку средней яркости в областях P_1ij кадра, представляющих собой прямоугольники с размерами сторон, в n раз меньшими, чем соответствующие размеры кадра (длина и ширина).

3) облучение объекта ИК-излучением и получение кадра I₂ изображения при включенном ИК-излучении;

4) оценку средней яркости в указанных выше областях P_2ij кадра при включенном источнике ИК-излучения;

5) выявление факта наличия изменения яркостей областей кадра, такого что: а) яркости областей с левой и правой стороны кадра изменились незначительно; б) яркости центральных областей изменились существенно, причем данные области представляют собой связанную область;

6) принятие решения при выполнении условия 5 о наличии лица в кадре или об отсутствии такового при невыполнении условия 5;

7) анализ кадра I₂. Формирование множества из областей изображения с яркостью, близкой к минимальной для данного кадра изображения, и определение степени округлости (см. Методы цифровой обработки изображений: учебное пособие Ч.1. Гриф УМО / Дегтярев С.В., Садыков С.С., Тевс С.С., Ширабакина Т.А. - Курск: Курск, гос. тех. ун-т, 2001, - 167 с.) [10] для каждой из них;

8) поиск не менее двух круглых областей из сформированного в п.7 множества, имеющих близкие диаметры и площади;

9) определение контраста в соответствующей области P_2i, содержащей круглые области по п.8;

10) принятие решения о нахождении зрачков (и глаз) при наличии не менее двух областей по п.8, имеющих контраст, измеренный в п.9, превышающий заданный порог, и расположенных на расстоянии не менее, чем m*d (где m - константа, d - определенный в п.8 диаметр областей).

Рассмотрим подробнее перечисленные выше операции.

Получение кадра изображения заключается в считывании значений яркостей пикселей с матричного приемника оптико-электронного датчика и занесения данных яркостей в матрицу I, размерность которой определяется размерами кадра изображения (см. Методы компьютерной обработки изображений / Под ред. В.А.Сойфера. - М.: Физматлит, - 2001, - 784 с.) [11]. Формируют два кадра изображения - при отключенном ИК-излучении I₁ и при включенном I₂.

Далее разбивают каждый кадр изображения на n² областей (P_1ij - области первого кадра, P_2ij - области второго кадра, индексы i, j определяют позицию области). Если исходное изображение цветное, то его преобразуют к монохроматическому или дальнейший анализ изображения производят только по красному каналу. По каждой области получают среднее значение яркостей пикселей, ее составляющих.

Анализ средних яркостей областей P_1ij и P_2ij кадров при выключенном и включенном источнике ИК-излучения позволяет обнаружить лицо на основе рассмотренных выше особенностей.

Заключительной операцией является обнаружение зрачков на изображении. Известно (см. [8]), что при ИК-освещении зрачок остается почти черным на изображении, а остальная часть лица светлой. Причем для открытого глаза зрачок будет иметь форму, близкую к окружности (незначительно исказить форму могут ресницы верхнего века). На изображении лица другими темными областями могут оказаться только ноздри. Для селекции зрачков от ноздрей применяют признак, связанный с расстоянием между ними, в разы большим расстояния между ноздрями. Появление других темных пятен на лице маловероятно. Указанные признаки с достаточной для практического применения достоверностью позволяют обнаруживать зрачки и определять их координаты, выявлять факт наличия глаз и их состояние (открыты, закрыты).

Полученные текущие данные о состоянии глаз сохраняются за заданный промежуток времени и используются для оценки состояния водителя и принятия решения о необходимости сигнализации о засыпании водителя (блоки 12-20 алгоритма, фиг.1).

Рассмотрим заключительную третью группу операций предлагаемого способа.

В блоке 12 алгоритма (фиг.1) производится подсчет количества n морганий глаз (как перехода из открытого состояния в закрытое и обратно в открытое за небольшой интервал времени) и определение их средней длительности t.

В блоке 13 алгоритма определяются средние амплитуда α и частота быстрых движений глаз при смене направлений наблюдения при управлении транспортным средством.

В блоке 14 определяется интервал времени T, в течение которого глаза находятся в закрытом состоянии (если текущее их состояние - «закрыты»).

Принятие решения об утомлении водителя и возможном начале засыпания осуществляется:

- по снижению количества морганий n и увеличению их средней длительности t. Проверка данных условий выполняется сравнением величин n, t с априори заданными величинами n_Э, t_Э в блоке 15;

- по снижению средней амплитуды A движений зрачков при смене направлений наблюдения и снижению частоты f смены направлений (движений глаз). Проверка данных условий выполняется в блоке 17 сравнением величин A, f с априори заданными величинами A_Э, f_Э.

При выполнении условий блоков алгоритма 15 и 17 производится формирование предупреждающего звукового сигнала о начале засыпания водителя.

Засыпание как конечное состояние определяется в блоке 19 посредством обнаружения длительного закрытия обоих глаз (закрытия глаз на величину большую, чем эталонную T_Э). В этом случае формируется звуковой сигнал об опасности, не прекращающийся до открытия глаз.

В предлагаемом способе в качестве источника ИК-излучения может быть использован ИК-светодиод. В качестве ОЭД - малогабаритная видеокамера. Операции блоков 4-21 алгоритма характеризуются низкой вычислительной сложностью и могут быть реализованы на низкобюджетных программируемых логических интегральных схемах и микроконтроллере или микроЭВМ. Операция блока 2 (первоначальное распознавание глаз) является вычислительно сложной, однако в отличие от операций 4-21 она может быть выполнена не в реальном времени, что позволяет ее реализовать на указанных выше низкобюджетных вычислительных средствах.

Изобретение позволяет повысить безопасность дорожного движения посредством своевременного обнаружения засыпания и характеризуется возможностью применения в транспортном средстве любого типа, низкой вычислительной сложностью, достаточной для реализации на низкобюджетных вычислительных средствах, простотой практической реализации, возможностью анализа как признаков процесса засыпания и усталости водителя, так и факта его засыпания.

Изобретение относится к технике контроля состояния водителей транспортных средств и касается предотвращения засыпания за рулем. Способ включает получение изображения лица, обнаружение областей, предположительно содержащих глаза, обнаружение областей глаз. Дополнительно осуществляют формирование эталона зрачка текущего водителя на основе общего для любого человека описания, периодическое освещение лица водителя инфракрасным светом, обнаружение области изображения, содержащей лицо, определение границ области движения зрачка, определение частоты и направлений движения глаз, определение частоты морганий, определение длительности периода времени, в течение которого глаза закрыты, сравнение параметров, характеризующих состояние водителя, с эталонными для состояния засыпания и состояния сна. По результатам сравнения принимают решение о необходимости сигнализации о засыпании водителя. Изобретение может быть применено в транспортном средстве любого типа и характеризуется низкой вычислительной сложностью, простотой практической реализации, возможностью анализа как признаков процесса засыпания и усталости водителя, так и факта его засыпания, а также инвариантностью к изменениям внешнего освещения. 1 ил.

Способ предупреждения засыпания водителя транспортного средства, включающий получение изображения лица, обнаружение областей, предположительно содержащих глаза, обнаружение областей глаз, отличающийся тем, что дополнительно осуществляют формирование эталона зрачка текущего водителя на основе общего для любого человека описания, периодическое освещение лица водителя инфракрасным светом, обнаружение области изображения, содержащей лицо, определение границ области движения зрачка, определение частоты и направлений движения глаз, определение частоты морганий, определение длительности периода времени, в течение которого глаза закрыты, сравнение параметров, характеризующих состояние водителя с эталонными для состояния засыпания и состояния сна, принятие решения о необходимости сигнализации о засыпании водителя.