УСТРОЙСТВО ДЛЯ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ ВОДИТЕЛЯ И СПОСОБ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ ВОДИТЕЛЯ Российский патент 2012 года по МПК G03B19/00 

Область техники, к которой относится изобретение

Изобретение относится к устройству для формирования изображения водителя и способу формирования изображения водителя для съемки спереди изображения водителя в транспортном средстве.

Уровень техники

В настоящее время разрабатываются системы, которые снимают изображение водителя транспортного средства и контролируют состояние водителя с использованием снятого изображения. Например, камеру для съемки изображения водителя спереди располагают около рулевого колеса транспортного средства и состояние водителя анализируют с использованием изображения, снимаемого камерой.

В японской публикации заявки на патент № 2004-192345 предлагается, например, устройство для определения состояния водителя, которое определяет, насколько открыты глаза водителя (далее по тексту «степень открытия глаз»), и в каком направлении смотрит водитель (далее по тексту «направление взгляда»), с использованием изображения водителя. Устройство для определения состояния водителя, описанное в данной публикации, измеряет координатные значения глаз водителя по изображению. Затем устройство для определения состояния водителя определяет направление взгляда водителя или степень открытия глаз водителя, чтобы определить, внимателен или дремлет ли водитель.

Однако при съемке спереди изображения водителя в транспортном средстве свет снаружи транспортного средства может создавать тень вокруг глаз водителя, и поэтому данная зона представляется темной и, следовательно, недостаточно контрастной на изображении, т.е. в результате, снимается темное (т.е. недоэкспонированное) изображение. В таком случае степень, до которой открыты глаза водителя, и положение глаз определить невозможно, и, следовательно, определение степени, до которой открыты глаза водителя или направления взгляда водителя является трудной задачей.

Для устранения упомянутого затруднения можно увеличить величину экспозиции (именуемую просто «экспозицией» в настоящем описании) при съемке изображения водителя (например, увеличить время выдержки электронного затвора), чтобы увеличить количество света на затененном участке для предотвращения недоэкспонирования данного участка. Однако когда экспозицию определяют с использованием зоны около глаз водителя, которые находятся в тени, в качестве опорной, то можно снять изображение, в котором зона около глаз является светлой, но контраст на других освещенных участках, например контура лица водителя, теряется (т.е. имеет место переэкспонирование). В результате, невозможно выполнить обработку с использованием изображения данного светлого участка.

Сущность изобретения

Таким образом, настоящее изобретение предлагает устройство для формирования изображения водителя и способ формирования изображения водителя, способные снимать изображение, пригодное для определения состояния водителя, и определять состояние водителя.

Первый аспект изобретения относится к устройству для формирования изображения водителя, которое содержит средство формирования изображения для съемки изображения лица водителя транспортного средства; первое средство обработки изображений для выполнения обработки изображений на широком участке лица водителя на первом изображении, снятом средством формирования изображения, с использованием первого изображения; и второе средство обработки изображений для выполнения обработки изображений на части лица водителя на втором изображении, снятом средством формирования изображения с более высокой экспозицией, чем экспозиция первого изображения, снятого средством формирования изображения, с использованием второго изображения.

В соответствии с данным аспектом, обработку изображений с использованием участков, на которых можно получить подходящий контраст на каждом из множества изображений, снятых с разными экспозициями, можно выполнять так, что можно точно определять состояние водителя. Например, состояние водителя можно точно определять посредством выполнения обработки изображений широкого участка лица водителя, который представляется светлым, с использованием первого изображения (т.е. изображения, снятого со сравнительно низкой экспозицией) и выполнения обработки изображений части лица водителя, которая представляется темной, с использованием второго изображения (т.е. изображения, снятого со сравнительно высокой экспозицией).

В соответствии с вышеописанным аспектом, второе средство обработки изображений может измерять, по меньшей мере, что-то одно из i) степени, до которой открыты глаза водителя, или ii) направления, в котором смотрит водитель, посредством выполнения обработки изображений на участке вокруг глаз водителя на втором изображении.

В соответствии с упомянутой конфигурацией, степень открытия глаз и направление взгляда измеряются посредством выполнения обработки изображений на части лица, например, в зоне вокруг глаз водителя, которая представляется темной, с использованием второго изображения.

В вышеописанной конфигурации, второе средство обработки изображений может измерять, по меньшей мере, что-то одно из i) степени, до которой открыты глаза водителя, или ii) направления, в котором смотрит водитель, посредством выполнения обработки изображений рта, бровей и морщин водителя на втором изображении.

В вышеописанной конфигурации, первое средство обработки изображений может измерять, по меньшей мере, что-то одно из i) направления, по которому направлено лицо водителя, относительно направления вперед от транспортного средства в качестве опорного направления, или ii) положения глаз водителя, посредством выполнения обработки изображений на широком участке лица водителя на первом изображении.

В соответствии с упомянутой конфигурацией, направление, по которому направлено лицо водителя, и положение глаз водителя определяют посредством выполнения обработки изображений широкого участка (например, контура, ноздрей и т.п.) лица водителя, который представляется светлым, с использованием первого изображения. В результате, можно выполнять определение (например, определение, касающееся того, невнимателен ли водитель, на основании направления, по которому направлено лицо водителя) по состоянию широкого участка лица водителя, с использованием изображения, снятого с относительно низкой экспозицией по сравнению с участками, которые представляются светлыми. В результате, состояние водителя можно точно определять по состоянию упомянутого участка.

В вышеописанной конфигурации, первое средство обработки изображений может обнаруживать зону, в которой глаза водителя находятся на первом изображении, посредством выполнения обработки изображений на широком участке лица водителя на первом изображении. Кроме того, второе средство обработки изображений может измерять, по меньшей мере, что-то одно из i) степени, до которой открыты глаза водителя, или ii) направления, в котором смотрит водитель, посредством выполнения обработки изображений на втором изображении в зоне, обнаруженной первым средством обработки изображений.

В соответствии с данной конфигурацией, зону, в которой глаза находятся на изображении, можно обнаруживать с использованием первого изображения, на котором можно получать контраст на широком участке (контуре, ноздрях и т.п.) лица водителя. Поэтому данную зону можно определять точно. Кроме того, степень, до которой открыты глаза водителя, и направление, в котором смотрит водитель, можно измерять посредством выполнения обработки изображений для поиска данной зоны с использованием второго изображения, на котором можно получать контраст на части лица, например, в зоне вокруг глаз водителя. Следовательно, можно уменьшить диапазон поиска при обработке изображений, и можно точно определять состояние глаз водителя.

Вышеописанное устройство для формирования изображения водителя может также содержать средство управления затвором для управления временем выдержки затвора, которое представляет собой период времени, в течение которого принимается свет в то время, как средство формирования изображения снимает изображение. Средство управления затвором может управлять экспозицией, когда средство формирования изображения снимает изображение, посредством установки времени выдержки затвора, когда снимается второе изображение, относительно большим по сравнению с временем выдержки затвора, когда снимается первое изображение.

В соответствии с данной конфигурацией, первое и второе изображения, которые снимаются с разными экспозициями, можно легко получать настройкой времени выдержки затвора средства формирования изображения (например, времени выдержки электронного затвора CCD (например, прибора с зарядовой связью)).

В вышеописанной конфигурации, средство управления затвором может содержать средство коррекции времени выдержки затвора для коррекции времени выдержки затвора, когда снимается первое изображение, соответственно яркости широкого участка на первом изображении, и коррекции времени выдержки затвора, когда снимается второе изображение, соответственно яркости части на втором изображении.

В соответствии с данной конфигурацией, яркость снимаемого объекта можно регулировать соответствующим образом для участка, на котором должна выполняться обработка изображений, посредством коррекции времени выдержки затвора для съемки первого изображения соответственно яркости широкого участка лица водителя и коррекции времени выдержки затвора для получения второго изображения соответственно яркости части лица водителя. Следовательно, всегда возможна обработка с использованием изображения, в котором можно соответственно получить контраст на участке, на котором следует выполнять обработку изображений.

Вышеописанное устройство для формирования изображения водителя может также содержать средство управления апертурой для управления степенью раскрытия апертуры, которая пропускает свет в средство формирования изображения. Средство управления апертурой может управлять экспозицией, когда средство формирования изображения снимает изображение посредством установки степени раскрытия апертуры, когда снимается второе изображение, относительно большой по сравнению со степенью раскрытия апертуры, когда снимается первое изображение.

В вышеописанной конфигурации, средство управления апертурой может содержать средство коррекции степени раскрытия апертуры для коррекции степени раскрытия апертуры, когда снимается первое изображение, соответственно яркости широкого участка на первом изображении, и коррекции степени раскрытия апертуры, когда снимается второе изображение, соответственно яркости части на втором изображении.

Вышеописанное устройство для формирования изображения водителя может также содержать средство управления светочувствительностью для управления светочувствительностью средства формирования изображения. Средство управления светочувствительностью может управлять экспозицией, когда средство формирования изображения снимает изображение посредством установки светочувствительности, когда снимается второе изображение выше, чем светочувствительность, когда снимается первое изображение.

В вышеописанной конфигурации, средство управления светочувствительностью может содержать средство коррекции светочувствительности для коррекции светочувствительности, когда снимается первое изображение, соответственно яркости широкого участка на первом изображении, и коррекции светочувствительности, когда снимается второе изображение, соответственно яркости части на втором изображении.

Вышеописанное устройство для формирования изображения водителя может также содержать средство управления экспозицией для управления экспозицией, когда средство формирования изображения снимает изображения. Средство управления экспозицией может циклически чередовать временной период, в течение которого средство формирования изображения снимает изображение с экспозицией, с которой снимается первое изображение, с временным периодом, в течение которого средство формирования изображения снимает изображение с экспозицией, с которой снимается второе изображение.

В соответствии с данной конфигурацией, первое изображение и второе изображение, которые снимаются в течение близких временных периодов, могут быть получены съемкой первого изображения и второго изображения попеременно циклами и поэтому можно определять состояние водителя, который снят, по существу, в одном и том же положении и состоянии.

В вышеописанной конфигурации, обработка первого изображения первым средством обработки изображений может выполняться в течение временного периода, отдельного от обработки второго изображения вторым средством обработки изображений.

Вышеописанное устройство для формирования изображения водителя может также содержать запоминающее средство для хранения первого изображения и второго изображения. Каждое из первого средства обработки изображений и второго средства обработки изображений может выполнять обработку изображений с использованием комбинации из первого изображения и второго изображения, снятых последовательно и сохраненных в запоминающем средстве.

В вышеописанной конфигурации, положение глаз водителя можно идентифицировать определением положения носа водителя.

Второй аспект изобретения относится к устройству для формирования изображения водителя, которое содержит средство формирования изображения для съемки изображения лица водителя транспортного средства; средство определения направления лица для определения направления, по которому направлено лицо водителя на первом изображении, снятом средством формирования изображения относительно направления вперед от транспортного средства в качестве опорного направления, с использованием первого изображения; и средство измерения информации о глазах для i) определения степени, до которой открыты глаза водителя на втором изображении, которое снимается средством формирования изображения с более высокой экспозицией, чем экспозиция первого изображения, снятого средством формирования изображения, с использованием второго изображения, или ii) определения направления, по которому направлен взгляд водителя на втором изображении, которое снимается средством формирования изображения с более высокой экспозицией, чем экспозиция первого изображения, снятого средством формирования изображения, с использованием второго изображения.

В соответствии с данным аспектом, обработку изображений с использованием участков, на которых можно получить подходящий контраст на каждом из множества изображений, снятых с разными экспозициями, можно выполнять так, что можно точно определять направление, по которому направлено лицо водителя, и степень, до которой открыты глаза водителя.

Третий аспект изобретения относится к способу формирования изображения водителя, который содержит следующие этапы: выполняют обработку изображений на широком участке лица водителя транспортного средства на первом изображении, на котором снято лицо водителя, с использованием первого изображения; и выполняют обработку изображений на части лица водителя на втором изображении, на котором лицо водителя снято с более высокой экспозицией, чем экспозиция первого изображения, с использованием второго изображения.

Четвертый аспект изобретения относится к способу формирования изображения водителя, который содержит следующие этапы: определяют направление, по которому направлено лицо водителя транспортного средства, на первом изображении, на котором снято лицо водителя, относительно направления вперед от транспортного средства в качестве опорного направления, с использованием первого изображения; и определяют степень, до которой открыты глаза водителя, на втором изображении, на котором лицо водителя снято с более высокой экспозицией, чем экспозиция первого изображения, с использованием второго изображения, или определяют направление, в котором смотрит водитель, на втором изображении, на котором лицо водителя снято с более высокой экспозицией, чем экспозиция первого изображения, с использованием второго изображения.

Кроме того, способ формирования изображения водителя в соответствии с изобретением может также обеспечивать такие же эффекты, как вышеописанное устройство для формирования изображения водителя.

Краткое описание чертежей

Вышеописанные и дополнительные цели, признаки и преимущества изобретения станут очевидными из последующего описания предпочтительных вариантов осуществления, приведенного со ссылкой на прилагаемые чертежи, на которых одинаковые числовые позиции служат для обозначения сходных элементов, и на которых:

фиг.1 - блок-схема примерной функциональной конфигурации системы поддержки водителя, которая включает в себя устройство для формирования изображения водителя в соответствии с примерным вариантом осуществления изобретения;

фиг.2 - вид сбоку, схематически представляющий примерную камеру монитора водителя, установленную в транспортном средстве, при наблюдении со стороны водительского сиденья;

фиг.3 - вид спереди, схематически представляющий примерную камеру монитора водителя, установленную в транспортном средстве, при наблюдении со стороны рулевого колеса;

фиг.4 - вид примерного первого изображения водителя, снятого камерой монитора водителя с относительно низкой экспозицией;

фиг.5 - вид примерного второго изображения водителя, снятого камерой монитора водителя с относительно высокой экспозицией;

фиг.6 - вид основных данных, сохраненных в памяти электронного управляющего блока (ECU) монитора водителя; и

фиг.7 - блок-схема последовательности операций, показывающая примерную подпрограмму, исполняемую ECU монитора водителя.

Подробное описание варианта осуществления

Устройство для формирования изображения водителя в соответствии с примерным вариантом осуществления изобретения описано ниже со ссылкой на фиг.1. В этой связи, в данном примерном варианте осуществления, в транспортном средстве оборудована система поддержки водителя, которая содержит устройство для формирования изображения водителя. Например, система поддержки водителя снимает изображение лица водителя, управляющего транспортным средством, определяет состояние водителя (например, направление, в котором обращен лицом водитель, степень открытия глаз, направление взгляда и т.п.) на основе изображения и управляет транспортным средством в соответствии с результатами определения. Кроме того, система поддержки водителя распознает другие транспортные средства и препятствия вокруг транспортного средства, определяет риск столкновения и управляет транспортным средством в соответствии с результатами определения. В данном случае на фиг.1 представлена блок-схема примерной функциональной конфигурации системы поддержки водителя, которая включает в себя устройство для формирования изображения водителя.

Как показано на фиг.1, система поддержки водителя содержит камеру 1 монитора водителя, ECU (электронный управляющий блок) 2 монитора водителя, ECU 3 системы поддержки водителя, радар 4 миллиметрового диапазона, измеритель 5, ECU 6 управления тормозами, предупредительный зуммер 61 и тормозной привод 62. ECU 2 монитора водителя, ECU 3 системы поддержки водителя и радар 4 миллиметрового диапазона соединены между собой по CAN (локальной сети контролера) 10 и т.п. Кроме того, ECU 3 системы поддержки водителя, измеритель 5 и ECU 6 управления тормозами соединены между собой по CAN 20 и т.п.

Камера 1 монитора водителя содержит CCD (прибор с зарядовой связью) 11 и LED (светоизлучающий диод) 12, каждый из которых работает с использованием питания от ECU 2 монитора водителя. Например, LED 12 излучает ближний инфракрасный свет в сторону водителя с передней стороны от водителя. В данном случае CCD 11 является устройством формирования изображения, которое обладает высокой чувствительностью в ближнем инфракрасном диапазоне и обычно представляет собой CCD-камеру ближнего инфракрасного диапазона. Таким образом, благодаря применению CCD 11, который обладает высокой чувствительностью в ближнем инфракрасном диапазоне, изображение водителя, который подсвечивается посредством LED 12, можно снимать с высокой чувствительностью, даже когда внутри транспортного средства темно во время вождения ночью или в туннеле, или в подобных ситуациях. В данном случае CCD 11 установлен в положении, в котором упомянутый прибор может снимать изображение лица водителя спереди. CCD 11 снимает изображение лица водителя и зоны вокруг него с предварительно заданной цикличностью и выводит снимаемое изображение в ECU 2 монитора водителя. В частности, CCD 11 поочередно снимает два изображения (т.е. первое изображение P1 и второе изображение P2) с разными экспозициями в соответствии с командами из ECU 2 монитора водителя с предварительно заданной цикличностью и выводит два снятых изображения в ECU 2 монитора водителя. Положение, в котором установлена камера 1 монитора водителя в данном случае, подробно описано в дальнейшем.

ECU 2 монитора водителя представляет собой блок обработки, который содержит множество устройств для обработки информации, например микрокомпьютеров, память, которая хранит информацию различных типов, используемую для обработки, схему источника питания для подачи мощности в камеру 1 монитора водителя, схему интерфейса и т.п. Например, ECU 2 монитора водителя использует изображение, снятое камерой 1 монитора водителя, для определения направления, в котором обращен лицом водитель, степень, до которой открыты глаза водителя, и направление взгляда. ECU 2 монитора водителя выводит результаты измерения в ECU 3 системы поддержки водителя. Кроме того, ECU 2 монитора водителя регулирует экспозицию изображения, снимаемого посредством CCD 11, с использованием двух изображений, которые поочередно снимаются с предварительно заданной цикличностью.

Радар 4 миллиметрового диапазона излучает миллиметровые волны в переднем направлении от транспортного средства, в заднем направлении от транспортного средства или в диагональном переднем направлении от транспортного средства, или подобным образом и принимает радиоволны, отраженные от объекта. Затем радар 4 миллиметрового диапазона измеряет положение препятствия или другого транспортного средства поблизости от транспортного средства, а также скорость транспортного средства относительно другого транспортного средства или препятствия и выводит результаты в ECU 3 системы поддержки водителя.

ECU 3 системы поддержки водителя соответственно регулирует характеристики устройства защиты пассажира в транспортном средстве, включает в работу систему предотвращения/смягчения столкновений и выдает соответствующее предупреждение водителю, исходя из информации, зависящей от направления, в котором обращен лицом водитель, степени, до которой открыты глаза водителя, направления, в котором смотрит водитель, и т.п., а также из результатов распознавания, касающихся транспортного средства или препятствия поблизости от транспортного средства, которые выдаются из радара 4 миллиметрового диапазона. Измеритель 5 и ECU 6 управления тормозами на фиг.1 являются примерами устройств, управляемых ECU 3 системы поддержки водителя.

Измеритель 5 оборудован вблизи водительского сиденья в транспортном средстве, в положении, допускающем наблюдение водителем, который управляет транспортным средством. Например, измеритель 5 обеспечен на приборном щитке перед водителем и отображает предупреждение для водителя в соответствии с командой из ECU 3 системы поддержки водителя. Например, если определением установлено, что водитель смотрит не вперед, закрывает свои глаза или невнимателен настолько, что существует риск столкновения транспортного средства с другим объектом, то ECU 3 системы поддержки водителя немедленно высвечивает изображение на измерителе 5, побуждающее водителя предпринять действие, чтобы избежать столкновения (т.е. выдает заблаговременное предупреждение). Измеритель 5 обычно сформирован при помощи комбинированного дисплея или чего-то подобного, в котором на одной панели сочетаются несколько основных измерительных устройств, световых индикаторов, предупредительных световых индикаторов и несколько информационных дисплеев, которые отображают различную информацию, и т.п. В данном случае измеритель 5 может быть также сформирован при помощи другого дисплейного устройства, например приборной панели на лобовом стекле, в которой обеспечено полуотражательное зеркало (отражающее стекло) на участке переднего лобового стекла перед водительским сиденьем, и на полуотражательном зеркале отображается виртуальное изображение информации или чего-то подобного во флуоресцентном свете.

ECU 6 управления тормозами управляет работой предупредительного зуммера 61 и тормозного привода 62, обеспеченных в транспортном средстве. Например, если ECU 3 системы поддержки водителя определяет, что водитель не смотрит вперед, закрывает свои глаза или невнимателен настолько, что существует риск столкновения транспортного средства с другим объектом, то ECU 6 управления тормозами немедленно включает предупредительный зуммер 61, чтобы заставить водителя выполнить действие по исключению столкновения (т.е. выдает заблаговременное предупреждение). В результате, водитель может своевременно выполнить действие по исключению столкновения благодаря, например, повышению внимательности. Кроме того, ECU 6 управления тормозами управляет работой тормозного привода 62 для поддержки повышения давления в тормозной системе в соответствии с усилием, с которым водитель нажимает на педаль тормоза (т.е. выполняет предупредительное торможение). В результате, чувствительность к давлению в гидросистеме тормозного привода 62 повышается таким образом, что можно уменьшить скорость транспортного средства.

Далее приведено описание камеры 3 монитора водителя со ссылкой на фиг.2 и 3. В данном случае, на фиг.2 представлен вид сбоку, схематически представляющий примерную камеру 1 монитора водителя, установленную в транспортном средстве, при наблюдении со стороны водительского сиденья. На фиг.3 представлен вид спереди, схематически представляющий примерную камеру 1 монитора водителя, установленную в транспортном средстве, при наблюдении со стороны рулевого колеса 91.

Как показано на фиг.2 и 3, камера 1 монитора водителя установлена на рулевой колонке 92. CCD 11 камеры 1 монитора водителя регулирует направление формирования изображения так, чтобы изображение можно было снимать с лица водителя, который управляет рулевым колесом 91, спереди от водителя через проем в рулевом колесе 91 (например, проем, в котором отсутствуют спицы 912 или что-то подобное внутри обода 911. В данном случае, как показано на фиг.2, участок зоны наблюдения, представляющий поле обзора CCD 11 (участок сектора обзора камеры), показан пунктирной линией. Направление формирования изображения посредством CCD 11, регулируется так, чтобы голова водителя находилась внутри зоны наблюдения. В данном случае, в камере 1 монитора водителя обеспечен LED 12, как описано выше. LED 12 излучает ближний инфракрасный свет в сторону водителя с передней стороны от водителя в том же направлении, что и направление формирования изображения. В данном случае LED 12 излучает упомянутый ближний инфракрасный свет, по меньшей мере, по всей зоне, которая шире, чем секторы обзора камеры 1 монитора водителя. Как описано выше, камера 1 монитора водителя установлена на рулевой колонке 92 так, чтобы она могла снимать изображение водителя с близкого расстояния спереди от водителя, что позволяет точно снимать изображение лица водителя в транспортном средстве.

Далее, со ссылкой на фиг.4 и 5, описаны первое изображение P1 и второе изображение P2, снимаемые камерой 1 монитора водителя. В данном случае, на фиг.4 приведен вид примерного первого изображения водителя, снятого камерой 1 монитора водителя с относительно низкой экспозицией (т.е. с относительно малой величиной экспозиции), и на фиг.5 представлен вид примерного второго изображения водителя, снятого камерой 1 монитора водителя с относительно высокой экспозицией (т.е. с относительно большой величиной экспозиции).

Как видно из фиг.4, когда камера 1 монитора водителя снимает изображение водителя, изображение, как правило, снимается с экспозицией, которая соответствует яркости всего лица водителя (изображение, получаемое в это время, обозначают как первое изображение P1). Следовательно, на первом изображении P1, свет, например, снаружи транспортного средства может создавать тень вокруг глаз водителя и тем самым приводит к тому, что данная зона представляется темной и, следовательно, неконтрастной (вследствие недоэкспонирования) на изображении, как показано заштрихованной зоной на фиг.4. В частности, когда на лице имеется много линий и кривых, данные линии и кривые создают тени, которые часто представляются темными участками на изображении. Однако на первом изображении P1, можно получить контраст на светлых участках всего лица водителя и поэтому данное первое изображение P1 пригодно для обнаружения широких участков, например контура и положения ноздрей и т.п. на лице водителя.

Как видно из фиг.5, когда камера 1 монитора водителя снимает изображение водителя с относительно высокой экспозицией (например, когда время выдержки электронного затвора является большим), вышеописанные темные участки делаются более светлыми (изображение, полученное в это время, обозначается как второе изображение P2). Следовательно, на втором изображении P2 можно получить контраст на участках, которые представлялись бы темными при обычно экспозиции, и поэтому данное второе изображение P2 пригодно для обработки изображений частей лица, например глаз водителя. Однако второе изображение P2 может потерять контраст (вследствие переэкспонирования) в светлых частях всего лица водителя (как показано пунктирными линиями на фиг.5).

Устройство для формирования изображения водителя в соответствии с данным примерным вариантом осуществления выполняет обработку изображений на широких участках лица водителя (например, контура лица и положении ноздрей) с использованием изображения, снятого с относительно низкой экспозицией, т.е. первого изображения P1. Устройство для формирования изображения водителя выполняет также обработку изображений на частях лица водителя (например, глазах), с использованием изображения, снятого с относительно высокой экспозицией, т.е. второго изображения P2.

Далее, со ссылкой на фиг.6 и 7, приведено описание примерных основных данных, применяемых при обработке изображений водителя и во время работы ECU 2 монитора водителя. В данном случае на фиг.6 представлен пример основных данных, хранимых в памяти ECU 2 монитора водителя, и на фиг.7 представлена блок-схема последовательности операций, показывающая примерную подпрограмму, исполняемую ECU 2 монитора водителя. Кроме того, этапы блок-схемы последовательности операций, показанной на фиг.7, выполняются ECU 2 монитора водителя, исполняющего предварительно заданную программу. Программа для исполнения данных этапов заранее сохраняется в области запоминания данных (например, память, на жесткий диск, оптический диск или что-то подобное), обеспеченную в ECU 2 монитора водителя, и исполняется ECU 2 монитора водителя, когда, например, включен источник питания монитора 2 водителя.

На фиг.6 данные Da первого изображения, данные Db второго изображения, первые данные Dc электронного затвора, вторые данные Dd электронного затвора, данные De обнаружения направления лица, данные Df положения глаз и данные Dg обнаружения степени открытия глаз/взгляда и т.п. сохраняются в памяти ECU 2 монитора водителя.

Данные Da первого изображения являются сохраненными данными, которые характеризуют изображение, снятое со сравнительно низкой экспозицией камерой 1 монитора водителя, т.е. первое изображение P1, и обновляются с предварительно заданной цикличностью обработки. Данные Db второго изображения являются сохраненными данными, которые характеризуют изображение, снятое со сравнительно высокой экспозицией камерой 1 монитора водителя, т.е. второе изображение P2, и обновляются с предварительно заданной цикличностью обработки. В данном случае, как поясняется в дальнейшем, разновременность между временным периодом, в течение которого снимается первое изображение P1, подлежащее сохранению в виде данных Da первого изображения, и временным периодом, в течение которого снимается второе изображение P2, подлежащее сохранению в виде данных Db, равна очень короткому временному интервалу (т.е. интервалу между циклами формирования изображения камеры 1 монитора водителя, например, 1/30 или 1/60 секунды).

Первые данные Dc электронного затвора являются сохраненными данными, которые характеризуют время выдержки электронного затвора (т.е. время сбора света), когда камера 1 монитора водителя снимает первое изображение P1. Вторые данные Dd электронного затвора являются сохраненными данными, которые характеризуют время выдержки электронного затвора, когда камера 1 монитора водителя снимает второе изображение P2.

Данные De обнаружения направления лица являются сохраненными данными, которые характеризуют угол α лица, который означает угол, под которым лицо водителя повернуто влево или вправо относительно направления вперед. Данные Df положения глаз являются сохраненными данными, которые характеризуют положение и размер области поиска левого глаза и области поиска правого глаза, установленных для первого изображения P1. Данные Dg обнаружения степени открытия глаз/взгляда являются сохраненными данными, которые характеризуют степень, до которой открыты глаза водителя, а также направление, в котором смотри водитель.

Ниже, со ссылкой на фиг.7, описана предварительно заданная программа, исполняемая ECU 2 монитором водителя. Сначала ECU 2 монитор водителя выполняет инициализацию на этапе S51 и затем переходит на следующий этап. В частности, на этапе S51, ECU 2 монитора водителя инициализирует параметры, данные изображений и т.п., хранимое в памяти. Например, ECU 2 монитора водителя устанавливает время выдержки электронного затвора при съемке первого изображения P1 и время выдержки электронного затвора при съемке второго изображения P2 равным предварительно заданным временам по умолчанию, и сохраняет первое изображение P1 и первые данные Dc электронного затвора и второе изображение P2 и вторые данные Dd электронного затвора, с использованием данных времен.

Затем, на этапе S52, ECU 2 монитора водителя получает первое изображение P1 из камеры 1 монитора водителя и обновляет данные Da первого изображения, после чего переходит на следующий этап. Например, ECU 2 монитора водителя получает время выдержки электронного затвора для первого изображения P1 на основе первых данных Dc электронного затвора и управляет работой камеры 1 монитора водителя для съемки изображения с данным временем выдержки электронного затвора. Затем ECU 2 монитора водителя получает данные, характеризующие первое изображение P1, снятое с временем выдержки электронного затвора для первого изображения P1, из камеры 1 монитора водителя и обновляет данные Da первого изображения.

Затем, на этапе S53, ECU 2 монитора водителя получает второе изображение P2 из камеры 1 монитора водителя и обновляет данные Da второго изображения, после чего переходит на следующий этап. Например, ECU 2 монитора водителя получает время выдержки электронного затвора для второго изображения P2 на основе вторых данных Dd электронного затвора и управляет работой камеры 1 монитора водителя для съемки изображения с данным временем выдержки электронного затвора. Затем ECU 2 монитора водителя получает данные, характеризующие второе изображение P2, снятое с временем выдержки электронного затвора для второго изображения P2, из камеры 1 монитора водителя и обновляет данные Db второго изображения.

В данном случае интервал обработки между этапами S52 и S53 предпочтительно является как можно более кратким. Например, когда цикл формирования изображения камеры 1 монитора водителя составляет 30 или 60 кадров в секунду, интервал обработки между этапами S52 и S53 может быть 1/30 или 1/60 секунды для согласования с циклом формирования изображения. В результате, разность между временным периодом, в течение которого снимается первое изображение P1, подлежащее сохранению в форме данных Da первого изображения, и временным периодом, в течение которого снимается второе изображение P2, подлежащее сохранению в форме данных Db второго изображения, может быть очень коротким.

Затем, на этапе S54, ECU 2 монитора водителя использует первое изображение P1, чтобы выполнить обработку для обнаружения направления лица и тем самым измерить, насколько лицо водителя повернуто влево или вправо относительно направления вперед, после чего переходит к следующему этапу. Ниже приведен пример данной обработки для обнаружения направления лица, выполняемой на этапе S54.

Например, ECU 2 монитора водителя вычисляет угол α лица, характеризующий величину поворота лица водителя влево или вправо от направления вперед от транспортного средства, на основе первого изображения P1, полученного на вышеописанном этапе S52. В данном случае величина угла α лица равна 0, когда водитель обращен лицом вперед (т.е. в направлении вперед от транспортного средства) относительно камеры 1. Величина угла α лица увеличивается, когда лицо поворачивается от направления вперед относительно камеры 1 монитора водителя дальше вправо, и уменьшается, когда лицо поворачивается от направления вперед относительно камеры 1 монитора водителя дальше влево. То есть величина угла α лица является положительной величиной, когда лицо повернуто вправо относительно камеры 1 монитора водителя, и является отрицательной величиной, когда лицо повернуто влево относительно камеры 1 монитора водителя.

ECU 2 монитора водителя обнаруживает левую и правую кромки контура лица водителя и вертикальную центральную линию лица в изображении P1 путем поиска контура лица, и вертикальную центральную линию, которая является центром при левом-правом направлении лица на первом изображении P1, в соответствии с обработкой по выделению краев, использующей оператор Собеля или подобный. Например, ECU 2 монитора водителя создает яркое изображение первого изображения P1 и применяет обработку по выделению краев к данному яркому изображению, чтобы выделить положения левого и правого краев контура лица и частей лица (например, бровей, глаз, носа и рта). Затем ECU 2 монитора водителя вычисляет ширину лица и вертикальную центральную линию на первом изображении P1 на основе выделенных положений левого и правого краев контура лица и частей лица. Затем ECU 2 монитора водителя вычисляет ширину левой половины лица от левого края контура до вертикальной центральной линии (называемую «левой полушириной лица» в описании), а также ширину правой половины лица от правого края контура до вертикальной центральной линии (называемую «правой полушириной лица» в описании).

Затем ECU 2 монитора водителя вычисляет угол α лица на основании отношения значений левой полуширины лица и правой полуширины лица. Например, когда лицо водителя обращено вперед относительно камеры 1 монитора водителя, правая полуширина лица и левая полуширина лица равны. Однако лицо водителя повернуто вправо, левая полуширина лица больше, чем правая полуширина лица. То есть отношение правой полуширины лица и левой полуширины лица изменяется соответственно углу α лица. Следовательно, ECU 2 монитора водителя вычисляет угол α лица по отношению правой полуширины лица и левой полуширины лица. Кроме того, ECU 2 монитора водителя обновляет данные De обнаружения направления лица с использованием данных, характеризующих вычисленный угол α лица.

Таким образом, обработка для обнаружения направления лица, выполняемая на этапе S54, выполняется с использованием первого изображения P1. В данном случае, на вышеописанном первом изображении P1 можно получить контраст на светлых участках всего лица водителя, и поэтому упомянутое первое изображение P1 пригодно для обнаружения положения ноздрей и т.п., а также контура лица водителя. При вышеописанной обработке для обнаружения направления лица, периферические участки лица и вертикальную центральную линию лица на изображении находят посредством обработки по выделению краев и поэтому можно получить точный угол α лица с использованием первого изображения P1.

После того, как обработку для обнаружения направления лица выполняют на этапе S54, ECU 2 монитора водителя выполняет обработку для оценки положения глаз, чтобы оценить, где находится зона, в которой расположены глаза водителя, с использованием первого изображения P1 на этапе S55 и затем переходит к следующему этапу. Ниже приведено описание примера упомянутой обработки для оценки положения глаз, выполняемой на этапе S55.

Сначала ECU 2 монитора водителя устанавливает зону, в которой согласно проведенной оценке будет находиться изображение носа водителя на первом изображении P1, с использованием информации, относящейся к ширине лица водителя, вычисленной на этапе S54 и т.п. Затем ECU 2 монитора водителя выполняет поиск участка носа водителя внутри упомянутой зоны и определяет положение носа на первом изображении P1. В частности, ECU 2 монитора водителя определяет положение обеих ноздрей внутри упомянутой зоны. Затем ECU 2 монитора водителя устанавливает положение в центре между ноздрями в качестве положения носа на первом изображении P1. В данном случае обычно различие по форме ноздрей меньше, чем глаз и т.п., и поэтому положение ноздрей можно измерить точнее, чем положение глаз и т.п.

Затем ECU 2 монитора водителя устанавливает оптимальную область поиска левого глаза и оптимальную область поиска правого глаза, с использованием положения носа в качестве опорного положения, для первого изображения P1. Например, ECU 2 монитора водителя устанавливает для области поиска левого глаза и области поиска правого глаза такие положения на первом изображении P1, которые находятся на предварительно заданном расстоянии в предварительно заданном направлении от положения носа. В данном случае, направление и расстояние, которые устанавливают для областей поиска левого и правого глаз на основании положения носа, можно устанавливать на основании предварительно заданной справочной информации. В данном случае, направление и расстояние, которые устанавливают для областей поиска левого и правого глаз, и размер областей поиска левого и правого глаз также могут изменяться. В результате, даже если размер лица водителя на первом изображении P1 изменяется (т.е. обычно, даже если изменяется расстояние между лицом водителя и камерой 1 монитора водителя), то можно правильно установить положение и размер областей поиска левого и правого глаз, чтобы отслеживать изменение размера лица. Затем ECU 2 монитора водителя обновляет данные Df положения глаз, с использованием данных, характеризующих положение и размер установленных областей поиска левого и правого глаз.

Таким образом, обработка для оценки положения глаз, выполняемая на этапе S55, выполняется с использованием первого изображения P1. В данном случае, в точности как описано выше, на первом изображении P1 можно получить контраст на светлых участках всего лица водителя, и поэтому данное первое изображение P1 пригодно для определения положения ноздрей и т.п. водителя. При обработке для оценки положения глаз положение области поиска левого глаза и области поиска правого глаза устанавливаются с использованием положения ноздрей лица на изображении в качестве опорного положения, и поэтому точную область поиска можно установить с использованием первого изображения P1.

После обработки для оценки положения глаз, выполненной на этапе S55, ECU 2 монитора водителя выполняет обнаружение степени открытия глаз/взгляда, чтобы определить степень, до которой открыты глаза водителя, и направление взгляда на этапе S56, с использованием второго изображения P2, после чего переходит на следующий этап. Ниже приведено описание упомянутого обнаружения степени открытия глаз/взгляда, выполняемого на этапе S56.

Сначала ECU 2 монитора водителя обнаруживает положения левого и правого глаз на втором изображении P2. В данном случае, как описано выше, первое изображение P1 и второе изображение P2 являются изображениями, снятыми одной и той же камерой 1 монитора водителя через очень короткие временные интервалы. То есть, можно предположить, что снятый объект (т.е. лицо водителя) на первом изображении P1 и втором изображении P2, снимался, в общем, в одном и том же состоянии и положении. Кроме того, данные, характеризующие положения и размеры области поиска левого глаза и области поиска правого глаза, установленных на первом изображении P1, сохраняются в виде данных Df положения глаз. Следовательно, ECU 2 монитора водителя применяет положения и размеры области поиска левого глаза и области поиска правого глаза, установленных на первом изображении P1, в их неизменном виде к второму изображению P2 и устанавливает область поиска левого глаза и область поиска правого глаза для второго изображения P2.

Затем ECU 2 монитора водителя производит поиск и обнаруживает левый глаз водителя в пределах области поиска левого глаза, установленной на втором изображении P2, на основе данных Db второго изображения. Кроме того, ECU 2 монитора водителя производит поиск и обнаруживает правый глаз водителя в пределах области поиска правого глаза, установленной на втором изображении P2. Например, глаза могут быть обнаружены в зонах поиска с использованием любого из различных способов сопоставления образов, которые используют заранее установленное эталонное изображение глаз.

Затем ECU 2 монитора водителя вычисляет степень, до которой открыты оба глаза водителя (т.е. степень открытия глаз). Например, ECU 2 монитора водителя выделяет контур верхнего века и контур нижнего века как для левого, так и для правого глаза водителя на втором изображении P2. Верхнее и нижнее веки левого и правого глаза можно определять с использованием любого из различных способов сопоставления образов, которые используют, например, заранее установленное эталонное изображение верхнего и нижнего век. Затем ECU 2 монитора водителя вычисляет расстояние между верхним и нижним веками для каждого глаза в качестве степени раскрытия каждого глаза.

Кроме того, ECU 2 монитора водителя вычисляет направление, в котором смотрит водитель (т.е. направление взгляда). Например, ECU 2 монитора водителя выделяет положение радужных оболочек левого и правого глаз водителя на втором изображении P2. Радужные оболочки левого и правого глаз можно определять с использованием, например, эллиптического фильтра. Обычно формы радужных оболочек часто частично загораживаются веками или вследствие поворота лица и поэтому представляются эллиптическими, а не круглыми, на изображении. Поэтому, для обработки левого и правого глаз водителя на втором изображении P2 применяют множество эллиптических фильтров разных размеров, чтобы получить яркость во внутренней зоне, а также во внешней зоне эллиптического фильтра. Если, при этом, между яркостью внешней зоны и яркостью внутренней зоны существует различие, то внутренняя зона эллиптического фильтра определяется как радужная оболочка и положение радужной оболочки выводится из положения применяемого эллиптического фильтра. В данном случае определение положения радужных оболочек левого и правого глаз не ограничено данным способом. Возможно применение других способов, например любого из различных способов сопоставления образов, которые используют заранее установленное эталонное изображение радужной оболочки, или способ, который выделяет положение темной зоны посредством бинаризации внутренних зон левого и правого глаз.

Затем ECU 2 монитора водителя вычисляет направление взгляда водителя на основе положения радужной оболочки как в левом, так и в правом глазу водителя, и направления α лица, хранящегося в виде данных De обнаружения направления лица. Например, ECU 2 монитора водителя вычисляет, в качестве направления взгляда, угол взгляда водителя относительно направления вперед от транспортного средства. Затем ECU 2 монитора водителя обновляет данные Dg обнаружения степени открытия глаз/взгляда с использованием данных, характеризующих вычисленные степени открытия глаз, и данные, характеризующие направление взгляда.

Таким образом, обработка для обнаружения степени открытия глаз/взгляда, выполняемая на вышеописанном этапе S56, выполняется с использованием второго изображения P2. В данном случае возможно получение контраста на участках, которые будут представляться темными при обычной экспозиции, и поэтому данное второе изображение P2 пригодно для обработки изображений на частях лица, например глазах водителя. При данной обработке для обнаружения степени открытия глаз/взгляда выполняется поиск век и радужных оболочек на изображении и выводятся расстояния между веками, а также положение радужных оболочек и т.п. В результате, можно получить точные параметры с использованием второго изображения P2.

После обработки для обнаружения степени открытия глаз/взгляда, выполненной на этапе S56, ECU 2 монитора водителя выводит результаты обработки в ECU 3 системы поддержки водителя на этапе S57 и затем переходит к следующему этапу. В частности, ECU 2 монитора водителя выводит данные, характеризующие угол α лица, сохраняемые в виде данных De обнаружения направления лица, и данные, характеризующие степень открытия глаз и направление взгляда, сохраняемые в виде данных Dg обнаружения степени открытия глаз/взгляда, в ECU 3 системы поддержки водителя. ECU 3 системы поддержки водителя соответственно регулирует характеристики устройства защиты пассажира, обеспеченного в автомобиле, включает в работу систему предотвращения/смягчения столкновений и выдает соответствующее предупреждение водителю, исходя из данных, принятых из ECU 2 монитора водителя, и результатов распознавания, касающихся транспортного средства или препятствия поблизости от транспортного средства, которые выдаются из радара 4 миллиметрового диапазона.

Затем, на этапе S58, ECU 2 монитора водителя корректирует время выдержки электронного затвора в CCD 11 на основе первого изображения P1 и второго изображения P2 и затем переходит на следующий этап. В частности, ECU 2 монитора водителя корректирует время выдержки электронного затвора для первого изображения P1 на основе первого изображения P1, сохраненного в виде данных Da первого изображения, чтобы яркость всего объекта, снятого на первом изображении P1 (обычно, яркость всего лица водителя на изображении), была подходящей. Затем ECU 2 монитора водителя обновляет первые данные Dc электронного затвора с использованием скорректированного времени выдержки электронного затвора. Кроме того, ECU 2 монитора водителя корректирует время выдержки электронного затвора для второго изображения P2 на основе второго изображения P2, сохраненного в виде данных Db второго изображения, чтобы яркость всего объекта, снятого на втором изображении P2 (обычно, участка вокруг глаз водителя на изображении, например, областей поиска левого и правого глаз), была подходящей. Затем ECU 2 монитора водителя обновляет вторые данные Dd электронного затвора с использованием скорректированного времени выдержки электронного затвора.

Затем ECU 2 монитора водителя определяет на этапе S59, завершится ли подпрограмма. Например, когда водитель транспортного средства выполняет операцию по завершению подпрограммы (например, выключает зажигание), ECU 2 монитора водителя определяет, что подпрограмма завершится. Если подпрограмма должна продолжаться, то ECU 2 монитора водителя возвращается на этап S52 и повторяет процесс. С другой стороны, если подпрограмму следует завершить, то подпрограмма в соответствии с блок-схемой последовательности операций способа завершается.

Таким образом, в устройстве для формирования изображения водителя в соответствии данным примерным вариантом осуществления обработка изображений выполняется с использованием участков, на которых получают подходящий контраст на двух изображениях с разными экспозициями во время формирования изображений, и поэтому можно точно определить состояние водителя. В частности, для широких участков (контура, ноздрей и т.п.) лица водителя, которые обычно представляются светлыми, обработку изображений выполняют с использованием первого изображения P1 (т.е. изображения с относительно низкой экспозицией), тогда как для частей (например, вокруг глаз) лица водителя, которые обычно представляются темными, обработку изображений выполняют с использованием второго изображения P2 (т.е. изображения с относительно высокой экспозицией). То есть вышеописанное устройство для формирования изображения водителя выполняет определение (касающееся невнимательности) на основе направления, по которому направлено лицо водителя, с использованием первого изображения P1 с относительно низкой экспозицией и выполняет определение (касающееся степени, до которой открыты глаза, и направления взгляда) на основе состояния глаз, с использованием второго изображения P2 с относительно высокой экспозицией. В результате можно точно определять состояние водителя.

В данном случае в вышеописанном варианте осуществления описан пример, в котором CCD 11 снимает изображения с разными временами выдержки электронного затвора для получения первого изображения P1 и второго изображения P2 с разными экспозициями. Однако изображения с разными экспозициями можно также получать посредством регулировки других параметров формирования изображения в CCD 11. Например, изображения с разными экспозициями можно также снимать посредством регулировки коэффициента усиления (т.е. чувствительности) CCD 11 для каждого изображения. В альтернативном варианте, изображения с разными экспозициями можно также получать посредством регулировки механической апертуры в камере 1 монитора водителя для каждого изображения.

Кроме того, в вышеприведенном описании, как направление, в котором обращен лицом водитель, так и область поиска глаз определяются с использованием первого изображения P1 с относительно низкой экспозицией. Однако только один из упомянутых параметров нуждается в определении. Кроме того, в вышеприведенном описании как степень открытия глаз, так и направление взгляда водителя определяются с использованием второго изображения P2 с относительно большой экспозицией. Однако только один из упомянутых параметров нуждается в определении.

Кроме того, в вышеприведенном описании определяется состояние глаз водителя с использованием второго изображения P2 с относительно высокой экспозицией. Однако в альтернативном варианте, с использованием второго изображения P2, можно определять состояние другой части лица водителя вместо глаз. Например, с использованием второго изображения P2 можно определять состояние рта, бровей, морщин и т.п. вместо глаз. В настоящем изобретении, в дополнение к обработке изображений с использованием изображения, на котором все лицо обязательно является ярким, точная обработка изображений частей лица возможна также при выполнении обработки изображений с использованием изображения, на котором части лица наверняка являются яркими. Следовательно, можно также использовать изображение, фокусирующее внимание на яркости другой части лица водителя, помимо глаз.

Кроме того, при вышеописанном порядке процессов комбинацию из двух изображений, снимаемых с очень коротким интервалом между ними, получают путем последовательного выполнения этапа для получения первого изображения P1 (т.е. этапа S52) и этапа для получения второго изображения P2 (т.е. этапа S53), затем ожидания, пока не завершится обработка изображений для каждого из упомянутых изображений, и вновь выполнения этапов для последовательного получения первого изображения P1 и второго изображения P2. Следовательно, возможна обработка изображений, при которой предполагается, что положение и состояние объекта, снимаемого на оба изображения, являются по существу одними и теми же. Однако когда эффект данного рода не обязателен, первое изображение P1 и второе изображение P2 можно также снимать с другой цикличностью обработки. Например, данные Da первого изображения и данные Db второго изображения можно обновлять по мере необходимости, с использованием первого изображения P1 и второго изображения P2, снимаемых поочередно в цикле формирования изображения камеры 1 монитора водителя, который не зависит от вышеописанного цикла формирования изображений. В таком случае временной интервал между временным периодом, в течение которого снимается первое изображение P1, используемое на этапах S54 и S55, и временным периодом, в течение которого снимается второе изображение P2, используемое на этапе S56, может быть большим, но при этом существует также такое преимущество, что обработка изображений для каждого изображения может выполняться с применением самого последнего изображения.

Кроме того, в вышеописанном примерном варианте осуществления камера 1 монитора водителя расположена на рулевой колонке 92, однако вместо этого данную камеру можно также расположить в другом положении. То есть камеру 1 монитора водителя можно расположить в любом положении, пока оно дает возможность камере 1 монитора водителя снимать изображение лица водителя в транспортном средстве. Например, камеру 1 монитора водителя можно расположить в приборном щитке перед водителем, на приборном щитке, в рулевом колесе, на верхнем участке внутри кабины транспортного средства или в каком-то подобном месте.

В вышеописанном примерном варианте осуществления при обработке изображений используют первое изображение P1 и второе изображение P2, однако число изображений не ограничено упомянутыми двумя. Эффект данного примерного варианта осуществления можно также получить, когда обработка изображений выполняется по множеству изображений.

Устройство для формирования изображения водителя и способ формирования изображения водителя в соответствии с изобретением способны определять состояние водителя путем съемки изображения, пригодного для определения состояния водителя, и потому пригодны для системы, которая определяет состояние водителя, сидящего, например, в транспортном средстве.

Выше изобретение описано со ссылкой на предпочтительные варианты его осуществления, но следует понимать, что изобретение не ограничено описанными вариантами осуществления или конструкциями. Напротив, предполагается, что изобретение должно охватывать различные модификации и эквивалентные схемы размещения. Кроме того, хотя различные элементы описанного изобретения показаны в различных примерных комбинациях и конфигурациях, другие комбинации и конфигурации, содержащие больше, меньше элементов или всего один, также находятся в пределах объема прилагаемой формулы изобретения.

Изобретение относится к устройству для формирования изображения лица водителя транспортного средства. Первое средство обработки изображений выполняет обработку изображений на широком участке лица водителя на первом изображении с использованием первого изображения, снятого средством (1) формирования изображения. Второе средство обработки изображений выполняет обработку изображений на части лица водителя на втором изображении, снятом средством (1) формирования изображения с более высокой экспозицией, чем экспозиция первого изображения, с использованием второго изображения. Технический результат - обеспечение возможности определения степени, с которой открыты глаза водителя и направление взгляда водителя. 4 н. и 15 з.п. ф-лы, 7 ил.

1. Устройство для формирования изображения водителя, отличающееся тем, что содержит:
средство (1) формирования изображения для съемки изображения лица водителя транспортного средства;
первое средство обработки изображений для выполнения обработки изображений на широком участке лица водителя на первом изображении, снятом средством (1) формирования изображения, с использованием первого изображения; и
второе средство обработки изображений для выполнения обработки изображений на части лица водителя на втором изображении, снятом средством (1) формирования изображения с более высокой экспозицией, чем экспозиция первого изображения, снятого средством (1) формирования изображения, с использованием второго изображения.

2. Устройство для формирования изображения водителя по п.1, в котором второе средство обработки изображений измеряет, по меньшей мере, что-то одно из i) степени, до которой открыты глаза водителя, и ii) направления, в котором смотрит водитель, посредством выполнения обработки изображений на участке вокруг глаз водителя на втором изображении.

3. Устройство для формирования изображения водителя по п.1, в котором второе средство обработки изображений выявляет, по меньшей мере, что-то одно из i) степени, до которой открыты глаза водителя, и ii) направления, в котором смотрит водитель, посредством выполнения обработки изображений рта, бровей и морщин водителя на втором изображении.

4. Устройство для формирования изображения водителя по п.1, в котором первое средство обработки изображений выявляет, по меньшей мере, что-то одно из i) направления, по которому направлено лицо водителя, относительно направления вперед от транспортного средства в качестве опорного направления, и ii) положения глаз водителя, посредством выполнения обработки изображений на широком участке лица водителя на первом изображении.

5. Устройство для формирования изображения водителя по п.2, в котором первое средство обработки изображения выявляет, по меньшей мере, одно из i) направления, по которому направлено лицо водителя, относительно направления вперед от транспортного средства в качестве опорного направления, и ii) положения глаз водителя, посредством выполнения обработки изображений на широком участке лица водителя на первом изображении.

6. Устройство для формирования изображения водителя по п.2, в котором:
первое средство обработки изображений обнаруживает зону, в которой глаза водителя находятся на первом изображении, посредством выполнения обработки изображений на широком участке лица водителя на первом изображении; и
второе средство обработки изображений выявляет, по меньшей мере, что-то одно из i) степени, до которой открыты глаза водителя, и ii) направления, в котором смотрит водитель, посредством выполнения обработки изображений на втором изображении в зоне, обнаруженной первым средством обработки изображений.

7. Устройство для формирования изображения водителя по любому из пп.1-6, дополнительно содержащее средство управления затвором для управления временем выдержки затвора, которое представляет собой период времени, в течение которого принимается свет в то время, как средство (1) формирования изображения снимает изображение,
при этом средство управления затвором управляет экспозицией, когда средство (1) формирования изображения снимает изображение посредством установки времени выдержки затвора, когда снимается второе изображение, относительно большим по сравнению с временем выдержки затвора, когда снимается первое изображение.

8. Устройство для формирования изображения водителя по п.7, в котором средство управления затвором содержит средство коррекции времени выдержки затвора для коррекции времени выдержки затвора, когда снимается первое изображение, соответственно яркости широкого участка на первом изображении, и коррекции времени выдержки затвора, когда снимается второе изображение, соответственно яркости части на втором изображении.

9. Устройство для формирования изображения водителя по любому из пп.1-6, дополнительно содержащее средство управления апертурой для управления степенью раскрытия апертуры, которая пропускает свет в средство (1) формирования изображения,
при этом средство управления апертурой управляет экспозицией, когда средство (1) формирования изображения снимает изображение посредством установки степени раскрытия апертуры, когда снимается второе изображение, относительно большой по сравнению со степенью раскрытия апертуры, когда снимается первое изображение.

10. Устройство для формирования изображения водителя по п.9, в котором средство управления апертурой содержит средство коррекции степени раскрытия апертуры для коррекции степени раскрытия апертуры, когда снимается первое изображение, соответственно яркости широкого участка на первом изображении, и коррекции степени раскрытия апертуры, когда снимается второе изображение, соответственно яркости части на втором изображении.

11. Устройство для формирования изображения водителя по любому из пп.1-6, дополнительно содержащее средство управления светочувствительностью для управления светочувствительностью средства (1) формирования изображения,
при этом средство управления светочувствительностью управляет экспозицией, когда средство (1) формирования изображения снимает изображение, посредством установки светочувствительности, когда снимается второе изображение, выше, чем светочувствительность, когда снимается первое изображение.

12. Устройство для формирования изображения водителя по п.11, в котором средство управления светочувствительностью содержит средство коррекции светочувствительности для коррекции светочувствительности, когда снимается первое изображение, соответственно яркости широкого участка на первом изображении, и коррекции светочувствительности, когда снимается второе изображение, соответственно яркости части на втором изображении.

13. Устройство для формирования изображения водителя по любому из пп.1-6, дополнительно содержащее средство управления экспозицией для управления экспозицией, когда средство (1) формирования изображения снимает изображения,
при этом средство управления экспозицией циклически чередует временной период, в течение которого средство (1) формирования изображения снимает изображение с экспозицией, с которой снимается первое изображение, с временным периодом, в течение которого средство (1) формирования изображения снимает изображение с экспозицией, с которой снимается второе изображение.

14. Устройство для формирования изображения водителя по п.13, в котором обработка первого изображения первым средством обработки изображений выполняется в течение временного периода, отдельного от обработки второго изображения вторым средством обработки изображений.

15. Устройство для формирования изображения водителя по п.1 или 2, дополнительно содержащее запоминающее средство для хранения первого изображения и второго изображения,
при этом каждое из первого средства обработки изображений и второго средства обработки изображений выполняет обработку изображений с использованием комбинации из первого изображения и второго изображения, снятых последовательно и сохраненных в запоминающем средстве.

16. Устройство для формирования изображения водителя по любому из пп.2 и 4-6, в котором положение глаз водителя идентифицируется определением положения носа водителя.

17. Средство для формирования изображения водителя, отличающееся тем, что содержит:
средство (1) формирования изображения для съемки изображения лица водителя транспортного средства;
средство определения направления лица для определения направления, по которому направлено лицо водителя на первом изображении, снятом средством (1) формирования изображения, относительно направления вперед от транспортного средства в качестве опорного направления, с использованием первого изображения; и
средство измерения информации о глазах для i) определения степени, до которой открыты глаза водителя на втором изображении, которое снимается средством (1) формирования изображения с более высокой экспозицией, чем экспозиция первого изображения, снятого средством (1) формирования изображения, с использованием второго изображения, или ii) определения направления, по которому направлено лицо водителя на втором изображении, которое снимается средством (1) формирования изображения с более высокой экспозицией, чем экспозиция первого изображения, снятого средством (1) формирования изображения, с использованием второго изображения.

18. Способ формирования изображения водителя, отличающийся тем, что содержит следующие этапы:
выполняют обработку изображений на широком участке лица водителя транспортного средства на первом изображении, на котором снято лицо водителя, с использованием первого изображения; и
выполняют обработку изображений на части лица водителя на втором изображении, на котором лицо водителя снято с более высокой экспозицией, чем экспозиция первого изображения, с использованием второго изображения.

19. Способ формирования изображения водителя, отличающийся тем, что содержит следующие этапы:
определяют направление, по которому направлено лицо водителя транспортного средства, на первом изображении, на котором снято лицо водителя, относительно направления вперед от транспортного средства в качестве опорного направления, с использованием первого изображения; и определяют степень, до которой открыты глаза водителя на втором изображении, на котором лицо водителя снято с более высокой экспозицией, чем экспозиция первого изображения, с использованием второго изображения, или определяют направление, в котором смотрит водитель, на втором изображении, на котором лицо водителя снято с более высокой экспозицией, чем экспозиция первого изображения, с использованием второго изображения.