Устройство для контроля состояния оператора, управляющего движением транспортного средства Российский патент 2020 года по МПК B60R99/00 B60K28/06 G08B21/06 

Изобретение относится к системам обеспечения безопасности управления транспортными средствами и может быть использовано для предупреждения персонала об отвлечении внимания, засыпании и других состояниях, угрожающих безопасности движения. Изобретение может быть использовано для повышения безопасности работы диспетчеров, водителей автотранспортных средств, машинистов электропоездов и в других областях, где требуется постоянное внимание персонала к изменениям транспортной ситуации.

Задачей, на решение которой направлено предлагаемое техническое решение, является повышение уровня безопасности движения.

Из патентной заявки KR19990048335, опубликованной 05.07.1999 известно устройство, в котором камера, воспринимающая изображение в инфракрасном диапазоне, используется для слежения состоянием зрачков водителя транспортного средства и по яркости изображения определяет состояние водителя, формируя, при необходимости, аварийные сигналы. Система не обладает высокой надежностью и эффективностью, поскольку не гарантирует надежное определение направления взгляда водителя и не защищена от помех, вызванных, например, появлением препятствий между водителем и объективом камеры.

Наиболее близким к предложенному является устройство для предупреждения засыпания водителя, разработанное австралийской компанией Seeing Machines, в котором при помощи двух миниатюрных видеокамер система следит за движением глаз и изображением лица водителя (http://news.bbc.co.uk/hi/russian/sci/tech/newsid_2246000/2246943.stm). Система также учитывает частоту моргания глаз, которая увеличивается при накоплении усталости. При отклонении этих параметров от нормальных водитель получает от системы сигнал, предупреждающий его об опасности.

Недостатком системы является необходимость сложной цифровой обработки изображений, поскольку направление взгляда водителя может быть определено по внешнему изображению глаза только путем использования сложных вычислений.

Техническим результатом, достигаемым при использовании предложенного изобретения, является возможность простыми средствами надежно определять состояние оператора и формировать сигналы, обеспечивающие принятие своевременных мер по предотвращению аварийной ситуации. Реализуемый системой алгоритм анализа изображений позволяет в реальном времени отличать естественные для бодрствующего человека движения от характерных признаков снижения внимания и сонливости, практически исключая ложные срабатывания.

Для достижения технического результата в устройство для контроля состояния оператора, управляющего движением транспортного средства, использованы две камеры регистрации изображений в ближнем инфракрасном диапазоне, установленные неподвижно относительно заранее заданной области обзора оператора и генератор сигнала тревоги, где:

выходы каждой из камер соединены с входами двух соответствующих блоков анализа изображений, выполненных с обеспечением формирования первых сигналов, при наличии на выходе соответствующей камеры изображений, на которых отсутствуют изображения зрачков оператора в течение первого заранее заданного времени и формирования вторых сигналов, если изображения зрачков оператора на выходе соответствующей камеры в течение второго заранее заданного времени указывают на отвлечение оператора заранее заданной области обзора;

устройство содержит первый счетчик, выполненный с возможностью сброса при формировании сигнала тревоги генератором сигнала тревоги, выполненный с обеспечением увеличения значения счетчика при формировании первого сигнала на любом из выходов выходах блоков анализа изображений, и уменьшением значения счетчика при отсутствии первых сигналов на выходах блоков анализа изображений в течение заранее третьего заданного времени, второй счетчик, выполненный с возможностью сброса при формировании сигнала тревоги генератором сигнала тревоги выполненный с обеспечением увеличения значения счетчика при формировании второго сигнала на любом из выходов выходах блоков анализа изображений, и уменьшением значения счетчика при отсутствии вторых сигналов на выходах блоков анализа изображений в течение четвертого заранее заданного времени,

а генератор сигнала тревоги выполнен формирующим сигнал тревоги при одновременном формировании первых сигналов на выходах блоков анализа изображений, или при одновременном формировании вторых сигналов на выходах блоков анализа изображений или при достижении одним из счетчиков заранее заданного для данного счетчика значения,

при этом устройство содержит средство оповещения оператора о несоответствии его состояния критериям безопасного управления движением.

В частных случаях применения, заранее заданной областью обзора может быть видимая часть дисплея рабочего места авиационного диспетчера. В частном случае реализации изобретения, в устройстве используется генератор тактовых сигналов, а сигналы считаются сформированными одновременно при формировании сигналов в пределах заранее заданного количества тактов. Датчик состояния транспортного средства, может быть выполнен формирующим сигнал, соответствующий скорости транспортного средства, а заранее заданные времена обратно пропорциональны скорости транспортного средства. При этом счетчики могут быть выполнены с обнулением при остановке транспортного средства. Устройство может содержать дополнительные средства регистрации, непрерывно формирующие поток данных, с обеспечением длительного хранения данных потока, сформированных до и после сигнала тревоги. В одном из примеров реализации средство регистрации может быть выполнено в виде видеорегистратора. В частном случае реализации изобретения камеры могут быть установлены по обе стороны от оператора в плоскости, преимущественно, перпендикулярной преимущественному направлению зрения оператора. Устройство может содержать средство оповещения диспетчера оператора о несоответствии состояния оператора критериям безопасности при заранее заданном количестве сформированных аварийных сигналов. В других частных случаях реализации изобретения, в устройстве используется адаптивное управление, обеспечивающее повышение частоты анализа кадров видеокамер при появлении признаков усталости, например, при учащении моргания, зевания или и частоты и скорости движения зрачков, а также при повышении скорости движения транспортного средства выше заданной, например, выше предела, установленного для участка трассы, по которому перемещается транспортное средство. Дополнительно, в устройстве могут использоваться средства машинного зрения, которые распознают лицо оператора и обеспечивают автоматическое возобновление наблюдения за зрачками при начале движения или после поворотов головы.

Описание изобретения поясняется чертежами, на которых изображены:

На фиг. 1 - общая принципиальная схема устройства,

На фиг 2 - вариант установки датчиков на ветровом стекле автомобиля, вид сзади,

На фиг. 3 - вариант установки датчиков на ветровом стекле автомобиля, вид справа,

На фиг. 4 - примерный алгоритм работы устройства.

Как показано на фиг. 1, предложенное устройство содержит левый 1 и правый 2 датчики, представляющие собой объединенные в едином корпусе камеры регистрации изображений видеокамеры и блоки анализа изображений, устройство также содержит блок 3 обработки данных, выполненный содержащим первый счетчик, выполненный с возможностью сброса при формировании сигнала тревоги генератором сигнала тревоги, выполненный с обеспечением увеличения значения счетчика при формировании первого сигнала на любом из выходов выходах блоков анализа изображений, и уменьшением значения счетчика при отсутствии первых сигналов на выходах блоков анализа изображений в течение заранее третьего заданного времени, второй счетчик, выполненный с возможностью сброса при формировании сигнала тревоги генератором сигнала тревоги выполненный с обеспечением увеличения значения счетчика при формировании второго сигнала на любом из выходов выходах блоков анализа изображений, и уменьшением значения счетчика при отсутствии вторых сигналов на выходах блоков анализа изображений в течение четвертого заранее заданного времени, а генератор сигнала тревоги выполнен формирующим сигнал тревоги при одновременном формировании первых сигналов на выходах блоков анализа изображений, или при одновременном формировании вторых сигналов на выходах блоков анализа изображений или при достижении одним из счетчиков заранее заданного для данного счетчика значения.

Устройство также содержит приемную антенну 5 спутниковых систем навигации GPS (Global Positioning System - системы глобального позиционирования) и Глонасс и антенну 6 беспроводной связи, например, в формате GSM (от названия группы Groupe Spécial Mobile, - глобальный стандарт цифровой мобильной сотовой связи). Устройство также содержит цепи питания 4 от бортовой сети и функциональную кнопку, предназначенную для оповещения системы оператором о том, что он находится в работоспособном состоянии.

Как показано на фиг. 2 и 3, датчики 1 и 2 располагаются со стороны преимущественного направления 16 обзора оператора 9, например, вблизи ветрового стекла 8 автомобиля.

Как показано на фиг. 4, в частном случае реализации изобретения, устройство обеспечивает обнаружение 10 факта засыпания оператора или другого состояния оператора, не соответствующего требованиям обеспечения безопасности движения, принятие 11 мер по дополнительному подтверждению факта засыпания, принятие 12 мер по приведению оператора в работоспособное состояние или переключению внимания оператора на транспортную ситуацию, например, путем подачи звуковых и световых сигналов, тревоги, или голосового оповещения оператора. После режима ожидания 13, при отсутствии обратной связи с оператором, например, при отсутствии сигнала функциональной кнопки через 1-2 секунды после оповещения, система обеспечивает реализацию режима тревоги, например, путем включения 14 постоянной звуковой и световой индикации, а также передачу 15 сигнала тревоги руководящему персоналу, например, диспетчеру.

Предложенное устройство оптического контроля, предназначено для предотвращения фактов отвлечения внимания, потери концентрации, сна оператора или водителя транспортного средства. Устройство может быть использовано для организации работы персонала, управляющего сложным оборудованием, например, сложным погрузочным оборудованием, таким как шагающие экскаваторы, оборудованием электростанций, а также при организации транспортных потоков и при управлении транспортными средствами, в том числе, на транспортных, промышленных предприятиях, на предприятиях горнодобывающей промышленности.

Использование устройства не предполагает необходимости использования каких-либо носимых компонентов. Использование устройства обеспечивает локальное информирование оператора (водителя) об усталости или отвлечении внимания и информирование диспетчера, контролирующего работу техники на предприятии.

Устройство является высокотехнологичным комплексом для контроля состояния оператора, использующим оптические методы для регистрации изображений зрачков, а также глаз и головы оператора. Выявление предельной степени усталости и отвлечения внимания происходит при анализе изменений характеристик поведения глаз и зрачков, а также частоты моргания. При обнаружении признаков усталости, засыпания или отвлечения от дороги при движении транспортного средства система предупреждает оператора путем подачи световых и звуковых сигналов, а при отсутствии реакции оператора оповещает диспетчера, контролирующего работу техники. Система не использует контактные датчики и не доставляет неудобств оператору. При этом устройство легко адаптируется под операторов с разными физиологическими особенностями, может использоваться в любое время суток, в том числе в полной темноте, а также предусматривает возможность использования оператором оптических средств коррекции зрения. Например, очков и контактных линз.

При использовании изобретения оптические сенсоры (датчики) 1 и 2 размещаются на уровне глаз оператора, например, на лобовом стекле транспортного средства. Желательно размещать датчики таким образом, чтобы они не ухудшали обзор, не мешали использованию органов управления и не находились в зоне действия подушек безопасности. Расстояние 45-65 см от глаз оператора до оптического датчика является оптимальным для работы устройства. В случае невозможности обеспечить указанное расстояние при размещении датчиков на ветровом стекле, для установки датчиков 1 и 2 могут быть использованы удлиняющие кронштейны.

Функциональная кнопка 7 должна быть расположена й кнопки в удобном для доступа оператором месте на панели приборов транспортного средства или на пульте управления. Место расположения кнопки должно находиться в прямой видимости оператора. Оптимальным местом расположения кнопки может являться свободный или резервный модуль клавишного блока панели управления. Антенны 5 и 6 устанавливаются в местах, обеспечивающих работоспособность соответствующих систем и таким образом, чтобы указанные антенны не мешали работе оператора. Оптимальной является установка антенн под обтекателем на крыше транспортного средства. Устройство может использовать системы спутниковой навигации GPS и Глонасс для определения координат и скорости транспортного средства. Также может использоваться сигнал с датчика штатного спидометра транспортного средства или определение координат и скорости по перемещению транспортного средства относительно антенн базовых станций беспроводных сетей передачи данных. например, антенн сотовой связи.

При использовании устройства для организации работы диспетчеров, управляющих технологическими процессами или движение нескольких единиц, вместо сигналов скорости и направления одного транспортного средства могут использоваться сигналы, соответствующие изменениям в состоянии технологических процессов, сигналы о наличии и количестве бортов, управляемых авиадиспетчером и другие данные, которые могут использоваться для оценки степени необходимого внимания оператора к состоянию объекта управления.

Для выполнения калибровки устройства оператор размещается на рабочем месте, например, на водительском кресле в положении, соответствующем обычному положению при управлении, например, транспортным средством. Взгляд оператора должен быть направлен прямо на линию горизонта. В этих условиях устройство определяет преимущественное направление взгляда оператора и может формировать сигналы тревоги при существенном отклонении внимания оператора от объекта управления.

При использовании устройства в режиме удаленного оповещения, возможно осуществлять мониторинг текущего состояния оператора или операторов, получать экстренные оповещения о выявленных критических состояниях, производить дистанционную оценку уровня внимания, собирать статистические данные о частоте и количестве выявленных проблем. На основании таких данных диспетчер может принимать обоснованные решения о необходимости и длительности перерывов в работе персонала и оптимизации рабочих смен.

Устройство функционирует следующим образом:

Две камеры регистрации изображений в ближнем инфракрасном диапазоне, установленные неподвижно относительно заранее заданной области обзора оператора, определяют направление взгляда оператора. Для этих целей используются быстродействующие видеокамеры воспринимающие изображение в ближнем инфракрасном диапазоне. Камеры могут быть установлены по обе стороны от оператора в плоскости или на линии, перпендикулярной или незначительно, на 1-5 градусов отклоненной от перпендикуляра к преимущественному направлению зрения оператора. Основным параметром, используемым для определения направления взгляда, является изображение зрачка, площадь которого уменьшается при отклонении взгляда оператора от соответствующей камеры, а эллиптическое или аналогичное сжатие изображения соответствует углу отклонения направления взгляда от направления на камеру. При этом направление оси сжатия соответствует отклонению взгляда от горизонтального направления. Полученное при калибровке изображение зрачка может быть использовано как базовое изображение, которое соответствует направлению взгляда на объект. Обязательным условием калибровки является попадание в поле зрения каждой из камер двух зрачков оператора.

Выходы каждой из камер соединены с входами двух соответствующих блоков анализа изображений. Выполнение блоков анализа изображений соответствует формату передачи данных об изображениях. Например, входы блоков анализа изображений могут считывать данные непосредственно с матриц камер, выполненных в виде приборов с зарядовой связью или получать изображения в формате передачи графических или видео данных в сжатом виде по интерфейсам передачи цифровых данных, например, по шинам USB (англ. Universal Serial Bus - «универсальная последовательная шина»), обеспечивающим скорость передачи данных, требуемую для нормальной работы устройства или по беспроводному интерфейсу, например, в стандарте WI-FI (технология беспроводной локальной сети с устройствами на основе стандартов IEEE 802.11.). Преимущественно, при работе устройства требуется получать и обрабатывать 5-10 изображений в секунду.

Блоки анализа изображений определяют наличие и параметры изображений зрачков глаз оператора. В связи с тем, что камеры формируют изображения, полученное в ближнем инфракрасном диапазоне, изображения зрачков на общих изображениях имеют повышенную яркость и могут быть выделены без применения сложных аналитических методов.

По изображениям зрачков определяются направления взгляда оператора, например, в сферической полярной системе координат, где в качестве полярной оси системы координат используется направление взгляда оператора, определенное в процессе калибровки. Также определяется присутствие изображений зрачков на общих изображениях. Далее вычисляют направление взгляда оператора для зрачков, изображения которых присутствуют на кадрах, сформированных камерами, после чего определяют отклонение параметров от параметров, соответствующих безопасной работе оператора.

Для упрощения анализа состояния оператора блоки анализа изображений формируют первые сигналы, при наличии на выходе камеры, соответствующей соответствующему блоку анализа, изображений на которых отсутствуют изображения зрачков оператора в течение первого заранее заданного времени и формирования вторых сигналов если изображения зрачков оператора на выходе соответствующей камеры в течение второго заранее заданного времени указывают на отвлечение оператора заранее заданной области обзора.

Для определения наличия возможной опасной ситуации используются первый и второй счетчики, выполненные с возможностью сброса или обнуления показаний при формировании сигнала тревоги, остановке транспортного средства или отсутствия событий на дисплее оператора. Значение первого счетчика увеличивается, например, на единицу, при формировании первого сигнала на любом из выходов выходах блоков анализа изображений и уменьшается, например, на единицу при отсутствии первых сигналов на выходах блоков анализа изображений в течение заранее третьего заданного времени, например, в течение 1–2 секунд. Значение второго счетчика увеличивается, например, на единицу, при формировании второго сигнала на любом из выходов выходах блоков анализа изображений, и уменьшается, например, на единицу при отсутствии вторых сигналов на выходах блоков анализа изображений в течение четвертого заранее заданного времени, например, в течение 1–2 секунд.

Генератор сигнала тревоги формирует сигнал тревоги при одновременном формировании первых сигналов на выходах блоков анализа изображений, или при одновременном формировании вторых сигналов на выходах блоков анализа изображений или при достижении одним из счетчиков заранее заданного для данного счетчика значения. Например, при указанных выше условиях, значения счетчиков от 10 до 20 единиц могут быть использованы как значения, соответствующие потенциально опасной ситуации.

Сформированный сигнал тревоги далее используется исполнительными блоками устройства. Например, генерация сигнала тревоги может приводить к срабатыванию средства оповещения оператора о несоответствии его состояния критериям безопасного управления движением. В качестве такого средства может использоваться блок световой или звуковой сигнализации.

В том случае, если сигнал тревоги формируется многократно, например, более 3–7 раз за одну поездку, рабочую смену или заранее заданное время, например, 30-60 минут, формируется сообщение, оповещающее диспетчера или другое лицо, ответственное за безопасность работ, о несоответствии состояния оператора критериям безопасности.

При использовании дополнительных средств регистрации, например, регистратора, отдельно или в составе устройства, сигнал тревоги может инициировать перемещение регистрируемых данных в архив длительного хранения.

Изобретение относится к системам обеспечения безопасности управления транспортными средствами и может быть использовано для предупреждения персонала об отвлечении внимания, засыпании и других состояниях, угрожающих безопасности движения. Устройство для контроля состояния оператора содержит две камеры регистрации изображений в ближнем инфракрасном диапазоне, установленные неподвижно относительно заранее заданной области обзора оператора и генератор сигнала тревоги, формирующий сигнал тревоги в зависимости от частоты обнаружения недопустимых отклонений в изображениях зрачков оператора на изображениях каждой из камер. Возможно простыми средствами надежно определять состояние оператора и формировать сигналы, обеспечивающие принятие своевременных мер по предотвращению аварийной ситуации. 8 з.п. ф-лы, 4 ил.

1. Устройство для контроля состояния оператора, управляющего движением транспортного средства, содержащее две камеры регистрации изображений в ближнем инфракрасном диапазоне, установленные неподвижно относительно заранее заданной области обзора оператора и генератор сигнала тревоги, где:

выходы каждой из камер соединены с входами двух соответствующих блоков анализа изображений, выполненных с обеспечением формирования первых сигналов, при наличии на выходе соответствующей камеры изображений, на которых отсутствуют изображения зрачков оператора в течение первого заранее заданного времени и формирования вторых сигналов, если изображения зрачков оператора на выходе соответствующей камеры в течение второго заранее заданного времени указывают на отвлечение оператора заранее заданной области обзора;

первый счетчик, выполненный с возможностью сброса при формировании сигнала тревоги генератором сигнала тревоги, выполненный с обеспечением увеличения значения счетчика при формировании первого сигнала на любом из выходов выходах блоков анализа изображений, и уменьшением значения счетчика при отсутствии первых сигналов на выходах блоков анализа изображений в течение заранее третьего заданного времени, второй счетчик, выполненный с возможностью сброса при формировании сигнала тревоги генератором сигнала тревоги выполненный с обеспечением увеличения значения счетчика при формировании второго сигнала на любом из выходов выходах блоков анализа изображений, и уменьшением значения счетчика при отсутствии вторых сигналов на выходах блоков анализа изображений в течение четвертого заранее заданного времени,

а генератор сигнала тревоги выполнен формирующим сигнал тревоги при одновременном формировании первых сигналов на выходах блоков анализа изображений, или при одновременном формировании вторых сигналов на выходах блоков анализа изображений или при достижении одним из счетчиков заранее заданного для данного счетчика значения,

при этом устройство содержит средство оповещения оператора о несоответствии его состояния критериям безопасного управления транспортным средством.

2. Устройство по п. 1, содержащее генератор тактовых сигналов, а сигналы считаются сформированными одновременно при формировании сигналов в пределах заранее заданного количества тактов.

3. Устройство по п. 1, содержащее датчик состояния транспортного средства, выполненный формирующим сигнал, соответствующий скорости транспортного средства, а заранее заданные времена обратно пропорциональны скорости транспортного средства.

4. Устройство по п. 3, отличающееся тем, что счетчики обнуляются при остановке транспортного средства.

5. Устройство по п. 1, отличающееся тем, что оно содержит дополнительные средства регистрации, непрерывно формирующие поток данных, с обеспечением длительного хранения данных потока, сформированных до и после сигнала тревоги.

6. Устройство по п. 5, отличающееся тем, что средство регистрации выполнено в виде видеорегистратора.

7. Устройство по п. 1, отличающееся тем, что камеры установлены по обе стороны от оператора в плоскости, преимущественно, перпендикулярной преимущественному направлению зрения оператора.

8. Устройство по п. 1, отличающееся тем, что оно содержит средство оповещения диспетчера оператора о несоответствии состояния оператора критериям безопасности при заранее заданном количестве сформированных аварийных сигналов.

9. Устройство по п. 1, отличающееся тем, что заранее заданной областью обзора является видимая часть дисплея рабочего места авиационного диспетчера.