СПОСОБ И КОГНИТИВНАЯ СИСТЕМА ВИДЕОАНАЛИЗА, МОНИТОРИНГА, КОНТРОЛЯ СОСТОЯНИЯ ВОДИТЕЛЯ И ТРАНСПОРТНОГО СРЕДСТВА В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ Российский патент 2019 года по МПК G08B21/06 B60K28/06 B60R25/00 

ОБЛАСТЬ ТЕХНИКИ

[1] Настоящее техническое решение относится к области обработки цифровых данных, в частности, к способу и когнитивной системе видеоанализа, мониторинга, контроля состояния водителя и транспортного средства (ТС) в режиме реального времени.

УРОВЕНЬ ТЕХНИКИ

[2] Из патента RU 2376159 C1 (МПК B60K 28/06, G08B 21/06, опубл. 20.12.2009) известна телеметрическая система контроля бодрствования машиниста локомотива. В патенте описывается система контроля бодрствования машиниста на основе кожно-гальванических реакций, соединенная с компьютерной системой локомотива, и вычисляющая уровень бодрствования машиниста на основе времени между появлениями импульсов кожно-гальванической реакции. Недостатками данного решения являются ограничение в количестве детектируемых инцидентов - определение только засыпания; контактный метод получения данных о засыпании; недостаток точности в связи с нестабильностью контакта прибора с кожей человека с целью анализа изменения кожно-гальванической реакции; отсутствие комплексной системы мониторинга за состоянием водителя в режиме реального времени.

[3] В качестве решений на текущем уровне техники, локально решающих вопросы бесконтактной детекции отдельных инцидентов, можно рассматривать патентные документы и публикации, в которых описываются методы определения идентификации, зевания, курения водителя ТС, разговора по телефону при езде. Такие решения, например, раскрыты в следующих документах: JP 5365374 B2, EP 2497670 B1, US 20150286885 A1, US 20140279587 A1.

[4] Известны также решения для контроля авторизованного доступа к ТС на основании анализа изображения водителя для проверки наличия у него соответствующих прав доступа к управлению ТС (Real Time Vehicle Security System through Face Recognition. C. Nandakumar, G. Muralidaran and N. Tharani Division of Mechatronics, Department of Production Technology, Madras Institute of Technology, Anna University, Chennai, INDIA. ISSN 2248-9967 Volume 4, Number 4 (2014), pp. 371-378).

[5] Известны также решения, которые используют информацию, получаемую в ходе движения ТС, в частности, изображения с камеры, фиксирующей соблюдение ПДД, что дополнительно может учитываться при фиксации и анализе инцидентов, связанных с водителем ТС (CN 101593422 B, 01.12.2010).

[6] Таким образом, известные из уровня техники решения, предназначенные для контроля за состоянием водителя, имеют ограниченную функциональность в части фиксации ряда инцидентов, которые могут иметь место с водителем в кабине ТС и влиять на безопасность управления ТС, поскольку направлены на фиксацию одного заданного параметра, соответствующего типу инцидента (курение, зевание, отвлечение и т.п.), а также имеют недостаточную точность определения типа инцидента на основании анализа видеопотока данных.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[7] Технической проблемой, на решение которой направлено заявленное техническое решение, является создание комплексной системы транспортной безопасности, позволяющей в режиме реального времени осуществлять автоматизированный, бесконтактный, непрерывный мониторинг поведения и состояния водителя, технического состояния транспортного средства, а также визуализировать ключевые события (инциденты) и агрегированные данные о показателях транспортных рисков в портале оператора транспортного предприятия. Также существенной решаемой проблемой подобного рода технических решений является обеспечение высокоточной фиксации различных типов инцидентов в кабине ТС на основании обработки цифровых изображений, получаемых из видеопотока, захватываемого камерой, установленной в кабине ТС.

[8] Технический результат заключается в повышении точности определения инцидентов, происходящих в кабине ТС, в режиме реального времени на основании анализа видеопотока, фиксирующего изображение водителя ТС.

[9] Также заявленное решение обеспечивает расширение функциональных возможностей за счет обеспечения фиксации нескольких типов инцидентов на основании анализа поступающего видеопотока данных и его обработке с помощью предиктивных моделей анализа изображений.

[10] В настоящих материалах заявки будут использованы следующие термины и определения.

[11] Инцидент - событие, произошедшее в кабине ТС, в частности, с водителем данного ТС, которое может иметь или имеет негативное последствие при управлении ТС.

[12] Предиктор - классифицирующий алгоритм, которым в частном случае может являться сверточная нейронная сеть, дерево решений или любой алгоритм, способный классифицировать входные данные на конечное множество классов.

[13] Блок Нейросетевых Моделей (БНСМ) - это множество предварительно обученных предикторов, в частном случае - нейросетевых моделей, целью применения которых является классификация входного изображения, то есть нахождения соответствия между входным изображением и заранее определенным множеством возможных классов (категорий), к которым это изображение может относиться. БНСМ подразделяется на Блок Локальных Нейросетевых Моделей (БЛНСМ) и Блок Серверных Нейросетевых моделей (БСНСМ). Первый блок обсчитывает нейросетевые модели на вычислительном устройстве, установленном в ТС, а второй - на сервере.

[14] В предпочтительном варианте реализации заявлен компьютерно-реализуемый способ для видеоанализа и мониторинга событий, происходящих в кабине ТС, в режиме реального времени, заключающийся в выполнении этапов, на которых с помощью вычислительного устройства, установленного в ТС, выполняется:

- получение данных с камеры, установленной в салоне ТС, характеризующих изображение водителя ТС;

- выделение из полученных данных по меньшей мере одного изображения, содержащего отображение по меньшей мере лица водителя ТС;

- выполнение предобработки изображения;

- определение положения ключевых точек на изображении;

- определение по меньшей мере одной области интереса изображения на основе положения ключевых точек;

- определение на основании анализа каждой выявленной области интереса изображения по меньшей мере одного типа инцидента, причем анализ включает в себя обработку области изображения с помощью предиктора на предмет наличия каждого типа инцидента из заданного набора инцидентов;

- фиксацию по меньшей мере времени обнаружения каждого упомянутого инцидента;

- формирование пакета данных, содержащего по меньшей мере информацию о каждом выявленном инциденте и времени его фиксации; и

- осуществление передачи упомянутого пакета данных на серверную часть.

[15] В частном варианте предобработка включает в себя перевод изображения в градации серого и нормализацию изображения.

[16] В другом частном варианте дополнительно выполняется по меньшей мере один тип обработки, выбираемый из группы: выравнивание изображения, изменение масштаба изображения, определение дополнительных ключевых точек, зеркальное отображение изображения лица относительно точки носа.

[17] В другом частном варианте в процессе предобработки изображения осуществляют по меньшей мере одно преобразование, выбираемое из группы: выравнивание изображения лица водителя ТС, преобразование изображения в оттенки серого, изменение масштаба изображения, определение дополнительных ключевых точек, выделение по меньшей мере одного сегмента изображения, зеркальное отображение изображения лица относительно точки носа.

[18] В другом частном варианте выравнивание изображения осуществляется относительно вертикальной оси и/или относительно расположения глаз на изображении лица.

[19] В другом частном варианте вычислительное устройство дополнительно фиксирует координаты ГНСС ТС и/или скорость движения ТС и/или параметры технического состояния ТС.

[20] В другом частном варианте ТС содержит дополнительную камеру, обеспечивающую захват и передачу изображений окружающей обстановки ТС в вычислительное устройство для фиксации нарушения ПДД.

[21] В другом частном варианте набор типов инцидентов включает в себя: разговор по мобильному телефону, курение, препятствие работе системы, отвлечение от дороги, засыпание, зевание, водитель не пристегнут ремнем безопасности.

[22] В другом частном варианте на сервере осуществляется анализ санкционированного доступа к ТС на основании идентификация водителя ТС по полученным изображениям от вычислительного устройства.

[23] Заявленное решение также осуществляется за счет системы видеоанализа и мониторинга событий, происходящих в кабине транспортного средства (ТС), в режиме реального времени, содержащей:

- камеру, выполненную с возможностью фиксации видеопотока данных в кабине ТС;

- вычислительное устройство, установленное в кабине ТС и связанное с упомянутой камерой, причем упомянутое устройство выполнено с возможностью выполнения способа по любому из пп. 1-7;

- сервер, связанный каналом передачи данных с вычислительным устройством.

[24] В частном варианте система дополнительно содержит установленные на ТС: ГНСС - антенну, блок данных о состоянии ТС (БДТС), GSM/GPRS/LTE/5G модем или их сочетания.

[25] В другом частном варианте система дополнительно включает АРМ сотрудника Ситуационного центра, выполненное с возможностью получения данных фиксации инцидентов от сервера.

[26] В другом частном варианте сервер обеспечивает анализ санкционированного доступа к ТС на основании идентификация водителя ТС по полученным изображениям от вычислительного устройства.

[27] В другом частном варианте система содержит дополнительную камеру, установленную на ТС, обеспечивающую захват и передачу изображений окружающей обстановки ТС в вычислительное устройство для фиксации нарушений ПДД как ТС, так и другими участниками дорожного движения.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

[28] Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг. 1 иллюстрирует общий вид заявленной системы;

Фиг. 2 иллюстрирует общую схему программный модулей, входящих в вычислительное устройство;

Фиг. 3 иллюстрирует блок-схему работы функционала заявленного решения;

Фиг. 4 иллюстрирует алгоритм обнаружения инцидентов в кабине ТС;

Фиг. 5 иллюстрирует алгоритм работы предиктора;

Фиг. 6 иллюстрирует схему обучения предиктора;

Фиг. 7 иллюстрирует общую схему вычислительного устройства.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[29] В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

[30] Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

[31] Настоящее изобретение направлено на обеспечение компьютерно-реализуемого способа и системы видеоанализа и мониторинга событий.

[32] Как представлено на Фиг. 1, заявленная система (100) включает связанные между собой программно-аппаратный комплекс, устанавливаемый непосредственно в ТС (110), и серверную часть (120).

[33] Программно-аппаратный комплекс ТС (110) состоит из связанных между собой каналом передачи данных основных элементов, таких как: камеры (видеокамеры) (111), вычислительного устройства (112), ГНСС-антенны (113) и блока данных о состояния ТС (114).

[34] Камера (111), предпочтительно, инфракрасная видеокамера, расположена в салоне ТС, в частности, в кабине для захвата изображений водителя (10) и/или пространства кабины ТС.

[35] Вычислительное устройство (112) выполнено с возможностью агрегации данных с таких блоков, как: видеокамера (111), модуля видеоаналитики, который является программной частью вычислительного устройства (112), и блока данных о состоянии ТС (БДТС) (114). Вычислительное устройство (112) также обеспечивает взаимодействие комплекса ТС (110) с серверной частью (120) системы (100).

[36] В состав программной части вычислительного устройства (112), как представлено на Фиг. 2, входят такие основные программные модули, как: модуль видеоаналитики (1122), реализующий функцию обработки видеопотока данных, модуль транспортной передачи данных (1123), а также БЛНСМ (1121).

[37] Блок Нейросетевых Моделей (далее - БНСМ) подразделяется на БЛНСМ (1121), который состоит из нейросетевых моделей, обсчитываемых на локальном вычислительном устройстве (112), и БСНСМ (121), который состоит из нейросетевых моделей, обсчитываемых на серверной части (120).

[38] БНСМ выполнен с возможностью перенесения нейросетевых моделей из одного блока в другой, то есть из БЛНСМ (1121) в БСНСМ (121) и из БСНСМ (121) в БЛНСМ (1121), соответственно. Основная задача, на решение которой направлен БНСМ - отнесение входного изображения к какому-то из конкретно заданных классов определенного инцидента. БНСМ также может решать задачи не только классификации, но и регрессии.

[39] Вычислительное устройство (112) отвечает за применение предиктивных моделей анализа данных, получаемых из БЛНСМ (1121) в режиме реального времени и выполнено с возможностью обновления предиктивных моделей на основании информации, получаемой от серверной части (120).

[40] Модуль видеоаналитики (1122) обеспечивает мониторинг событий, как внутри кабины ТС, так и во вне, что позволяет выделять из видеопотока, получаемого с дополнительной камеры (115), установленной на ТС, факты нарушений ПДД как ТС, так и другими участниками дорожного движения и записывать фото, видео - файл с нарушением, используемый в качестве доказательной базы.

[41] БДТС (114) обеспечивает сбор, обработку и анализ данных о техническом состоянии ТС, включая, но не ограничиваясь, данные о скоростном режиме, ошибках двигателя, рабочих параметрах ТС (температура, обороты, давление масла и т.п.), ДТП (показания датчика удара, активация подушек безопасности, системы экстренного торможения и т.п.). БДТС (114), в частности, представляет собой сканнер, подключаемый к диагностическому разъему OBD (OBDII/OBD2), обеспечивающий получение необходимых параметров состояния ТС. Подключение БДТС (114) к вычислительному устройству (112) предпочтительно осуществляется через интерфейс USB, но может также применяться иной известный тип соединения, например, Bluetooth или Wi-Fi.

[42] ГНСС - антенна (113) обеспечивает оперативное получение информации о координатах ТС. Антенна (113), предпочтительно, соединяется с вычислительным устройством (112) посредством UART/CAN или USB интерфейса и обеспечивает получение сигналов ГНСС, в частности, в таких системах, как: GPS, GLONASS, BeiDou, Galileo и т.п.

[43] Данные об изменении местонахождении ТС во времени дополнительно могут быть использованы для регистрации такого типа событий, как превышение скорости, опасная езда и нарушение ПДД.

[44] Программно-аппаратная часть комплекса ТС (110) может быть дополнена другими устройствами, выступающими в качестве источников данных, например, микрофоном, датчиком паров и дыма, пульсометром и др. В аппаратную часть комплекса (110) также могут быть включены устройства для взаимодействия АРМ оператора (130) с водителем ТС, например, такие как: аудио, вибро-сигнализации, средства связи (динамики, зуммер и т.п.), световые индикаторы и др.

[45] Программно-аппаратный комплекс ТС (110) осуществляет обмен данными c АРМ оператора Ситуационного центра (130) и с серверной частью (120) с помощью беспроводного канала передачи данных, например, 2G/3G/4G/5G/Wi-Fi и т.п.

[46] При обработке видеопотока, поступающего с камеры (111), вычислительное устройство (112) обеспечивает следующий функционал:

- Анализ очередного кадра с камеры;

- Запись очередного кадра с камеры в видео файл;

- Запись очередного кадра с камеры в виде файла для идентификации;

- Аккумулирование результатов после анализа данных.

[47] Вычислительным устройством (112) осуществляется последовательный анализ поступающей информации с камеры (111) и вывод результирующих данных в общий с серверной частью, контейнер данных. Функция серверной части (120) заключается в формирование json формата данных из контейнера и записи этих данных в сокет при входящем подключении.

[48] В процессе анализа очередного кадра вычислительным устройством (112) определяются следующие типы инцидентов:

- Отвлечение;

- Зевание;

- Курение;

- Засыпание;

- Разговор по телефону;

- Управление транспортным средством водителем, не пристегнутым ремнем безопасности;

- Препятствие работе системы.

[49] Также изображения в кадре могут предварительно обрабатываться. Такая предобработка может заключаться в следующем:

- Определяется режим день/ночь для применения нейросети, соответствующей степени освещенности изображения, что обеспечивает улучшенную работу системы в условиях недостаточной освещенности;

- Определяется лицо на изображении, что исключает ложноположительные срабатывания в отсутствии лица;

- Изображение лица выравнивается вертикально;

- Определяется горизонтальный поворот головы человека;

- Выделяются зоны интереса на изображении для различных инцидентов и др.

[50] В процессе предобработки изображения осуществляют по меньшей мере одно преобразование, выбираемое из группы: выравнивание изображения лица водителя ТС, преобразование изображения в оттенки серого, изменение масштаба изображения, определение дополнительных ключевых точек, выделение по меньшей мере одного сегмента изображения, зеркальное отображение изображения лица относительно точки носа.

[51] Таким образом система практически исключает ложные срабатывания, связанные с углами поворота головы, что являлось проблемой в решениях предыдущего технического уровня.

[52] Вычислительное устройство (112) также обеспечивает параллельный сбор данных с устройств-компонентов системы (100) и агрегацию их в цельные сообщения для отправки на серверную часть (120). Информация, передаваемая на сервер, может представлять собой медиа данные (фото и видео) с целью их последующей обработки нейросетями.

[53] Упомянутой отправке данных предшествует также анализ данных, полученных от вычислительного устройства (112), который заключается как в применении БЛНСМ (1121) с целью выявления инцидента, соответствующего моменту осуществления анализа, так и в применении иных методов машинного обучения на вычислительном устройстве (112).

[54] В вычислительном устройстве (112) реализован также следующий функционал по обработке и передачи данных на серверную часть (120):

- Запрос конфигурационных параметров от сервера и их получение;

- Подключение сборщиков данных с устройств (камера, антенна, БДТС и др.);

- Запуск агрегатора для генерации сообщений;

- Анализ сообщения на наличие инцидента с возможным звуковым или другим типом оповещения и записью видео/фото;

- Отправка медиа (фото/видео) на серверную часть (120) в случае их наличия;

- Отправка сообщения на серверную часть (120).

[55] Архитектурно программная часть вычислительного устройства (112) представляет собой совокупность программных модулей, обеспечивающих функциональную часть его работы.

[56] Общая схема работы функционала упомянутой части вычислительного устройства (112) представлена на Фиг. 3.

[57] Вычислительное устройство (112) работает в бесконечном цикле опроса и отправки сообщений с возможностью хранения данных в памяти устройства (112), в случае потери связи, с последующей их отправкой и очисткой из памяти.

[58] Серверная часть (120) системы (100) включает БСНСМ (121) и хранилище данных (122).

[59] БСНСМ (121) связан с программно-аппаратным комплексом ТС (110) и обеспечивает предобработку данных с применением методов машинного обучения для разработки предиктивных моделей для каждого типа событий (инцидентов).

[60] Серверная часть (120) обеспечивает обмен данными с ТС и/или устройствами, предоставляя возможность просмотра, взаимодействия и модификации данных с перспективы пользователя, а также распределение и управление хранением информации.

[61] Программное обеспечение серверной части (120) включает в себя следующие программные модули:

- Https-веб-сервер, реализованный на Nginx;

- Приемник сообщений от ТС;

- Независимый приемник сообщений, помеченных как инцидент;

- Приемник сообщений данных мониторинга состояния устройств на ТС;

- Приемник данных для идентификации;

- Конфигуратор.

[62] Каждой части серверного приложения, получающей пакеты данных из очереди, соответствует обработчик, выполняющий соответствующие операции для каждого пакета данных, перенаправленных с приемника. Приемники сообщений, инцидентов и данных мониторинга сохраняют данные в соответствующие разделы общей базы данных серверной части (120), конфигуратор отвечает вычислительному устройству (112) пакетом данных, содержащим необходимые настройки для его функционирования в части обработки и передачи данных на серверную часть (120).

[63] Приемник данных для осуществления идентификации водителя ТС (10) принимает на вход фото и производит сравнительный анализ его и имеющихся в базе фото водителей (10), принимая решение о правомерности управления ТС данным водителем (10), после чего передает результат обратно на вычислительное устройство (112).

[64] В дополнение к инцидентам, полученным от вычислительного устройства (112), на серверной части (120) также производится дополнительный анализ полученных данных и добавляются следующие типы инцидентов:

- Идентификация;

- Превышение скорости;

- Состояние транспортного средства;

- Критический уровень риска аварийной ситуации.

[65] Дополнительно выполняется проверка на корректность инцидента, при которой инцидент фиксируется, только если он появляется в нескольких сообщениях от вычислительного устройства (112) за определенный промежуток времени. Серверная часть (120) включает в себя веб-сокет сервер и API для реализации фронт-енда и возможности получать данные с помощью https-запросов. Данные модули работают независимо друг от друга. Архитектура серверной части (120) позволяет также обеспечить внедрение дополнительных компонентов и модификацию имеющихся при необходимости.

[66] Система (100) позволяет на АРМ оператора Ситуационного центра (130) мгновенно отслеживать критические события, которые происходят в салоне ТС и принимать соответствующие решения в режиме реального времени, например, уведомить водителя ТС (10) звуковым сигналом, голосовым оповещением, световым сигналом, вибросигналом или их сочетанием.

[67] Компоненты системы соединяются посредством средств передачи данных, которые выбираются из средств, предназначенных для реализации процесса коммуникации между различными блоками посредством проводной и/или беспроводной связи, в частности, такими типами связи могут являться: GSM, GPRS, LTE, 5G, WLAN, Wi-Fi, Bluetooth, BLE, спутниковая связь, NFC, Ethernet, USB, IrDa, Lightning, UART, CAN и т.п.

[68] Далее с отсылкой к Фиг. 4 будет раскрыт пример работы заявленного способа (200).

[69] На этапе (201) камера (111), установленная в кабине водителя ТС (10), фиксирует видеопоток в области водительского кресла. Фиксация камерой (111) видеопотока может происходить как в дневное, так и в вечернее время суток.

[70] На этапе (202) при получении изображения с камеры посредством вычислительного устройства (112) автоматически определяет время суток получения данных с камеры (111). На следующем этапе (203) алгоритм определяет осуществляется ли фиксация изображения в светлое или темное время суток.

[71] При идентификации соответствующих условий получения изображений с камеры (111), в частности, дневное или ночное, каждый тип изображения обрабатывается с помощью предиктора, обученного с помощью нейросети на соответствующих тестовых выборках (204, 205) для распознавания изображения водителя и фиксации инцидентов в светлое/темное время суток.

[72] Видеопоток обрабатывается и анализируется вычислительным устройством, установленным в кабине водителя. Под анализом понимается применение БЛНСМ (1121) на локальном вычислительном устройстве (112), а также применение иных методов машинного обучения, оптимизации и многомерного моделирования к изображению. Одновременно на серверную часть (120) передаются отдельные изображения, где применяется БСНСМ (121). БЛНСМ (1121) и БСНСМ (121) объединены в БНСМ - это когнитивная система анализа и обработки данных с целью получения высокопроизводительных предиктивных моделей, которые отвечают за регистрацию различных типов событий. По своей сути БНСМ - это множество предварительно обученных предикторов, в частном случае - нейросетевых моделей, целью применения которых является нахождения соответствия между входным изображением и заранее определенным множеством возможных классов (категорий), к которым это изображение может относиться.

[73] Предиктором может являться сверточная нейронная сеть, дерево решений или любой другой классифицирующий алгоритм, то есть алгоритм, способный классифицировать входные данные на конечное множество классов.

[74] Предиктор обучен таким образом, чтобы он мог максимально точно разделять каждое событие, происходящее в кабине ТС, на заранее определенные классы, а также был устойчив к различному освещению, которое не приводят к сильному искажению изображения. Обучение предиктора происходит на большом наборе данных, на который дополнительно накладываются шумы, для того, чтобы избежать эффекта переобучения. Предиктор работает с цветными изображениями, закодированными способом Red Green Blue (RGB) и с изображением в градации серого.

[75] На этапе (206) осуществляется поиск изображения лица водителя в полученном видеопотоке и при его обнаружении на этапе (207) осуществляется дальнейшая его обработка для определения с помощью предиктора одного или нескольких типов инцидентов.

[76] Входом предиктора называются входные данные, которые предиктор должен обработать и отнести к заранее предопределенному множеству классов с определенной вероятностью. Пример работы предиктора представлен на Фиг. 5.

[77] Предиктор для каждого инцидента (за исключением инцидента Отвлечение и Идентификация) оперирует входным изображением определенной области лица. Для инцидентов Отвлечение и Идентификация используется изображение всего лица. Пример схемы обучения предиктора представлен на Фиг. 6.

[78] Примеры областей интереса для каждого инцидента представлены ниже в таблице 1.

Таблица 1 Название инцидента Область интереса Курение Область рта Зевание Область рта Засыпание Область левого и правого глаза Разговор по телефону Область левого и правого уха Отвлечение Область рта и глаз Идентификация Изображение лица водителя Препятствие работы системы Изображение лица водителя Водитель не пристегнут ремнем безопасности Области груди и плеч водителя

[79] В процессе анализа видеопотока для определения типа события, соответствующего инциденту, на этапе (208) выделяют по меньшей мере одно изображение, содержащее отображение лица водителя ТС (10) и осуществляют выделение точек интереса (глаза, рот и т.д.). Данная задача может решаться с использованием нейросетевых моделей. На основе полученных точек производится вырез изображения, отражающего область интереса для конкретного инцидента, которое далее подвергается предварительной обработке, описанной в фиг. 4., после чего подается на вход предиктору. Данный подход обеспечивает повышение точности определения событий, происходящих в кабине ТС, в режиме реального времени и автоматически без участия человека.

[80] Как было указано в Таблице 1, для каждого типа события применяется соответствующий анализ ключевых областей и/или точек изображения лица водителя, полученного на этапе (207). Также, для анализа каждого типа инцидента может применяться предобработка изображений. Далее рассмотрим более детально примеры анализа ключевых областей изображения.

[81] При анализе типа инцидента, соответствующего отвлечению водителя ТС (10), обрабатываются координаты точек левого глаза, правого глаза, носа, левого уголка рта и правого уголка рта.

[82] При анализе типа инцидента, соответствующего зеванию, применяется соответствующая модель предиктора, характеризующая варианты осуществления зевания в дневное/ночное время суток, а также выполняется обработка точек, идентифицирующих область рта, в частности, точки левого уголка рта и правого уголка рта.

[83] При анализе типа инцидента, соответствующего курению в кабине ТС, применяется соответствующая модель предиктора, характеризующая варианты осуществления курения в дневное/ночное время суток, а также выполняется обработка точек, идентифицирующих область рта, в частности, точки левого уголка рта и правого уголка рта.

[84] Для типа инцидентов зевание и курения также может выполняться предобработка изображений, которая может содержать: выравнивание лица, вырез области рта, зеркальное отображение лица относительно точки носа, преобразование в оттенки серого, уменьшение или увеличение.

[85] При анализе типа инцидента, соответствующего засыпанию водителя, применяется соответствующая модель предиктора, характеризующая варианты инцидента в дневное/ночное время суток. Дополнительно может применяться предобработка, которая может включать в себя: выравнивание лица, вырез областей левого и правого глаза, зеркальное отражение области левого глаза относительно вертикальной оси, преобразование в оттенки серого, уменьшение или увеличение.

[86] При анализе типа инцидента, соответствующего разговору по телефону, применяется соответствующая модель предиктора, которая выбирается из двух типов моделей: на ближнее и дальнее ухо, причем каждая модель отличается размерами входных изображений, по два класса:

- Есть телефон;

- Нет телефона.

[87] Дополнительно может применяться предобработка, которая может включать в себя: выравнивание лица, преобразование в оттенки серого, уменьшение или увеличение, добавление дополнительных четырех точек (левый угол левого глаза, левый край левого уха, правый угол правого глаза, правый край правого уха), вырез областей левого и правого уха, выбор ближнего и дальнего уха (по размеру областей).

[88] При анализе типа инцидента, соответствующего не пристегнутому ремню безопасности, применяется модель предиктора, которая в частном случае может определять инцидент в дневное/ночное время суток. Также для анализа каждого из типов инцидентов применяется предобработка, которая может включать в себя: выравнивание лица; вырез областей интереса, которыми в частном случаю могут являются следующие области: левое и правое плечо, область груди; зеркальное отражение областей интереса относительно вертикальной оси; преобразование в оттенки серого; уменьшение или увеличение.

[89] Во время управления ТС водитель может закрывать, разворачивать камеру или иным способ препятствовать работе системы. Регистрация данного инцидента может свидетельствовать о нарушениях водителями правил поведения за рулем в моменты регистрации инцидента - помеха работе системы.

[90] При анализе типа инцидента, заключающего в препятствии работы системы, проверяется выполнение хотя бы одно из двух условий:

- Камера не фиксирует лицо водителя;

- ТС находится в движении.

[91] При выполнении идентификации водителя ТС (10), предиктор определяет соответствие лица на изображении одному из лиц в базе данных лиц, имеющих соответствующий допуск к управлению ТС, которая расположена в хранилище (122) серверной части (120). При отсутствии достаточного уровня совпадения хотя бы с одним лицом, идентификация считается не пройденной. Дополнительно может применяться предобработка изображения, которая может включать в себя: выравнивание лица по глазам, уменьшение или увеличение.

[92] Также определяются такие типы событий, как: превышение скорости (показания с БДТС выше заданного ограничение для участка дороги), опасное вождение (учет мгновенного изменения скорости в единицу времени, например, ускорение на 20 км/ч за 1 сек.).

[93] Также система (100) выполняет оценку критического уровня риска аварийной ситуации, которая вычисляется по агрегированным данным во времени, представленным в Таблице 2.

Таблица 2 Ключевые показатели Описание Уровень риска аварийной ситуации Является интегральным показателем и рассчитывается на базе данных о зарегистрированных инцидентах. Критическим пороговым значением для данного ключевого показателя является превышения уровня в 50%. Структурный показатель уровня риска аварийной ситуации Демонстрирует процентное соотношение типов инцидентов в общем количестве инцидентов. Структурный показатель типов инцидентов Демонстрирует абсолютные и относительные показатели каждого типа инцидентов. График изменения количества инцидентов по типам Демонстрирует динамику каждого типа инцидентов во времени. График изменения уровня риска аварийной ситуации Демонстрирует динамику изменения уровня риска аварийной ситуации во времени.

[94] Для расчета интегрального уровня риска используется нормализованная взвешенная сумма всех инцидентов за заданный промежуток времени. Таким образом, реализуется возможность оценки уровня риска как для отдельного транспортного средства, так и для групп транспортных средств, и для всех транспортных средств одного предприятия.

[95] Каждая предиктивная модель характеризует заданный тип события и определяют на основании выполненного сравнения по меньшей мере одно следующее событие, происходящее в кабине ТС:

- Отвлечение от дороги;

- Зевание;

- Курение;

- Засыпание;

- Разговор по телефону;

- Несанкционированный доступ к управлению ТС;

- Препятствие работе системы мониторинга;

- Водитель не пристегнут ремнем безопасности.

[96] После определения по меньшей мере одного типа инцидента на этапе (209) выполняется обновление данных для серверной части (120). После этого для каждого выявленного типа инцидента выполняется фиксация по меньшей мере времени его обнаружения (также может учитываться дата, местоположение и т.п.). На основании полученной информации на этапе (211) осуществляется формирование пакета данных для отправки на серверную часть (120), который содержит изображение лица водителя ТС (10), тип инцидента, время его фиксации. Информация о событиях сохраняется в базе данных серверной части. Далее цикл фиксации событий с помощью камеры (111) продолжается.

[97] Система (100) также может содержать камеру (115), фиксирующую нарушение ПДД, в частности, осуществляющую захват изображений линий разметки, знаков, границы полос движения ТС, объекты окружающей среды (пешеходы, препятствия, окружающие ТС и т.п.), находить на изображении светофоры и определять их цветовые сигналы, определять дорожные знаки. Такой подход, как указывалось выше, известен из уровня техники и применяется как дополнительный фактор при фиксации того или иного типа инцидента, что позволяет получить дополнительную информацию о причине и/или следствии наступления события. Например, при нарушении правил ПДД как текущим транспортным средством, так и другими участниками дорожного движения, данная информация может использоваться как информация, дополняющая информацию о фиксации инцидента. Такая информация также включается в пакет данных, передаваемый на серверную часть (120). Дополнительно во время фиксации нарушения ПДД может учитываться информация, получаемая с БДТС (114) о скорости ТС.

[98] Изображения, получаемые с упомянутой камеры, также обрабатываются вычислительным устройством (112) с помощью соответствующего ПО и добавляются в пакет данных, передаваемых на серверную часть (120).

[99] На Фиг. 7 далее будет представлена общая схема компьютерного устройства (300), обеспечивающего обработку данных, необходимую для реализации заявленного решения, в частности, функционала вычислительного устройства (112) и серверной части (120).

[100] В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну память (302), средство хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).

[101] Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функционала одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).

[102] Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

[103] Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки транзакционных запросов (логов), идентификаторов пользователей и т.п.

[104] Интерфейсы (304) представляют собой стандартные средства для подключения и работы с серверной частью (120), например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

[105] Выбор интерфейсов (304) зависит от конкретного исполнения устройства (300), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

[106] В качестве средств В/В данных (305) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

[107] Средства сетевого взаимодействия (306) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (305) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

[108] Компоненты устройства (300) сопряжены посредством общей шины передачи данных (310).

[109] В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к способу и когнитивной системе видеоанализа, мониторинга, контроля состояния водителя и транспортного средства (ТС) в режиме реального времени. Технический результат заключается в повышении точности определения инцидентов, происходящих в кабине ТС, в режиме реального времени. В способе осуществляют мониторинг событий, происходящих в кабине ТС, в режиме реального времени, путем получения данных с камеры, установленной в салоне ТС, выполнения предобработки изображения, определения положения ключевых точек на изображении, определения области интереса изображения на основе положения ключевых точек, определения на основании анализа каждой выявленной области интереса изображения по меньшей мере одного типа инцидента. Анализ включает в себя обработку области изображения на предмет наличия инцидента, фиксацию времени обнаружения инцидента, формирование пакета данных, содержащего информацию об инциденте и времени его фиксации, и осуществление передачи упомянутого пакета данных на сервер. 2 н. и 11 з.п. ф-лы, 7 ил., 2 табл.

1. Компьютерно-реализуемый способ для видеоанализа и мониторинга событий, происходящих в кабине ТС, в режиме реального времени, заключающийся в выполнении этапов, на которых с помощью вычислительного устройства, установленного в ТС, выполняется:

получение данных с камеры, установленной в салоне ТС, характеризующих изображение водителя ТС;

выделение из полученных данных по меньшей мере одного изображения, содержащего отображение по меньшей мере лица водителя ТС;

выполнение предобработки изображения;

определение положения ключевых точек на изображении;

определение по меньшей мере одной области интереса изображения на основе положения ключевых точек;

определение на основании анализа каждой выявленной области интереса изображения по меньшей мере одного типа инцидента, причем анализ включает в себя обработку области изображения с помощью предиктора на предмет наличия каждого возможного типа инцидента из заданного набора инцидентов;

фиксацию по меньшей мере времени обнаружения каждого упомянутого инцидента;

формирование пакета данных, содержащего по меньшей мере информацию о каждом выявленном инциденте и времени его фиксации; и

осуществление передачи упомянутого пакета данных на серверную часть.

2. Способ по п. 1, характеризующийся тем, что предобработка включает в себя перевод изображения в градации серого и нормализацию изображения.

3. Способ по п. 2, характеризующийся тем, что дополнительно выполняется по меньшей мере один тип обработки, выбираемый из группы: выравнивание изображения, изменение масштаба изображения, определение дополнительных ключевых точек, зеркальное отображение изображения лица относительно точки носа.

4. Способ по п. 3, характеризующийся тем, что выравнивание изображения осуществляется относительно вертикальной оси и/или относительно расположения глаз на изображении лица.

5. Способ по п. 1, характеризующийся тем, что вычислительное устройство дополнительно фиксирует координаты ГНСС ТС и/или скорость движения ТС и/или параметры технического состояния ТС.

6. Способ по п. 1, характеризующийся тем, что ТС содержит дополнительную камеру, обеспечивающую захват и передачу изображений окружающей обстановки ТС в вычислительное устройство для фиксации нарушения ПДД.

7. Способ по п. 1, характеризующийся тем, что набор типов инцидентов включает в себя: разговор по мобильному телефону, курение, препятствие работе системы, отвлечение от дороги, засыпание, зевание, водитель не пристегнут ремнем безопасности.

8. Способ по п. 7, характеризующийся тем, что на сервере осуществляется анализ санкционированного доступа к ТС на основании идентификации водителя ТС по полученным изображениям от вычислительного устройства.

9. Система видеоанализа и мониторинга событий, происходящих в кабине транспортного средства (ТС), в режиме реального времени, содержащая:

- камеру, выполненную с возможностью фиксации видеопотока данных в кабине ТС;

- вычислительное устройство, установленное в кабине ТС и связанное с упомянутой камерой, причем упомянутое устройство выполнено с возможностью выполнения способа по любому из пп. 1-7;

- сервер, связанный каналом передачи данных с вычислительным устройством.

10. Система по п. 9, характеризующаяся тем, что дополнительно содержит установленные на ТС: ГНСС - антенну, блок данных о состоянии ТС (БДТС), GSM/GPRS/LTE/5G модем или их сочетания.

11. Система по п. 9, характеризующаяся тем, что дополнительно включает АРМ сотрудника Ситуационного центра, выполненное с возможностью получения данных фиксации инцидентов от сервера.

12. Система по п. 9, характеризующаяся тем, что сервер обеспечивает анализ санкционированного доступа к ТС на основании идентификации водителя ТС по полученным изображениям от вычислительного устройства.

13. Система по п. 9, характеризующаяся тем, что содержит дополнительную камеру, установленную на ТС, обеспечивающую захват и передачу изображений окружающей обстановки ТС в вычислительное устройство для фиксации нарушений ПДД как ТС, так и другими участниками дорожного движения.