СПОСОБ И СИСТЕМА АНАЛИЗА ВИДЕОКОНТЕНТА ДЛЯ ТРАНСПОРТНОЙ СИСТЕМЫ Российский патент 2022 года по МПК B61L3/00 B61L15/00 B61L23/04 B61L27/00 G06K9/00 H04N5/232 H04N7/18 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] По данной заявке испрашивается приоритет на основании предварительной заявки на патент США № 62/337,225, поданной 16 мая 2016 г., испрашивается приоритет на основании предварительной заявки на патент США № 62/337,227, поданной 16 мая 2016 г., испрашивается приоритет на основании предварительной заявки на патент США № 62/337,228, поданной 16 мая 2016 г., испрашивается приоритет на основании обычной заявки на патент США № 15/595,712, поданной 15 мая 2017 г., испрашивается приоритет на основании обычной заявки на патент США № 15/595,650, поданной 15 мая 2017 г., частичным продолжением которой является настоящая заявка, и испрашивается приоритет на основании обычной заявки на патент США № 15/595,689, поданной 15 мая 2017 г., частичным продолжением которой является настоящая заявка, в пределах, допускаемых законодательством, содержимое которых в полном объёме включено в настоящее описание путём ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0002] Данное изобретение относится к оборудованию, используемому в дорогостоящих объектах и, в частности, к системам получения и записи данных в режиме реального времени, используемым в дорогостоящих объектах.

УРОВЕНЬ ТЕХНИКИ

[0003] Дорогостоящие подвижные объекты, такие как локомотивы, летательные аппараты, системы общественного транспорта, горнодобывающее оборудование, транспортируемое медицинское оборудование, грузовые, морские суда и военные суда, как правило, используют бортовые системы получения и записи данных типа «черный ящик» и/или системы «записи событий». Эти системы получения и записи данных, такие как устройства записи данных событий или устройства записи данных полета, регистрируют различные параметры системы, используемые для расследования происшествий, оценки эффективности работы экипажа, анализа эффективности использования топлива, планирования технического обслуживания, и прогнозирующей диагностики. Примерная система получения и записи данных содержит цифровые и аналоговые вводы, как, впрочем, и реле давления и преобразователи давления, которые записывают данные с различных бортовых устройств датчика. Записанные данные могут включать в себя такие параметры как скорость, пройденное расстояние, местоположение, уровень топлива, число оборотов в минуту (RPM) двигателя, уровни жидкостей, элементы управления оператора, давления, и условия окружающей среды. В дополнение к базовому событию и рабочим данным, также на многих из этих видов одинаковых подвижных объектов разворачиваются возможности записи аудио и видео событий/данных. Как правило, данные извлекаются из устройств записи данных, после того как происходит происшествие с объектом, и требуется расследование, как только устройство записи данных восстанавливается. Могут возникнуть определенные ситуации, где устройство записи данных не может быть восстановлено или данные иным образом являются недоступными. В этих ситуациях, данные, такие как события и рабочие данные, видеоданные, и аудиоданные, полученные посредством системы получения и записи данных, требуются срочно независимо от того, доступен ли физический доступ к системе получения и записи данных или данным.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0004] Данное изобретение относится в общем к системам получения и записи данных в режиме реального времени, которые используются в дорогостоящем объекте. Идеи в данном документе могут обеспечивать в режиме реального времени, или режиме близко к реальному времени доступ к видеоданным и анализ видеоконтента, относящегося к дорогостоящему подвижному объекту. Одна реализация способа обработки данных от подвижного объекта, описанного в данном документе, включает в себя этапы, на которых: принимают, используя компонент анализа видео на борту подвижного объекта, данные на основании по меньшей мере одного сигнала данных от по меньшей мере одного из по меньшей мере одного источника данных на борту подвижного объекта; и по меньшей мере одного источника данных, удаленного от подвижного объекта; обрабатывают, используя компонент вспомогательного обучения компонента анализа видео, данные в обработанные данные; отправляют, используя компонент анализа видео по меньшей мере одно из данных и обработанных данных устройству записи данных на борту подвижного объекта; кодируют, используя кодер данных устройства записи данных, запись, содержащую битовый поток, на основании обработанных данных; и сохраняют, используя бортовое средство администрирования данных устройства записи данных по меньшей мере одно из данных, обработанных данных, и записи с конфигурируемой первой заданной частотой в по меньшей мере одном локальном компоненте памяти устройства записи данных.

[0005] Одна реализация системы для анализа видеоконтента, описанная в данном документе, включает в себя по меньшей мере одно из следующего: по меньшей мере, одну камеру с 360-градусным обзором по меньшей мере одну фиксированную камеру, и по меньшей мере один микрофон; компонент анализа видео на борту подвижного объекта, причем компонент анализа видео содержит компонент вспомогательного обучения, компонент обнаружения и определения местоположения объекта, и компонент обнаружения препятствия, причем компонент анализа видео выполнен с возможностью приема данных на основании по меньшей мере одного сигнала данных от по меньшей мере одного из следующего: по меньшей мере, одной камеры с 360-градусным обзором по меньшей мере одной фиксированной камеры, и по меньшей мере одного микрофона; компонент вспомогательного обучения выполнен с возможностью обработки данных в обработанные данные; компонент обнаружения и определения местоположения объекта выполнен с возможностью определения данных обнаружения объекта и данных местоположения объекта у первого объекта на основании обработанных данных; и компонент обнаружения препятствия выполнен с возможностью определения информации обнаружения препятствия на основании по меньшей мере одного из обработанных данных, информации обнаружения объекта, и информации местоположения объекта.

[0006] Вариации этих и других аспектов изобретения будут описаны с дополнительными подробностями далее.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0007] Описание в данном документе приведено с обращением к сопровождающим чертежам, при этом аналогичные ссылочные позиции относятся к аналогичным частям на протяжении нескольких видов, и при этом:

[0008] Фиг. 1 иллюстрирует полевую реализацию примерной системы получения и записи данных в режиме реального времени в соответствии с реализациями данного изобретения;

[0009] Фиг. 2A является схемой, которая иллюстрирует примерное обнаружение пути в соответствии с реализациями данного изобретения;

[0010] Фиг. 2B является схемой, которая иллюстрирует примерное обнаружение пути и обнаружение стрелки в соответствии с реализациями данного изобретения;

[0011] Фиг. 2C является схемой, которая иллюстрирует примерное обнаружение пути, подсчет числа путей, и обнаружение сигнала в соответствии с реализациями данного изобретения;

[0012] Фиг. 3 является блок-схемой процесса определения внутреннего состояния подвижного объекта в соответствии с реализациями данного изобретения; и

[0013] Фиг. 4 является блок-схемой процесса определения обнаружения объекта и обнаружения препятствия, происходящих внешним образом по отношению к подвижному объекту в соответствии с реализациями данного изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0014] Описанные в данном документе система получения и записи данных в режиме реального времени и система анализа видео обеспечивают в режиме реального времени, или режиме близко к реальному времени, доступ к широкому диапазону данных, таким как событие и рабочие данные, видеоданные и аудиоданные, дорогостоящего объекта для удаленно расположенных пользователей. Система получения и записи данных записывает данные, относящиеся к объекту, и осуществляет потоковую передачу данных к удаленному хранилищу данных и удаленно расположенным пользователям до, во время, и после того, как происходит происшествие. Потоковая передача данных осуществляется к удаленному хранилищу данных в режиме реального времени, или режиме близко к реальному времени, делая информацию доступной по меньшей мере до момента происшествия или чрезвычайной ситуации, тем самым виртуально исключая необходимость определения местоположения и выгрузки «черного ящика» для расследования происшествия с участием объекта, посредством потоковой передачи информации удаленному хранилищу данных в режиме реального времени и делая информацию доступной по меньшей мере до момента катастрофического события. DARS выполняет анализ видео записанных видеоданных у подвижного объекта для определения, например, занятости кабины и обнаружения пути. Удаленно расположенный пользователь может использовать обычный веб-браузер, чтобы переходить к и просматривать требуемые данные, относящиеся к выбранному объекту, и ему не требуется взаимодействовать с системой получения и записи данных в объекте, чтобы запрашивать загрузку конкретных данных, чтобы определять местоположение и переносить файлы, и чтобы использовать специальное приложение, чтобы просматривать данные.

[0015] DARS обеспечивает удаленно расположенным пользователям доступ к видеоданным и анализ видео выполняется системой анализа видео посредством потоковой передачи данных удаленному хранилищу данных и удаленно расположенным пользователям до, во время, и после происшествия, тем самым исключая необходимость того, чтобы пользователь вручную загружал, извлекал, и воспроизводил видео, чтобы осуществлять экспертизу видеоданных, чтобы определять занятость кабины, присутствовал ли член экипажа или несанкционированное лицо во время происшествия, обнаружения пути, расследования или в любое другое интересующее время. Кроме того, система анализа видео обеспечивает определение состояния занятости кабины, обнаружение пути, и определение ведущего и прицепного узла посредством обработки изображения и видеоданных в режиме реального времени, тем самым гарантируя, что корректные данные являются всегда доступными пользователю. Например, обработка изображения в режиме реального времени гарантирует то, что локомотив, назначенный в качестве прицепного локомотива, не выполняет роль ведущего, чтобы повысить безопасность на железной дороге. Системы из уровня техники обеспечивали положение локомотива в составе посредством использования функциональной возможности сборки состава в системах диспетчеризации. Иногда информация системы диспетчеризации может быть устаревшей, поскольку информация не обновляется в режиме реального времени, и персонал экипажа может сменить локомотив, если сочтет необходимым.

[0016] До системы настоящего изобретения, инспекционные бригады и/или персонал объекта должны были вручную инспектировать условия пути, вручную проверять, находится ли транспортное средство в ведущем или прицепном положении, вручную обследовать местоположения каждого отдельного интересующего объекта, вручную создавать базу данных географических местоположений всех интересующих объектов, периодически выполнять полевые обследования вручную каждого интересующего объекта, чтобы проверить его местоположение и идентифицировать любые изменения в географическом местоположении, которые отличаются от исходного обследования, вручную обновлять базу данных, когда интересующие объекты изменили местоположение из-за ремонта или дополнительного развития инфраструктуры с момента, когда была создана исходная база данных, выбирать и загружать требуемые данные из устройства записи цифрового видео и/или устройства записи данных и инспектировать загруженные данные и/или видео автономно и проверять пути в отношении любых препятствий, и оператор транспортного средства должен был физически проверять любые препятствия и/или изменения стрелки. Система настоящего изобретения устраняет необходимость выполнения пользователями этих этапов, требуя только, чтобы пользователь использовал обычный веб-браузер, чтобы переходить к требуемым данным. Владельцы и операторы объекта могут автоматизировать и повысить эффективность и безопасность подвижного объекта в режиме реального времени и могут активно осуществлять контроль условий пути и могут получать информацию предупреждения в режиме реального времени. Система настоящего изобретения исключает необходимость того, чтобы владельцы и операторы объекта загружали данные из устройства записи данных для того, чтобы осуществлять контроль условий пути и расследовали происшествия. Как активная система безопасности, DARS может помогать оператору проверять любые препятствия, отправлять предупреждения в режиме реального времени и/или сохранять информацию автономно, и отправлять информацию предупреждения для удаленного контроля и хранения. Как текущая, так и прошлая информация обнаружения пути может быть сохранена в удаленном хранилище данных в режиме реального времени, чтобы помочь пользователю просматривать информацию, когда требуется. Удаленно расположенный пользователь может осуществлять доступ к обычному веб-браузеру, чтобы переходить к требуемым данным, относящимся к выбранному объекту, чтобы просматривать и анализировать рабочую эффективность и безопасность объекта в режиме реального времени или режиме, близком к реальному времени.

[0017] Система настоящего изобретения может быть использована, чтобы непрерывно осуществлять контроль интересующих объектов и идентифицировать в режиме реального времени, когда они были перемещены или повреждены, стали загорожены листвой и/или находятся в неисправном состоянии или им требуется обслуживание. DARS использует видео, изображение, и/или аудиоинформацию, чтобы обнаруживать и идентифицировать различные объекты инфраструктуры, такие как рельсовые пути, на видео, имеет возможность следования пути по мере движения подвижного объекта, и имеет возможность создания, контроля и периодического обновления базы данных интересующих объектов с географическим местоположением. DARS может автоматически инспектировать условия пути, как например подсчитывая число присутствующих путей, идентифицируя текущий путь, по которому едет подвижный объект, и обнаруживая любые присутствующие препятствия или дефекты, такие как вымытая подушка, поврежденные пути, путь с невыдержанным размером, смещенные стрелки, переезды стрелок, затопление путей, накопление снега и т.д., и планировать любые профилактические работы с тем, чтобы избежать каких-либо катастрофических событий. DARS также обнаруживает стрелки рельсового пути и следует изменениям пути. DARS может дополнительно обнаруживать изменение местоположения данных, включая то, отсутствует ли объект, загорожен и/или не присутствует в ожидаемом местоположении. Обнаружение пути, информация диагностирования инфраструктуры, и/или информация контроля инфраструктуры может быть отображена пользователю посредством использования любого стандартного веб-клиента, такого как веб-браузер, тем самым исключая необходимость загрузки файлов из устройства записи данных и использование специализированного прикладного программного обеспечения или других внешних приложений, чтобы просматривать информацию, как требовалось системами предшествующего уровня техники. Данный процесс может быть расширен до автоматического создания, контроля, и/или обновления базы данных с географическими местоположениями интересующих объектов, и чтобы гарантировать соблюдение Федеральных Правил. С помощью системы настоящего изобретения, камеры, ранее инсталлированные для соблюдения Федеральных Правил, используются чтобы выполнять различные задачи, которые ранее требовали взаимодействия с пользователем, специализированных транспортных средств, и/или дублирующее оборудование. DARS допускает выполнение этих задач автоматически по мере проезда подвижного объекта по территории как части нормальной коммерческой перевозки и ежедневной работы. DARS может быть использована для экономии бесчисленных человеко-часов ручной работы посредством использования нормальных операций транспортных средств и ранее инсталлированных камер для выполнения задач, которые ранее требовали усилий вручную. DARS также может выполнять задачи, которые ранее выполнялись используя специализированные транспортные средства, предотвращающие закрытие сегментов путей, чтобы инспектировать и определять местоположение пути и интересующих объектов, что обычно приводит к потерям коммерческой перевозки и к покупке и обслуживанию дорогого оборудования. DARS дополнительно уменьшает время, которое требуется чтобы люди располагались в непосредственной близости от рельсовых путей, приводя к меньшим общим несчастным случаям и потенциальной гибели людей.

[0018] Данные могут включать в себя, не ограничиваясь, измеренные аналоговые и частотные параметры, такие как скорость, давление, температура, ток, напряжение и ускорения, которые исходят от подвижного объекта и/или вблизи подвижного объекта; измеренные булевы данные, такие как положения стрелки, положения исполнительного механизма, подсветка сигнальной лампы, и команды исполнительного механизма; информация о положении, скорости и высоте над уровнем моря от глобальной системы позиционирования (GPS) и дополнительные данные от географической информационной системы (GIS), такие широта и долгота различных интересующих объектов; формируемую внутренним образом информацию, такую как регулирующее ограничение скорости для подвижного объекта при заданном его текущем положении; состояние управления составом и рабочие данные, формируемые системами, такими как принудительное управление составом (PTC); параметры транспортного средства и инерциальные параметры, такие как скорость, ускорение, и местоположение, такие как те, что принимаются от GPS; данные GIS, такие как широта и долгота различных интересующих объектов; видео и информация изображения от по меньшей мере одной камеры, расположенной в различных местоположениях в, на или в непосредственной близости от подвижного объекта; аудиоинформация от по меньшей мере одного микрофона, расположенного в различных местоположениях в подвижном объекте, на нём или в непосредственной близости от него; информация о рабочем плане для подвижного объекта, который отправляется подвижному объекту из центра обработки данных, такая как маршрут, расписание, и информация грузового манифеста; информация об условиях окружающей среды, такая как текущая и прогнозируемая погода, зоны в которой в настоящее время работает подвижный объект или запланирована его работа; и данные извлеченные из сочетания любого из приведенных выше источников, включая дополнительный анализ и аналитику данных, видео, и аудио.

[0019] «Путь» может включать в себя, но не ограничивается, рельсы и шпалы железной дороги, используемой для локомотивного и/или железнодорожного транспорта. «Интересующие объекты» могут включать в себя, не ограничиваясь, различные объекты инфраструктуры, установленные и обслуживаемые в непосредственной близости от путей железной дороги, которые могут быть идентифицированы с помощью использования вспомогательного обучения на изображениях и видео с камеры объекта. Вспомогательное обучение использует ранее маркированные наборы данных, определенные в качестве «обучающих» данных, для обеспечения удаленной и автономной идентификации объектов на виде с камеры в подвижном объекте, на нём или в непосредственной близости от него. DARS может или может не требовать взаимодействия с пользователем на любой стадии реализации, включая, но не ограничиваясь, маркирование наборов обучающих данных, требуемых для вспомогательного обучения. Интересующие объекты включают в себя, не ограничиваясь, пути, точки осевой линии пути, знаки верстовых столбов, сигналы, пропускные ворота, стрелки, переезды, и основанные на тексте знаки. «Анализ видео» относится к любой понятной информации, которая накапливается посредством анализа видео и/или изображения, записанных с по меньшей мере одной камеры в подвижном объекте, на нём или в непосредственной близости от него, такой как, не ограничиваясь, интересующие объекты, географические местоположения объектов, препятствия на пути, расстояния между интересующими объектами и подвижным объектом, смещение пути, и т.д. Система анализа видео также может быть использована в любом подвижном объекте, жилой зоне, пространстве или помещении, содержащем камеру наблюдения, для улучшения видеонаблюдения. В подвижном объекте система анализа видео обеспечивает автономное обнаружение события с занятой кабиной для удаленно расположенных пользователей экономным и эффективным образом.

[0020] Фиг. 1 иллюстрирует полевую реализацию первого варианта осуществления примерной системы 100 получения и записи данных (DARS) в режиме реального времени, в которой могут быть реализованы аспекты изобретения. DARS 100 является системой, которая доставляет информацию в режиме реального времени, видеоинформацию, и аудиоинформацию от устройства 102 записи данных на подвижном объекте 164 к удаленно расположенным конечным пользователям 168 через центр 166 обработки данных. Устройство 102 записи данных установлено на транспортном средстве или подвижном объекте 164 и осуществляет связь с любым числом различных источников информации посредством любого сочетания проводных и/или беспроводных линий 142 связи для передачи данных, таких как беспроводной шлюз/маршрутизатор (не показано). Устройство 102 записи данных накапливает видеоданные, аудиоданные и другие данные и информацию от широкого разнообразия источников, которые могут варьироваться на основании конфигурации объекта, посредством бортовых линий 142 связи для передачи данных. Устройство 102 записи данных содержит компонент локальной памяти, такой как ударопрочный модуль 104 памяти, бортовое средство 106 администрирования данных, и кодер 108 данных в объекте 164. Во втором варианте осуществления устройство 102 записи данных также может включать в себя неударопрочное съемное запоминающее устройство (не показано). Примерным ударопрочным модулем 104 памяти может быть, например, ударопрочный модуль памяти устройства записи событий, соответствующий Своду федеральных правил и правилам Федерального управления железных дорог, защищённый блок памяти, соответствующий Своду федеральных правил и правилам Федерального управления авиации, ударопрочный модуль памяти в соответствии с любым применимым Сводом федеральных правил, или любое другое подходящее защищённое устройство памяти, известное в данной области техники. Проводные и/или беспроводные линии связи для передачи данных могут включать в себя любое из вводов дискретного сигнала, стандартной или специализированной Ethernet, последовательных соединений, и беспроводных соединений, или их сочетание.

[0021] DARS 100 дополнительно содержит систему 100 анализа видео, которая включает в себя компонент 114 обнаружения пути и контроля инфраструктуры. Компонент 114 обнаружения пути и контроля инфраструктуры содержит компонент 124 вспомогательного обучения и другую нейронную сеть или компонент искусственного интеллекта, компонент 126 обнаружения и определения местоположения объекта, и компонент 128 обнаружения препятствия. В данной реализации, видеоданные прямого эфира захватываются по меньшей мере одной камерой 140, установленной в кабине объекта 164, на объекте 164, или в непосредственной близости от объекта 164. Камеры 140 помещаются на надлежащей высоте и с углом, чтобы захватывать видеоданные в объекте 164 и вокруг него и получать достаточную величину обзора для дальнейшей обработки. Видеоданные прямого эфира и данные изображения захватываются спереди и/или вокруг объекта 164 посредством камер 140 и подаются компоненту 114 обнаружения пути и контроля инфраструктуры для анализа. Компонент 114 обнаружения пути и контроля инфраструктуры системы 110 анализа видео обрабатывает видео прямого эфира и данные изображения кадр за кадром, чтобы обнаруживать присутствие рельсовых путей и любых интересующих объектов. Параметры положения камеры, такие как высота, угол, сдвиг, фокусное расстояние, и поле обзора могут либо подаваться компоненту 114 обнаружения пути и контроля инфраструктуры, либо камера 140 может быть выполнена с возможностью обеспечения того, чтобы система 110 анализа видео обнаруживала и определяла положение и параметры камеры.

[0022] Чтобы выполнять определение состояния, такое как обнаружение занятости кабины, система 110 анализа видео использует компонент вспомогательного обучения и/или алгоритмы искусственного интеллекта и обучения для оценки, например, видеоданных от камер 140, данных 134 объекта, таких как скорость, данных GPS и данных инерциального датчика, данных компонента 136 погоды и данных компонента 138 манифеста маршрута/экипажа и GIS. Обнаружение занятости кабины по своей природе подвержено источникам шума окружающей среды, таким как отражение света от облаков и проход солнечного света через здания и деревья в то время как объект движется. Чтобы обрабатывать шум окружающей среды, компонент 124 вспомогательного обучения, компонент 126 обнаружения и определения местоположения объекта, компонент обнаружения препятствия, данные компонента 134 объекта, которые могут включать в себя скорость, данные GPS, и данные инерциального датчика, данные компонента 136 погоды, и другие алгоритмы изучения компонуются вместе, чтобы формировать определение внутреннего и/или внешнего состояния с участием подвижного объекта 164. Компонент 114 обнаружения пути и контроля инфраструктуры также может включать в себя систему распознавания лица, выполненную с возможностью обеспечения авторизации доступа к локомотиву как части системы безопасности локомотива, компонент обнаружения утомления, выполненный с возможностью контроля бдительности экипажа, и компонент обнаружения деятельности, чтобы обнаруживать несанкционированную деятельность, такую как курение.

[0023] Вспомогательное обучение путей с использованием компонента вспомогательного обучения выполняется посредством использования различной информации, полученной из последовательных кадров видео и/или изображений и также используя дополнительную информацию, принятую от центра 166 обработки данных и компонента 134 данных транспортного средства, которая включает в себя данные инерциального датчика и данные GPS, чтобы определять изученные данные. Компонент 126 обнаружения и определения местоположения объекта использует изученные данные, принятые от компонента 124 вспомогательного обучения, и конкретную информацию о подвижном объекте 164 и железной дороге, такую как ширина и кривизна пути, позиционирование шпал, и скорость транспортного средства, чтобы дифференцировать рельсовые пути, знаки, сигналы, и т.д., от других объектов, чтобы определять данные обнаружения объекта. Компонент 128 обнаружения препятствия использует данные обнаружения объекта, принятые от компонента 126 обнаружения и определения местоположения объекта, и дополнительную информацию от компонента 136 погоды, компонента 138 данных манифеста маршрута/экипажа и данных GIS, и компонента 134 данных транспортного средства, которые включают в себя данные инерциального датчика и данные GPS, чтобы повышать точность и определять данные обнаружения препятствия. Данные подвижного объекта от компонента 134 данных транспортного средства, включают в себя, но не ограничиваются, скорость, местоположение, ускорение, угловую скорость поворота вокруг вертикальной оси/поворота вокруг поперечной оси, и рельсовые переезды. Любая дополнительная информация, принимаемая и используемая от центра 166 обработки данных, включает в себя, не ограничиваясь, подробности в отношении дня и ночи, и географическое положение подвижного объекта 164.

[0024] Инфраструктурные интересующие объекты, информация, обработанная компонентом 114 обнаружения пути и контроля инфраструктуры, и информация диагностики и контроля отправляется кодеру 108 данных устройства 102 записи данных через бортовые линии 142 связи для передачи данных, чтобы кодировать данные. Кодер 102 данных сохраняет закодированные данные в ударопрочном модуле 104 памяти, и при необходимости в неударопрочном съемном запоминающем устройстве, и отправляет закодированную информацию удаленному средству 146 администрирования данных в центре 166 обработки данных через беспроводную линию 144 связи для передачи данных. Удаленное средство 146 администрирования данных сохраняет закодированные данные в удаленном хранилище 148 данных в центре 166 обработки данных.

[0025] Чтобы определять обнаружение 128 препятствия или обнаружение 126 объекта, как например присутствие пути впереди объекта 164, система 110 анализа транспортного средства использует компонент 124 вспомогательного обучения или другое средство искусственного интеллекта, компонент 126 обнаружения и определения местоположения объекта, и компонент 128 обнаружения препятствия и другие алгоритмы обработки изображения, чтобы обрабатывать и оценивать изображения камеры и видеоданные от камер 140 в режиме реального времени. Компонент 114 обнаружения пути и контроля инфраструктуры использует обработанные видеоданные наряду с данными компонента 134 объекта, которые могут включать в себя скорость, данные GPS, и данные инерциального датчика, данные компонента 136, и данные компонента 138 манифеста маршрута/экипажа и GIS, чтобы определять определения внешнего состояния, такие как ведущий и прицепной подвижные объекты, в режиме реального времени. При обработке изображения и видеоданных в отношении обнаружения пути, например, система 110 анализа видео автоматически конфигурирует параметры камер 140, требуемые для обнаружения пути, обнаруживает прогон через стрелки, подсчитывает число путей, обнаруживает любые дополнительные пути вдоль стороны объекта 164, определяет путь, по которому объект 164 движется в настоящий момент, обнаруживает дефекты геометрии пути, обнаруживает сценарии вымывания пути, такие как обнаружение воды рядом с путем в рамках определенных лимитов путей, и обнаруживает сценарии отсутствующего откоса или пути. Точность обнаружения объекта зависит от существующих условий освещения в и вокруг объекта 164. DARS 100 будет обрабатывать разные условия освещения с помощью дополнительных данных, накапливаемых на борту объекта 164 и в центре 166 обработки данных. DARS 100 расширяется для работы в разных условиях освещения, для работы в разных погодных условиях, для обнаружения большего числа интересующих объектов, для интеграции с существующими системами базы данных, чтобы создавать, контролировать, и обновлять данные автоматически, для обнаружения нескольких путей, для работы последовательно с изогнутыми путями, для обнаружения любых препятствий, для обнаружения любого дефекта пути, который возможно вызывает проблемы безопасности, и для работы в недорогих встроенных системах.

[0026] Определение внутреннего и/или внешнего состояния из системы 110 анализа видео, такое как занятость кабины, обнаружение и определение местоположения объекта, такое как обнаружение пути, и обнаружение препятствия передаётся устройству 102 записи данных, наряду с любыми данными от системы администрирования транспортного средства (VMS) или компонента 132 устройства записи цифрового видео, через бортовые линии 142 связи для передачи данных. Устройство 102 записи данных сохраняет определение внутреннего и/или внешнего состояния, данные компонента 126 обнаружения и определения местоположения объекта, и данные компонента 128 обнаружения препятствия в ударопрочном модуле 104 памяти и при необходимости в неударопрочном съемном запоминающем устройстве второго варианта осуществления, и удаленном хранилище 148 данных через удаленное средство 148 администрирования данных, расположенное в центре 166 обработки данных. Веб-сервер 158 обеспечивает определение внутреннего и/или внешнего состояния, информацию 126 компонента обнаружения и определения местоположения объекта, и информацию компонента 128 обнаружения препятствия удаленно расположенному пользователю 168 через веб-клиент 162 по запросу.

[0027] Кодер 108 данных кодирует по меньшей мере минимальный набор данных, который, как правило, определяется регулирующим органом. Кодер 108 данных принимает видео, изображение и аудио данные от любого из камер 140, системы 110 анализа видео, и системы 132 администрирования видео и сжимает или кодирует данные и синхронизирует по времени данные для того, чтобы способствовать эффективной передаче и дублированию в режиме реального времени в удаленное хранилище 148 данных. Кодер 108 данных передает закодированные данные бортовому средству 106 администрирования данных, которое затем отправляет закодированные видео, изображения и аудио данные удаленному хранилищу 148 данных через удаленное средство 146 администрирования данных, расположенное в центре 166 обработки данных в ответ на запрос по требованию посредством пользователя 168 или в ответ на определенные рабочие условия, наблюдаемые на борту объекта 164. Бортовое средство 106 администрирования данных и удаленное средство 146 администрирования данных работают в унисон, чтобы осуществлять администрирование процесса дублирования данных. Удаленное средство 146 администрирования данных в центре 166 обработки данных может осуществлять администрирование дублирования данных от множества объектов 164.

[0028] Бортовое средство 108 администрирования данных определяет, должно ли обнаруженное событие, определение внутреннего и/или внешнего состояния, обнаружение и определение местоположения объекта, и/или обнаружение препятствия, быть поставлено в очередь или отправлено сразу на основании присвоения приоритета обнаруженному событию. Например, в ситуации нормальной работы, обнаружение препятствия на пути является много более срочным, чем обнаружение того, находится ли некто в кабине объекта 164. Бортовое средство 108 администрирования данных также отправляет данные хранилищу массового обслуживания (не показано). В режиме близко к реальному времени, бортовое средство администрирования данных сохраняет закодированные данные, принятые от кодера 108 данных и любую информацию события в ударопрочном модуле 104 памяти и в хранилище массового обслуживания. После того как в хранилище массового обслуживания были аккумулированы пять минут закодированных данных, бортовое средство 106 администрирования данных сохраняет пять минут закодированных данных в удаленном хранилище 148 данных через удаленное средство 146 администрирования данных в центре 166 обработки данных через беспроводную линию связи 144 для передачи данных. В режиме реального времени, бортовое средство 108 администрирования данных сохраняет закодированные данные, принятые от кодера 108 данных и любую информацию события в ударопрочном модуле 104 памяти и удаленном хранилище 148 данных через удаленное средство 146 администрирования данных в центре 166 обработки данных через беспроводную линию 144 связи для передачи данных.

[0029] В данной реализации бортовое средство 106 администрирования данных отправляет видеоданные, аудиоданные, определение внутреннего и/или внешнего состояния, информацию обнаружения и определения местоположения объекта, информацию обнаружения препятствия, и любые другие данные или информацию события удаленному хранилищу 148 данных через удаленное средство 146 администрирования данных в центре 166 обработки данных посредством беспроводной линии 144 связи для передачи данных. Беспроводная линия 144 связи для передачи данных может быть, например, беспроводной локальной сетью (WLAN), беспроводной городской сетью (WMAN), беспроводной глобальной сетью (WWAN), беспроводной виртуальной частной сетью (WVPN), сотовой телефонной сетью или любым другим средством переноса данных от устройства 102 записи данных к, в данном примере, удаленному средству 146 администрирования данных. Процесс извлечения данных удаленно от объекта 164 требует беспроводного соединения между объектом 164 и центром 166 обработки данных. Когда беспроводное соединение для передачи данных недоступно, данные сохраняются и организуются в очереди до тех пор, пока беспроводное соединение не восстановится.

[0030] Параллельно с записью данных, устройство 102 записи данных непрерывно и автономно дублирует данные на удаленное хранилище 148 данных. Процесс дублирования имеет два режима, режим реального времени и режим близко к реальному времени. В режиме реального времени, данные дублируются на удаленное хранилище 148 данных каждую секунду. В режиме близко к реальному времени, данные дублируются на удаленное хранилище 148 данных каждые пять минут. Частота, используемая для режима близко к реальному времени, является конфигурируемой, а частота, используемая для режима реального времени, может быть отрегулирована, чтобы поддерживать высокое разрешение данных посредством дублирования данных на удаленном хранилище 148 данных каждую 0.10 секунды. Режим близко к реальному времени используется во время нормальной работы, в большинстве условий, для того, чтобы повысить эффективность процесса дублирования данных.

[0031] Режим реального времени может быть инициирован на основании возникновения событий на борту объекта 164 или посредством запроса, инициированного от центра 166 обработки данных. Типичный инициируемый центром 166 обработки данных запрос в отношении режима в реальном времени инициируется, когда удаленно расположенный пользователь 168 запросил информацию в режиме реального времени из веб-клиента 162. Типичной причиной инициирования режима реального времени на борту объекта 164 является обнаружение события или происшествия с участием объекта 164, такого как инициируемый оператором запрос экстренной остановки, действие экстренного торможения, резкое ускорение или замедление по любой оси, или потеря входного питания на устройстве 102 записи данных. При переходе от режима близко к реальному времени к режиму реального времени, все данные которые еще не были продублированы на удаленное хранилище 148 данных, дублируются и сохраняются в удаленном хранилище 148 данных и затем инициируется дублирование вживую. Переход между режимом близко к реальному времени и режимом реального времени, как правило, происходит менее чем за пять секунд. После того, как заданное количество времени прошло с момента события или происшествия, заданное количество времени бездействия, или когда пользователю 168 более не требуется информация в режиме реального времени от объекта 164, устройство 102 записи данных возвращается к режиму близко к реальному времени. Заданное количество времени, требуемое для инициирования перехода, является конфигурируемым и, как правило, устанавливается в десять минут.

[0032] Когда устройство 102 записи данных находится в режиме реального времени, бортовое средство 106 администрирования данных пытается непрерывно опустошить свою очередь в удаленное средство 146 администрирования данных, сохраняя данные в ударопрочном модуле 140 памяти, и при необходимости в неударопрочном съемном запоминающем устройстве второго варианта осуществления, и отправляя данные удаленному средству 146 администрирования данных одновременно.

[0033] При приеме видеоданных, аудиоданных, определения внутреннего и/или внешнего состояния, информации обнаружения и определения местоположения объекта, информации обнаружения препятствия, и любых других данных или информации, которая должна быть продублирована от устройства 102 записи данных, удаленное средство 146 администрирования данных сохраняет данные, которые оно приняло от бортового средства 106 администрирования данных, такие как закодированные данные и обнаруженные данные события, в удаленном хранилище 148 данных в центре 166 обработки данных. Удаленное хранилище 148 данных может быть, например, основанным на облаке хранилищем данных или любым другим подходящим удаленным хранилищем данных. Когда данные принимаются, инициируется процесс, который предписывает декодеру 154 данных декодировать последние продублированные данные от удаленного хранилища 148 данных, и отправить декодированные данные к компоненту 150 информации обнаружения/определения местоположения пути/объекта, который просматривает сохраненные данные в отношении дополнительных 'пост-обработанных' событий. Компонент 150 информации обнаружения/определения местоположения пути/объекта включает в себя компонент обнаружения объекта/препятствия для определения определений внутреннего и/или внешнего состояния, информации обнаружения и определения местоположения объекта, и информации обнаружения препятствия, в данной реализации. По обнаружению внутренней и/или внешней информации, информации обнаружения и определения местоположения объекта, и/или информации обнаружения препятствия, компонент 150 информации обнаружения/определения местоположения пути/объекта сохраняет информацию в удаленном хранилище 148 данных.

[0034] Удаленно расположенный пользователь 168 может осуществлять доступ к видео данным, аудиоданным, определению внутреннего и/или внешнего состояния, информации обнаружения и определения местоположения объекта, информации обнаружения препятствия, и любой другой информации, хранящейся в удаленном хранилище 148 данных, включая информацию пути, информацию объекта, и информацию занятости кабины, относящуюся к конкретному объекту 164, или к множеству объектов, используя стандартный веб-клиент 162, такой как веб-браузер, или устройство виртуальной реальности (не показано), которое, в данной реализации, может отображать изображения миниатюр с выбранных камер. Веб-клиент 162 сообщает запрос пользователя 168 в отношении информации веб-серверу 158 через сеть 160, используя обычные веб-стандарты, протоколы, и методики. Сеть 160 может быть, например, Интернет. Сеть 160 также может быть локальной сетью (LAN), городской сетью (MAN), глобальной сетью (WAN), виртуальной частной сетью (VPN), сотовой телефонной сетью или любым другим средством переноса данных от веб-сервера 158 к, в данном примере, веб-клиенту 162. Веб-сервер 158 запрашивает требуемые данные у удаленного хранилища 148 данных и декодер 154 данных получает запрошенные данные, относящиеся к конкретному объекту 164, от удаленного хранилища 148 данных по запросу от веб-сервера 158. Декодер 158 данных декодирует запрошенные данные и отправляет декодированные данные локализатору 156. Локализатор 156 идентифицирует установки профиля, установленные пользователем 168 посредством доступа к веб-клиенту 162 и использует установки профиля, чтобы подготавливать информацию, отправляемую веб-клиенту 162 для представления пользователю 168, в качестве необработанных закодированных данных и обнаруженная информация обнаружения/определения местоположения пути/объекта сохраняется в удаленном хранилище 148 данных используя скоординированное мировое время (UTC) и единицы международной системы (единицы SI). Локализатор 156 преобразует декодированные данные в формат, требуемый пользователю 168, такой как предпочтительные единицы измерения пользователя 168 и язык. Локализатор 156 отправляет локализованные данные в предпочтительном формате пользователя 168 веб-серверу 158, как запрошено. Веб-сервер 158 затем отправляет локализованные данные веб-клиенту 162 для просмотра и анализа, обеспечивая воспроизведение и отображение в режиме реального времени стандартного видео и видео с 360-градусным обзором, наряду с определением внутреннего и/или внешнего состояния, информацией обнаружения и определения местоположения объекта, и информацией обнаружения препятствия, такого как изображения и информация пути, показанные на Фиг. 2A, 2B, и 2C.

[0035] Веб-клиент 162 расширяется с помощью приложения программного обеспечения, которое обеспечивает воспроизведение видео с 360-градусным обзором в многообразии разных режимов. Пользователь 168 может избирать режим, в котором приложение программного обеспечения представляет воспроизведение видео, такой как, например, вид с эффектом рыбьего глаза, развернутый вид, панорамный вид, двойной панорамный вид, и вид виртуального квадратора.

[0036] Фиг. 3 является блок-схемой, показывающей процесс 300 для определения внутреннего состояния объекта 164 в соответствии с реализацией данного изобретения. Система 110 анализа видео принимает 302 сигнал данных от различных компонентов ввода, таких как камеры 140 на, в, или в непосредственной близости от объекта 164, компонента 134 данных транспортного средства, компонента 136 погоды, и компонента 138 маршрута/манифеста и GIS. Система 110 анализа видео обрабатывает 304 сигналы данных, используя компонент вспомогательного обучения и определяет 306 внутреннее состояние, такое как занятость кабины.

[0037] Фиг. 4 является блок-схемой, показывающей процесс 400 определения обнаружения/местоположения объекта и обнаружения препятствия, происходящего внешним образом для объекта 164 в соответствии с реализацией данного изобретения. Система 110 анализа видео принимает 402 сигналы данных от различных компонентов ввода, таких как камеры 140 на объекте 164, в нём или в непосредственной близости от него, компонента 134 данных транспортного средства, компонента 136 погоды, и компонента 138 маршрута/манифеста и GIS. Система 110 анализа видео обрабатывает 404 сигналы данных, используя компонент 124 вспомогательного обучения, компонент 126 обнаружения/определения местоположения объекта, и компонент 128 обнаружения препятствия и определяет 406 обнаружение препятствия и определяет 408 обнаружение и определение местоположения объекта, такое как присутствие пути.

[0038] Для простоты объяснения, процесс 300 и процесс 400 изображены и описаны как ряд этапов. Тем не менее, этапы в соответствии с данным изобретением могут происходить в различных очередностях и/или параллельно. Кроме того, этапы в соответствии с данным изобретением могут происходить с другими этапами, не представленным и описанными в данном документе. Кроме того, не все иллюстрируемые этапы могут потребоваться для реализации способа в соответствии с раскрытым объектом изобретения.

[0039] При том, что настоящее изобретение было описано в связи с определенными вариантами осуществления, следует понимать, что изобретение не должно ограничиваться раскрытыми вариантами осуществления а, напротив, подразумевается, что оно охватывает различные модификации и эквивалентные конфигурации, включенные в объем прилагаемой формулы изобретения, объем которой должен соответствовать самой широкой интерпретации таким образом, чтобы охватывать все такие модификации и эквивалентные конфигурации, насколько это предусмотрено законодательством.

Предложена система анализа видеоконтента для подвижного объекта, которая включает в себя компонент обнаружения пути и контроля инфраструктуры. Компонент обнаружения пути и контроля инфраструктуры включает в себя компонент вспомогательного обучения, компонент обнаружения и определения местоположения объекта и компонент обнаружения препятствия, чтобы анализировать видеоданные, аудиоданные, данные транспортного средства, данные погоды, данные маршрута/манифеста, чтобы определять внутренние и/или внешние условия, относящиеся к объекту. Система получения и записи данных выгружает данные, информацию внутреннего и/или внешнего условия, информацию обнаружения объекта, информацию местоположения объекта и информацию обнаружения препятствия в удаленный модуль памяти и обеспечивает потоковую передачу видеоданных в режиме реального времени удаленно расположенному пользователю. Удаленно расположенные пользователи могут просматривать данные в различных режимах просмотра посредством веб-браузера или устройства виртуальной реальности, что предусматривает более быструю экстренную реакцию, проверку эффективности ремонта и изменения маршрута и контроль работы и безопасности экипажа. 2 н. и 16 з.п. ф-лы, 6 ил.

1. Способ обработки данных от подвижного объекта, содержащий этапы, на которых:

принимают, используя систему анализа видео на борту подвижного объекта, данные на основании по меньшей мере одного сигнала данных от по меньшей мере одного из:

по меньшей мере одного источника данных в реальном времени на борту подвижного объекта, при этом по меньшей мере один источник данных на борту подвижного объекта содержит по меньшей мере одно из компонента данных подвижного объекта, по меньшей мере одного микрофона, по меньшей мере одной фиксированной камеры и по меньшей мере одной камеры с 360-градусным обзором; и

по меньшей мере одного источника данных в реальном времени, удаленного от подвижного объекта, при этом по меньшей мере один источник данных, удаленный от подвижного объекта, содержит по меньшей мере одно из компонента погоды, маршрута, манифеста и географической информации, получаемой от географической информационной системы, и удаленного хранилища данных;

обрабатывают, используя по меньшей мере одно из компонента вспомогательного обучения и компонента искусственного интеллекта системы анализа видео, упомянутые данные в реальном времени в обработанные данные;

отправляют, используя систему анализа видео, по меньшей мере одно из данных и обработанных данных устройству записи данных на борту подвижного объекта;

кодируют, используя кодер данных устройства записи данных, первую запись на основании обработанных данных; и

сохраняют, используя бортовое средство администрирования данных устройства записи данных, по меньшей мере одно из данных в реальном времени, обработанных данных и первой записи с конфигурируемой первой заданной частотой по меньшей мере в одном из локального компонента памяти устройства записи данных и удаленного хранилища данных.

2. Способ по п. 1, в котором данные в реальном времени, принимаемые от компонента данных подвижного объекта, включают в себя данные глобальной системы позиционирования и данные инерциального датчика.

3. Способ по п. 1, в котором данные в реальном времени содержат по меньшей мере одно из видеоинформации, принимаемой от по меньшей мере одного из по меньшей мере одной фиксированной камеры и по меньшей мере одной камеры с 360-градусным обзором, и аудиоинформации, принимаемой от по меньшей мере одного микрофона.

4. Способ по п. 1, дополнительно содержащий этапы, на которых:

определяют, используя компонент обнаружения и определения местоположения объекта системы анализа видео, по меньшей мере одно из первых данных обнаружения объекта и первых данных местоположения объекта первого объекта на основании обработанных данных; и

идентифицируют, используя компонент обнаружения и определения местоположения объекта, внутреннее условие с участием подвижного объекта на основании по меньшей мере одного из первых данных обнаружения объекта и первых данных местоположения объекта.

5. Способ по п. 4, дополнительно содержащий этапы, на которых:

определяют, используя компонент обнаружения препятствия системы анализа видео, данные обнаружения препятствия на основании по меньшей мере одного из обработанных данных, первых данных обнаружения объекта и первых данных местоположения объекта; и

идентифицируют, используя компонент обнаружения препятствия, условие, внешнее по отношению к подвижному объекту, на основании данных обнаружения препятствия.

6. Способ по п. 5, в котором данные обнаружения препятствия основаны на условии того, что по меньшей мере одно из первых данных местоположения объекта и первых данных обнаружения объекта являются сходными с вторыми данными местоположения объекта и вторыми данными обнаружения объекта второго объекта.

7. Способ по п. 4, в котором по меньшей мере одно из внутреннего условия содержит занятость кабины подвижного объекта, и условие, внешнее по отношению к подвижному объекту, содержит обнаружение пути.

8. Способ по п. 5, дополнительно содержащий этапы, на которых:

принимают, используя устройство записи цифрового видео на борту подвижного объекта, мультимедийные данные в реальном времени на основании по меньшей мере одного сигнала данных в реальном времени от по меньшей мере одного из:

по меньшей мере одной камеры с 360-градусным обзором;

по меньшей мере одной фиксированной камеры; и

по меньшей мере одного микрофона;

принимают мультимедийные данные в реальном времени, используя устройство записи данных;

кодируют, используя кодер данных устройства записи данных, вторую запись на основании по меньшей мере одного из условия, внешнего по отношению к подвижному объекту, и данных обнаружения препятствия; и

сохраняют, используя бортовое средство администрирования данных устройства записи данных, по меньшей мере одно из условия, внешнего по отношению к подвижному объекту, и второй записи с конфигурируемой первой заданной частотой по меньшей мере в одном из локального компонента памяти устройства записи данных и удаленного хранилища данных.

9. Способ по п. 4, дополнительно содержащий этапы, на которых:

принимают, используя устройство записи данных, по меньшей мере одно из внутреннего условия, первых данных обнаружения объекта и первых данных местоположения объекта;

кодируют, используя кодер данных устройства записи данных, вторую запись на основании по меньшей мере одного из внутреннего условия, первых данных обнаружения объекта и первых данных местоположения объекта; и

сохраняют, используя бортовое средство администрирования данных устройства записи данных, по меньше мере одно из внутреннего условия, первых данных обнаружения объекта, первых данных местоположения объекта и второй записи, с конфигурируемой первой заданной частотой по меньшей мере в одном из локального компонента памяти устройства записи данных и удаленного хранилища данных.

10. Способ по п. 5, дополнительно содержащий этапы, на которых:

принимают, используя устройство записи данных, по меньшей мере одно из условия, внешнего по отношению к подвижному объекту и данных обнаружения препятствия;

кодируют, используя кодер данных устройства записи данных, вторую запись на основании по меньшей мере одного из условия, внешнего по отношению к подвижному объекту и данных обнаружения препятствия; и

сохраняют, используя бортовое средство администрирования данных устройства записи данных, по меньшей мере одно из условия, внешнего по отношению к подвижному объекту, данных обнаружения препятствия, и второй записи с конфигурируемой первой заданной частотой по меньшей мере в одном из локального компонента памяти устройства записи данных и удаленного хранилища данных.

11. Способ по п. 1, в котором конфигурируемая первая заданная частота является конфигурируемой между нулем секунд и пятью минутами.

12. Способ по п. 1, дополнительно содержащий этапы, на которых:

отправляют, используя бортовое средство администрирования данных, первую запись удаленному средству администрирования данных через беспроводную линию связи для передачи данных с конфигурируемой второй заданной частотой, при этом вторая заданная частота является конфигурируемой между нулем секунд и пятью минутами; и

сохраняют, используя удаленное средство администрирования данных, первую запись в удаленном хранилище данных.

13. Система для анализа видеоконтента, содержащая:

по меньшей мере одно из по меньшей мере одной камеры с 360-градусным обзором, по меньшей мере одной фиксированной камеры и по меньшей мере одного микрофона;

систему анализа видео на борту подвижного объекта, причем система анализа видео содержит по меньшей мере одно из компонента вспомогательного обучения и компонента искусственного интеллекта, компонента обнаружения и определения местоположения объекта и компонента обнаружения препятствия, причем система анализа видео выполнена с возможностью приема данных в реальном времени на основании по меньшей мере одного сигнала данных от по меньшей мере одного из по меньшей мере одной камеры с 360-градусным обзором, по меньшей мере одной фиксированной камеры и по меньшей мере одного микрофона;

при этом по меньшей мере один из компонента вспомогательного обучения и компонента искусственного интеллекта выполнен с возможностью обработки упомянутых данных в реальном времени в обработанные данные;

компонент обнаружения и определения местоположения объекта выполнен с возможностью определения данных обнаружения объекта в реальном времени и данных местоположения объекта в реальном времени для первого объекта на основании обработанных данных; и

компонент обнаружения препятствия выполнен с возможностью определения информации обнаружения препятствия в реальном времени на основании по меньшей мере одного из информации обнаружения объекта в реальном времени и информации местоположения объекта в реальном времени;

устройство записи цифрового видео на борту подвижного объекта, выполненное с возможностью приема данных в реальном времени на основании по меньшей мере одного сигнала данных в реальном времени от по меньшей мере одного из по меньшей мере одной камеры с 360-градусным обзором, по меньшей мере одной фиксированной камеры и по меньшей мере одного микрофона; и

устройство записи данных на борту подвижного объекта содержит кодер данных, бортовое средство администрирования данных и по меньшей мере один локальный компонент памяти, причем устройство записи данных выполнено с возможностью сохранения данных в реальном времени с конфигурируемой первой заданной частотой по меньшей мере в одном из локального компонента памяти и удаленного хранилища данных.

14. Система по п. 13, дополнительно содержащая:

компонент данных транспортного средства на борту подвижного объекта, компонент данных транспортного средства содержит глобальную систему позиционирования (GPS) и инерциальный датчик, при этом компонент данных транспортного средства выполнен с возможностью отправки по меньшей мере одного из данных глобальной системы позиционирования и данных инерциального датчика системе анализа видео;

компонент погоды, выполненный с возможностью отправки по меньшей мере одного из текущей информации погоды и прогнозируемой информации погоды системе анализа видео;

компонент манифеста маршрута и географической информационной системы (GIS), выполненный с возможностью отправки по меньшей мере одного из информации маршрута, информации экипажа, информации манифеста и информации GIS системе анализа видео,

при этом по меньшей мере один из компонента вспомогательного обучения и компонента искусственного интеллекта выполнен с возможностью использования по меньшей мере одного из данных глобальной системы позиционирования, данных инерциального датчика, текущей информации погоды, прогнозируемой информации погоды, информации маршрута, информации экипажа, информации манифеста, информации GIS для обработки данных в обработанные данные.

15. Система по п. 13, дополнительно содержащая:

устройство записи данных на борту подвижного объекта, при этом устройство записи данных на борту подвижного объекта содержит по меньшей мере один локальный компонент памяти, бортовое средство администрирования данных и кодер данных, причем устройство записи данных выполнено с возможностью приема по меньшей мере одного из обработанных данных, информации обнаружения объекта в реальном времени, информации местоположения объекта в реальном времен и информации препятствия в реальном времени от системы анализа видео;

кодер данных выполнен с возможностью кодирования записи на основании по меньшей мере одного из обработанных данных, информации обнаружения объекта в реальном времени, информации местоположения объекта в реальном времени и информации препятствия в реальном времени; и

бортовое средство администрирования данных выполнено с возможностью сохранения по меньшей мере одного из записи, обработанных данных, информации обнаружения объекта в реальном времени, информации местоположения объекта в реальном времени и информации препятствия в реальном времени с конфигурируемой первой заданной частотой в одном из по меньшей мере одного локального компонента памяти и удаленного хранилища данных, удаленного от подвижного объекта.

16. Система по п. 15, дополнительно содержащая:

удаленное средство администрирования данных, которое удалено от подвижного объекта, причем удаленное средство администрирования данных выполнено с возможностью приема записи от бортового средства администрирования данных через беспроводную линию связи для передачи данных; и

удаленное хранилище данных выполнено с возможностью сохранения записи, принятой от удаленного средства администрирования данных с конфигурируемой второй заданной частотой, при этом вторая заданная частота является конфигурируемой между нулем секунд и пятью минутами.

17. Система по п. 16, дополнительно содержащая:

декодер данных, который удален от подвижного объекта, причем декодер данных выполнен с возможностью приема записи от удаленного хранилища данных и декодирования записи; и

внешний компонент контроля, который удален от подвижного объекта, причем внешний компонент контроля выполнен с возможностью идентификации по меньшей мере одного из информации обнаружения объекта в реальном времени, информации местоположения объекта в реальном времени и информации препятствия в реальном времени.

18. Система по п. 16, дополнительно содержащая:

веб-клиент, содержащий устройство отображения;

веб-сервер, который осуществляет беспроводную связь с веб-клиентом, причем веб-сервер выполнен с возможностью приема запроса, содержащего указанные данные, относящиеся к подвижному объекту и указанному режиму просмотра;

компонент локализации, который осуществляет беспроводную связь с веб-сервером, причем компонент локализации выполнен с возможностью приема указанных данных от декодера данных и изменения указанных данных на основании установки времени и установки единицы измерения, указанных удаленным пользователем, причем указанные данные основаны по меньшей мере на одном из записи, обработанных данных, информации обнаружения объекта в реальном времени, информации местоположения объекта в реальном времени и информации препятствия в реальном времени;

веб-сервер выполнен с возможностью приема указанных данных; и

устройство отображения выполнено с возможностью отображения указанных данных в указанном виде.