Способ детекции вмятин на элементах кузова транспортных средств и устройство для реализации данного способа Российский патент 2021 года по МПК G01B11/30 G06K9/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области обработки цифровых данных, в частности, к способу и когнитивной системе видеоанализа для детекции повреждений на транспортных средствах, а именно к области автоматизации подсчета количества вмятин и их физических параметров на элементах кузова транспортных средств, вызванных внешними воздействиями. Технический результат заключается упрощении процедуры оценки повреждений и в сокращения времени, затрачиваемого на оценку повреждений транспортных средств в результате воздействия на транспортное средство природных явлений, таких как, например, град.

УРОВЕНЬ ТЕХНИКИ

В целях обобщения терминологии в настоящем описании изобретение, понятия:

- «повреждение» и «вмятина»,

- «система детекции вмятин на элементах кузова транспортных средств», «система детекции вмятин» и «программно-аппаратный комплекс»

должны считаться тождественными.

В настоящий момент основным способом оценки количественного значения повреждений на транспортных средствах в результате внешних воздействий, в том числе при множественных воздействиях, таких как повреждения от града, до сих пор является ручной способ, когда специалист осматривает транспортное средство на предмет выявления дефектов на кузовных элементах транспортного средства.

Временные затраты на подсчет количества повреждений и их систематизацию для одного автомобиля составляют до 8 часов. Такие сроки при ручном методе обуславливаются мелким размером вмятин, их количеством, а также потребностью в использовании специального освещения (лампы отраженного света, используемые в технологии беспокрасочного удаления вмятин - Paintless Dent Repair (PDR)), которое улучшает видимость дефектов и позволяет провести оценку их размеров и состояния поверхности в местах повреждения. Невысокую скорость этого процесса определяют необходимость постоянного перемещения такого освещения, а также ручной способом фиксации полученных данных.

Известен способ идентификации и документирования количества повреждений на транспортном средстве, патент US007331133 от 19.02.2008, заключающийся в том, что на каждую вмятину на поверхности устанавливается маркер, далее производится подсчет маркеров, после чего маркеры удаляются. Очевидны недостатки данного способа, заключающиеся в том, что несмотря на упрощение процедуры подсчета так или иначе специалисту все равно необходимо сперва идентифицировать места установки данных маркеров, что очень незначительно сокращает время процедуры оценки в целом.

Известна система детекции повреждений и способ оценки повреждений на транспортных средствах, патент CN111604387A от 26.02.2019, заключающийся в том, что для определения повреждений используется сканирование поверхности транспортного средства с последующим сравнением полученного профиля поверхности с исходным шаблоном поверхности до повреждения. Очевидно, что несмотря на технологичность данного способа и высокую скорость оценки при использовании компьютерных автоматизированных систем обработки полученных данных, имеются недостатки, выражающиеся в потребности в пространственной сканирующей системе, которая обычно использует лазерное излучение, а также в исходном шаблоне профиля поверхности до повреждения, который не является очевидным и доступным элементом. Кроме систем лазерного сканирования могут применяться и другие способы построения трехмерной модели, например, на базе TOF-камер (TimeOfFlight), формирующих так называемое дальностное изображение, или на базе ультразвукового сканирования, но любой из данных методов требует применения высокотехнологичного дорогостоящего оборудования и показывает высокую случайную погрешность сканирования.

Известен способ детекции повреждений и мобильное автоматизированное устройство для обнаружения и классификации повреждений на кузове транспортного средства, выбранный в качестве прототипа, патент US 20200011808 от 09 января 2020 года, которое имеет опорную конструкцию, определяющую зону прохода транспортного средства, на которой установлены осветительные приборы, приспособления для проецирования сетчатого рисунка на поверхности кузова транспортного средства, датчики расстояния, средства записи изображений и блок электронной обработки этих изображений с целью обнаружения, регистрации, подсчета и классификации повреждений. Недостатком данного решения является размер данной установки, низкая мобильность несмотря на использование авторами термина "мобильная" в названии патента, наличие большого количества высокотехнологичных элементов (проектор световой картины, датчики расстояния, фото-видеокамеры и пр.), а также невозможностью применять ее при специфических условиях освещения, например, при ярком солнечном свете, поскольку в этом случае будет существенно меняться видимость проецируемых линий на поверхности, что сказывается на точности детекции повреждений из-за ограниченных возможностей алгоритмов обработки изображений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задачей изобретения является разработка автоматизированного бесконтактного способа детекции вмятин на элементах кузова транспортных средств и программно-аппаратного комплекса для реализации этого способа, позволяющих обеспечить высокую мобильность, производительность, универсальность и низкую стоимость за счет исключения применения специализированных датчиков и оборудования.

Общая схема, поясняющая сущность изобретения, представлена на Фиг. 1.

Ключевой особенностью, определяющей изобретательский уровень предлагаемого решения, является использование для задач нахождения вмятин на поверхности элементов кузова транспортного средства нейронных сетей.

В общем смысле слова, нейронные сети - это математические модели, работающие по принципу сетей нервных клеток животного организма. Для простоты восприятия нейрон такой нейронной сети можно представить, как некую ячейку, у которой имеется множество входных отверстий и одно выходное. То, каким образом многочисленные входящие сигналы формируются в выходящий, как раз и определяет результат работы нейронной сети. На каждый вход нейрона подаются действенные значения, которые затем распространяются по межнейронным связям (синапсам). У синапсов есть один параметр - вес, благодаря которому входная информация изменяется при переходе от одного нейрона к другому. Сама нейросеть представляет собой систему из множества таких нейронов (процессоров). По отдельности эти процессоры достаточно просты, но будучи соединенными в большую систему нейроны способны выполнять сложные задачи.

Основным преимуществом нейросетей над обычными алгоритмами вычисления является возможность их обучения. В общем смысле слова, обучение заключается в нахождении верных коэффициентов связи между нейронами, а также в обобщении данных и выявлении сложных зависимостей между входными и выходными сигналами. Фактически, удачное обучение нейросети означает, что система впоследствии будет способна выявить верный результат на основании данных, отсутствующих в обучающей выборке.

В настоящих материалах заявки будут использованы следующие термины и определения.

Предиктор - классифицирующий алгоритм, которым в частном случае может являться сверточная нейронная сеть, дерево решений или любой алгоритм, способный классифицировать входные данные на конечное множество классов.

Нейросетевой предиктор - классифицирующий алгоритм, основанный на использовании предварительно обученной сверточной нейронной сети или их множества, целью применения которых является классификация входного изображения, то есть нахождения соответствия между входным изображением и заранее определенным множеством возможных классов (категорий), к которым это изображение или его часть может относиться.

В предпочтительном варианте реализации заявлен компьютерно-реализуемый способ детекции вмятин на элементах кузова транспортных средств, заключающийся в выполнении этапов, на которых с помощью устройства получения цифровых изображений и вычислительного устройства производится:

- получение устройством получения цифровых изображений по меньшей мере одного цифрового изображения ультрафиолетового, инфракрасного или видимого спектрального диапазона, характеризующего транспортное средство или его часть;

- выполнение на основании анализа на по меньшей мере одном полученном цифровом изображении, характеризующем изображение транспортного средства или его части, детекции и классификации по меньшей мере одного элемента кузова транспортного средства, причем анализ включает в себя обработку области изображения с помощью предиктора на предмет наличия по меньшей мере одного типа элемента кузова транспортного средства из заданного набора возможных типов элементов кузова транспортного средства;

- выполнение кадрирования и сегментации по меньшей мере одного цифрового изображения, характеризующего изображение транспортного средства или его части, содержащего по меньшей мере один выявленный элемент кузова транспортного средства, с получением по меньшей мере одного сегментированного цифрового изображения, содержащего только элемент кузова транспортного средства;

- определение на основании анализа на по меньшей мере одном полученном цифровом изображении элемента кузова транспортного средства и выделение на нем по меньшей мере одной вмятины, причем анализ включает в себя обработку области изображения с помощью нейросетевого предиктора на предмет наличия вмятин на цифровом изображении элемента кузова транспортного средства;

- выполнение алгоритмической обработки данных для обнаруженных на элементе кузова транспортного средства вмятин с определением для каждой вмятины по меньшей мере одного параметра, выбираемого из группы: координаты пространственного расположения на элементе кузова транспортного средства, геометрический размер, площадь, объем;

- формирование пакета консолидированных данных, полученных при обработке цифровых изображений данного транспортного средства или его частей, содержащего информацию по меньшей мере об одном параметре, выбираемом из группы: количество вмятин на по меньшей мере одном элементе кузова транспортного средства, координаты пространственного расположения по меньшей мерее одной вмятины, физические параметры по меньшей мере одной вмятины, физические параметры произвольной совокупности вмятин.

В другом предпочтительном варианте реализации заявлен компьютерно-реализуемый способ детекции вмятин на элементах кузова транспортных средств, заключающийся в выполнении этапов, на которых с помощью устройства получения цифровых изображений и вычислительного устройства производится:

- получение устройством получения цифровых изображений, по меньшей мере одного цифрового изображения ультрафиолетового, инфракрасного или видимого спектрального диапазона, характеризующего транспортное средство или его часть;

- выполнение на основании анализа на по меньшей мере одном полученном цифровом изображении, характеризующем транспортное средство или его часть, сегментации и классификации с получением по меньшей мере одного сегментированного и классифицированного цифрового изображения, содержащего только элемент кузова транспортного средства, причем анализ включает в себя обработку области изображения с помощью предиктора на предмет наличия по меньшей мере одного типа элемента кузова транспортного средства из заданного набора возможных типов элементов кузова транспортного средства;

- определение и выделение на основании анализа на по меньшей мере одном полученном цифровом изображении элемента кузова транспортного средства по меньшей мере одной вмятины, причем анализ включает в себя обработку области изображения с помощью нейросетевого предиктора на предмет наличия вмятин на цифровом изображении элемента кузова транспортного средства;

- выполнение алгоритмической обработки данных для обнаруженных на элементе кузова транспортного средства вмятин с определением по меньшей мере одного параметра для каждой вмятины, выбираемого из группы: координаты пространственного расположения на элементе кузова транспортного средства, геометрический размер, площадь, объем;

- формирование пакета консолидированных данных, полученных при обработке цифровых изображений данного транспортного средства или его частей, содержащего информацию по меньшей мере об одном параметре, выбираемом из группы: количество вмятин на по меньшей мере одном элементе кузова транспортного средства, координаты пространственного расположения по меньшей мерее одной вмятины, физические параметры по меньшей мере одной вмятины, физические параметры произвольной совокупности вмятин.

В частном варианте способа на любом из этапов может выполняться предобработка изображения, когда выполняется по меньшей мере один тип обработки, выбираемый из группы: выравнивание изображения, изменение пропорций изображения, изменение масштаба изображения, изменение размера изображения, преобразование изображения в градации серого цвета, преобразование изображения с использованием цветового фильтра, нормализация изображения, а сами этапы могут выполняться в произвольной последовательности.

В другом частном варианте способа получают и обрабатывают множество цифровых изображений транспортного средства или его части, полученных с различных ракурсов, а сами цифровые изображения получают при перемещении устройства получения цифровых изображений.

В другом частном варианте способа для целей получения цифровых изображений, характеризующих транспортное средство или его части, источник получения цифровых изображений размещается на удлинителе, беспилотном летательном аппарате, роботизированном устройстве и/или платформе, осуществляющих функционирование при управлении оператором или в автоматическом режиме.

В другом частном варианте способа для целей получения цифровых изображений, характеризующих транспортное средство или его часть, одновременно применяются по меньшей мере два источника получения цифровых изображений при их стационарном размещении, когда источники цифровых изображений располагаются неподвижно, а транспортное средство перемещается в их поле зрения.

В другом частном варианте способа дополнительно используется по крайней мере один сторонний источник освещения, позволяющий получить цифровые изображения, характеризующие транспортное средство или его часть, для данного ракурса съемки при различном направлении освещения.

В другом частном варианте способа получение цифровых изображений, характеризующих транспортное средство или его часть, реализуется как по команде оператора, так и в автоматическом режиме по заранее заданному алгоритму.

В другом частном варианте способа на элементы кузова транспортного средства предварительно наносят масштабные метки известного линейного размера.

В другом частном варианте способа для обработанных цифровых изображений, характеризующих транспортное средство или его часть, реализуется по меньшей мере один из типов дополнительной обработки, выбираемый из группы: выполняется алгоритмическая фильтрация шумов обнаруженных вмятин, строится трехмерная пространственная модель обнаруженных вмятин с возможностью отображения в режиме виртуальной реальности или дополненной реальности; распознаются данные государственного регистрационного знака транспортного средства; по заранее заданным алгоритмам оценивается стоимость работ по ремонту обнаруженных вмятин для каждого элемента кузова транспортного средства в отдельности или для их произвольной совокупности.

Заявленное решение также осуществляется за счет системы детекции вмятин на элементах кузова транспортных средств, обеспечивающей возможность выполнения способа по любому из пп. 1-10, содержащей связанные между собой:

- устройство получения цифровых изображений,

- вычислительное устройство,

- абонентское устройство с пользовательским программным интерфейсом.

В частном варианте системы детекции вмятин на элементах кузова транспортных средств система позволяет получать и обрабатывать множество цифровых изображений транспортного средства или его частей, полученных с различных ракурсов, а сами цифровые изображения получают перемещением устройства получения цифровых изображений

В частном варианте системы детекции вмятин на элементах кузова транспортных средств для целей получения цифровых изображений, характеризующих транспортное средство или его частей, источник цифровых изображений размещается на удлинителе, беспилотном летательном аппарате, роботизированном устройстве и/или платформе, осуществляющих функционирование при управлении оператором или в автоматическом режиме.

В другом частном варианте системы детекции вмятин на элементах кузова транспортных средств одновременно применяются по меньшей мере два устройства получения цифровых изображений при их стационарном размещении, когда источники цифровых изображений располагаются неподвижно, а транспортное средство перемещается в их поле зрения, позволяя получить набор цифровых изображений, характеризующих транспортное средство или его части.

В другом частном варианте системы детекции вмятин на элементах кузова транспортных средств дополнительно используется по меньшей мере один сторонний источник освещения, позволяющий получить цифровые изображения, характеризующие транспортное средство или его часть, для данного ракурса съемки при различном направлении освещения.

В другом частном варианте системы детекции вмятин на элементах кузова транспортных средств получение цифровых изображений реализуется как по команде оператора, так и в автоматическом режиме по заранее заданному алгоритму.

В другом частном варианте системы детекции вмятин на элементах кузова транспортных средств вычислительным устройством выступает удаленный сервер или сеть связанных серверов, связанных с элементами программно-аппаратного комплекса каналом передачи данных.

В другом частном варианте системы детекции вмятин на элементах кузова транспортных средств на элементы кузова транспортного средства устанавливаются масштабные метки известного линейного размера.

В другом частном варианте системы детекции вмятин на элементах кузова транспортных средств все элементы системы детекции вмятин на элементах кузова транспортных средств объединены в единое устройство, либо два произвольных элемента системы детекции объединены в единое устройство.

В другом частном варианте системы детекции вмятин на элементах кузова транспортных средств вычислительное устройство имеет по меньшей мере один акселератор вычислений на базе нейросетевого процессора (NPU).

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг. 1 иллюстрирует общую схему заявленной системы;

Фиг. 2 иллюстрирует общую схему программный модулей, входящих в вычислительное устройство;

Фиг. 3 иллюстрирует алгоритмическую блок-схему работы функционала заявленного решения;

Фиг. 4 иллюстрирует схему обучения предиктора/нейросетевого предиктора;

Фиг. 5 иллюстрирует общую схему вычислительного устройства.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Настоящее изобретение направлено на обеспечение компьютерно-реализуемого способа и системы детекции вмятин на элементах кузова транспортных средств.

Как представлено на Фиг. 1, заявленный программно-аппаратный комплекс (100) включает связанные между собой каналом передачи данных элементы, а именно устройство получения цифровых изображений (101), вычислительное устройство (102) и абонентское устройство с пользовательским программным интерфейсом (103). Элементы программно-аппаратного комплекса (100) связаны между собой проводным или беспроводным каналом передачи данных.

Устройство получения цифровых изображений (101) представляет собой фото или видеокамеру, предпочтительно, видимого оптического диапазона, предназначенную для получения изображений транспортного средства.

Управление работой устройства получения цифровых изображений (101) осуществляется через абонентское устройство с пользовательским программным интерфейсом (103). Полученные цифровые изображения передаются на вычислительное устройство (102), которое обеспечивает обработку данных, систематизацию работы над данными для различных транспортных средств, возможность хранения и доступа к консолидированным архивным данным, просмотр и взаимодействие с информацией анализа и т.д.

Режим работы устройства получения цифровых изображений (101) может заключаться в получении для обработки по команде из интерфейса абонентского устройства (103) единичного цифрового изображения, непрерывном формировании таких изображений до получения команды остановки, получения определенного количества изображений, загрузки произвольных изображений, полученных ранее с других источников изображений, и т.п.

Вычислительное устройство (102) выполнено с возможностью агрегации передаваемых с устройства получения цифровых изображений (101) цифровых изображений для формирования очереди обработки, а также промежуточного хранения результата такой обработки. Вычислительное устройство (102) выполняется с возможностью взаимодействия с абонентским устройством с пользовательским программным интерфейсом (103) для целей управления обработкой, доступа к результатам обработки, формирования отчетов по результатам обработки, прочих задач взаимодействия с пользователем.

Элементы комплекса подключаются между собой, предпочтительно, по беспроводным интерфейсам (в частности, Bluetooth или WiFi), но могут применяться и проводные типы соединения, например по интерфейсу USB.

В состав программной части вычислительного устройства (102), как представлено на Фиг. 2, входят такие основные программные модули как:

- предиктор определения элементов кузова транспортного средства (1021),

- нейросетевой предиктор определения вмятин на элементах кузова транспортного средства (1022),

- программно-алгоритмические средства (1023), обеспечивающие возможность настройки функционала программно-аппаратного комплекса (100), управления им, коммуникации с пользователем, а также реализующие функционал дополнительной алгоритмической обработки изображений и информации.

Основная задача, которую решает предиктор определения элементов кузова транспортного средства (1021), - отнесение участка или нескольких участков входного изображения с помощью анализа к конкретному классу элементов кузова транспортного средства. Кроме задач детектирования и классификации, предиктор (1021) также может решать задачи сегментации для получения изображений, содержащих только обнаруженные элементы кузова транспортного средства.

Нейросетевой предиктор определения вмятин на элементах кузова транспортного средства (1022) решает задачу нахождения с помощью анализа на сегментированных изображениях элементов кузова транспортного средства областей с расположенными на них вмятинами.

Вычислительное устройство (102) отвечает за применение предиктивных моделей анализа данных, а именно предиктора (1021) и нейросетевого предиктора (1022), и выполняется с возможностью обновления используемых на нем предиктивных моделей.

Цифровые изображения могут предварительно обрабатываться с помощью программно-алгоритмических средств (1023), находящихся на вычислительном устройстве (102). Такая предобработка может заключаться, например, в нормализации уровня яркости изображения, его контрастности, наложении цветового фильтра для исключения цветовых шумов и др. В процессе такой предобработки может осуществляться по крайней мере один тип обработки, выбираемый из группы: выравнивание изображения, изменение пропорций изображения, изменение масштаба изображения, изменение размера изображения, преобразование изображения в градации серого, преобразование изображения с использованием цветового фильтра, нормализация изображения.

Программно-аппаратная часть комплекса (100) с целью расширения возможностей применения может быть дополнена другими сопутствующими устройствами. Примером таких дополнений могут являться: использование беспилотного летального аппарата для целей перемещения источника получения цифровых изображений (101), что может обеспечить увеличение производительности при обследовании большого количества транспортных средств, располагаемых на определенной площадке (к примеру, на открытой площадке хранения транспортных средств); использование дополнительных внешних источников освещения, что может обеспечить увеличение деталировки повреждений на поверхности элементов кузова транспортного средства за счет изменяемой светотеневой картины, полученной за счет освещения; др.

При обработке цифровых изображений, сформированных источником получения цифровых изображений (101), вычислительное устройство (102) обеспечивает следующий функционал:

- запись поступивших изображений в файл для локального хранения,

- при необходимости предварительная обработка изображений программно-алгоритмическими средствами,

- анализ изображения на предмет наличия элементов кузова транспортного средства, сегментация изображения,

- запись сегментированных изображений элементов кузова транспортного средства, содержащих только элементы кузова транспортного средства, в файл,

- анализ сегментированных изображений, содержащих только элементы кузова транспортного средства, на предмет наличия на них вмятин,

- анализ результатов и консолидация данных с их записью в файл,

- передача данных на абонентское устройство с пользовательским интерфейсом.

Программная часть вычислительного устройства (102) архитектурно представляет собой совокупность программных решений, обеспечивающих функциональную часть работы устройства. Общая схема алгоритма функционирования упомянутой части вычислительного устройства (102) представлена на Фиг. 3.

Вычислительное устройство (102) может функционировать в различных режимах, например, в бесконечном цикле отслеживания входящих данных для обработки или обработке данных по требованию пользователя. Управление передачей таких данных на вычислительное устройство (102) и режимами его работы осуществляется через абонентское устройство с пользовательским программным интерфейсом (103).

В качестве вычислительного устройства (102) может выступать локальный компьютер (локальное вычислительное устройство), удаленный сервер или система связанных серверов, другие устройства, обеспечивающие возможность описанной обработки данных. Функциональность программно-аппаратного комплекса обеспечивается за счет сетевой связи между элементами системы.

Абонентское устройство с пользовательским программным интерфейсом (103) обеспечивает возможность управления программно-аппаратным комплексом (100) и настройки режимов его функционирования пользователем. Пользовательский программный интерфейс структурированно отображает возможный функционал, доступный пользователю, позволяя определять и устанавливать режимы работы устройств комплекса (100), и взаимодействовать с полученными результатами сбора и обработки данных. Примером абонентского устройства с пользовательским программным интерфейсом (103) может выступать смартфон. При этом пользовательский программный интерфейс может быть реализован как в виде отдельного программного решения, располагаемого на абонентском устройстве в виде мобильного приложения, так и в качестве фронтенда с доступом через web-интерфейс через интернет-браузер (Chrome, Safari, Mozilla и т.п.).

Компоненты системы соединяются посредством средств передачи данных, которые выбираются из средств, предназначенных для реализации процесса коммуникации между различными блоками посредством проводной и/или беспроводной связи, в частности, такими типами связи могут являться: GSM, GPRS, LTE, 5G, WLAN, Wi-Fi, Bluetooth, BLE, спутниковая связь, NFC, Ethernet, USB, IrDa, Lightning, UART, CAN и т.п.

Далее с отсылкой на Фиг. 3 будет раскрыт пример работы заявленного способа (200).

На этапе (201) источник получения цифровых изображений (101) формирует как минимум одно цифровое изображение транспортного средства. В случае, если выбран режим работы комплекса (100) с формированием нескольких последовательных изображений транспортного средства, формируется очередь обработки.

На этапе (202) производится проверка наличия необработанных изображений, полученных на предыдущем этапе.

Далее на этапе (203) цифровое изображение анализируется на предмет наличия на изображении элементов кузова транспортного средства. Под анализом понимается применение к цифровому изображению предиктора (1021) на вычислительном устройстве (102) для детекции различных типов элементов кузова на данном изображении. По своей сути целью применения предиктора является нахождения соответствия между входным изображением (его частью) и заранее определенным множеством возможных классов (категорий), к которым это изображение или его часть может относиться. Предиктором может являться сверточная нейронная сеть, дерево решений или любой другой классифицирующий алгоритм, то есть алгоритм, способный классифицировать входные данные на конечное множество классов. Предиктор выполнен таким образом, чтобы он мог максимально точно разделять элементы на изображении на заранее определенные классы типов элементов кузова транспортного средства, а также был максимально устойчив к различному освещению. В случае, когда предиктором выступает нейронная сеть, то его обучение происходит на большом наборе данных, на который дополнительно накладываются шумы для того, чтобы избежать эффекта переобучения. Входом предиктора называются входные данные, которые предиктор должен обработать и отнести к заранее предопределенному множеству классов с определенной вероятностью. Пример схемы обучения нейросетевого предиктора представлен на Фиг. 4.

Предиктор работает с цветными изображениями, закодированными способом Red Green Blue (RGB), а также с изображением в градации серого, но возможно использование черно-белых изображений, а также изображений, использующих другие цветовые пространства.

При обнаружении на этапе (204) на изображении как минимум одного элемента кузова транспортного средства, производится его обработка (205), которая заключается в кадрировании и сегментации данного участка цифрового изображения или сегментации с классификацией, с целью получения сегментированного цифрового изображения, содержащего только данный элемент кузова транспортного средства.

Далее сегментированные цифровые изображения элементов кузова транспортного средства анализируются (206) на предмет наличия на них вмятин. Под анализом понимается применение нейросетевого предиктора (1022), для которого справедливы все положения, озвученные выше для предиктора (1021). Данная операция выполняется для всех сегментированных изображений (207), при этом в зависимости от настроек программно-аппаратного комплекса (100) за счет программно-алгоритмических средств (1023) может производится различная постобработка для обнаруженных вмятин. Так, например, могут определяться координаты привязки вмятин на элементе кузова транспортного средства, оцениваться площадь вмятины, отслеживаться повторяемость вмятины на других изображениях данного элемента кузова для усреднения расчетных показателей и исключения повторов, и т.д.

После обработки всех изображений, производится агрегирование данных и их обработка (208) для получения итоговых результатов, которые например могут заключаться в формировании отчета о количестве повреждений на каждом из элементов кузова, оценке предварительной стоимости ремонта и т.п.

Данный подход обеспечивает повышение точности определения вмятин на элементах кузова транспортного средства, автоматически, без участия человека.

На Фиг. 5 представлена общая схема вычислительного устройства (102), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае вычислительное устройство (102) содержит такие компоненты, как: один или более процессоров (1021), по меньшей мере одну память (1022), устройство хранения данных (1023), интерфейсы ввода/вывода (1024), средства ввода/вывода (1025), средства сетевого взаимодействия (1026) также в зависимости от реализации комплекса (100) устройство может включать в себя один или более акселераторов на базе нейросетевого процессора (NPU - Neural Processing Unit), (307).

Процессор (1021) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (102) или одного или нескольких его компонентов. Процессор (1021) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (1022).

Память (1022), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый для функционирования устройства функционал.

Устройство хранения данных (1023) может выполняться в виде HDD, SSD дисков, RAID-массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Устройство (1023) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки запросов (логов), цифровых изображений, координат вмятин и т.п.

Интерфейсы (1024) представляют собой стандартные средства для подключения и работы с вычислительным устройством (102), например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п. Выбор интерфейсов (1024) зависит от конкретного исполнения устройства (102), которое может представлять собой персональный компьютер, сервер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств ввода/вывода данных (1025) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (1026) обеспечивают сетевой прием и передачу данных. Такими устройствами могут выступать, например, Ethernet модуль, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM-модем и т.п. С помощью средств (1026) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства (102) сопряжены посредством общей внутренней шины передачи данных (1020).

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Использование настоящего изобретения позволяет добиться высокой степени автоматизации процедуры оценки повреждений с помощью широко распространенных устройств, без потребности в применении дорогостоящих высокоточных сканирующих систем. Настоящее изобретение позволяет повысить точность детекции, обеспечивая точность детекции на уровне >99%, обеспечивая при этом высокую скорость обработки данных и получения конченого результата, что обеспечивает высокий экономический эффект при применении в отрасли.

Изобретение относится к области обработки цифровых данных, в частности к способу и когнитивной системе видеоанализа для детекции повреждений на транспортных средствах, а именно к области автоматизации подсчета на элементах кузова транспортных средств количества вмятин, вызванных внешними воздействиями, и их физических параметров. Заявленный компьютерно-реализуемый способ детекции вмятин на элементах кузова транспортных средств заключается в выполнении этапов, на которых с помощью устройства получения цифровых изображений и вычислительного устройства производится: получение устройством получения цифровых изображений по меньшей мере одного цифрового изображения ультрафиолетового, инфракрасного или видимого спектрального диапазона, характеризующего транспортное средство или его часть; выполнение на основании анализа на по меньшей мере одном полученном цифровом изображении, характеризующем транспортное средство или его часть, детекции и классификации по меньшей мере одного элемента кузова транспортного средства, причем анализ включает в себя обработку области изображения с помощью предиктора на предмет наличия по меньшей мере одного типа элемента кузова транспортного средства из заданного набора возможных типов элементов кузова транспортного средства; выполнение кадрирования и сегментации по меньшей мере одного цифрового изображения, характеризующего транспортное средство или его часть, содержащего по меньшей мере один выявленный элемент кузова транспортного средства, с получением по меньшей мере одного сегментированного цифрового изображения, содержащего только элемент кузова транспортного средства; определение на основании анализа на по меньшей мере одном полученном цифровом изображении элемента кузова транспортного средства и выделение на нем по меньшей мере одной вмятины, причем анализ включает в себя обработку области изображения с помощью нейросетевого предиктора на предмет наличия вмятин на цифровом изображении элемента кузова транспортного средства; выполнение алгоритмической обработки данных для обнаруженных на элементе кузова транспортного средства вмятин с определением для каждой вмятины по меньшей мере одного параметра, выбираемого из группы: координаты пространственного расположения на элементе кузова транспортного средства, геометрический размер, площадь, объем; и формирование пакета консолидированных данных, полученных при обработке цифровых изображений данного транспортного средства или его частей, содержащего информацию по меньшей мере об одном параметре, выбираемом из группы: количество вмятин на по меньшей мере одном элементе кузова транспортного средства, координаты пространственного расположения по меньшей мерее одной вмятины, физические параметры по меньшей мере одной вмятины, физические параметры произвольной совокупности вмятин. Технический результат - упрощение процедуры оценки повреждений, сокращение времени, затрачиваемого на оценку повреждений транспортных средств. 3 н. и 17 з.п. ф-лы, 5 ил.

1. Компьютерно-реализуемый способ детекции вмятин на элементах кузова транспортных средств, заключающийся в выполнении этапов, на которых с помощью устройства получения цифровых изображений и вычислительного устройства производится:

получение устройством получения цифровых изображений по меньшей мере одного цифрового изображения ультрафиолетового, инфракрасного или видимого спектрального диапазона, характеризующего транспортное средство или его часть;

выполнение на основании анализа на по меньшей мере одном полученном цифровом изображении, характеризующем транспортное средство или его часть, детекции и классификации по меньшей мере одного элемента кузова транспортного средства, причем анализ включает в себя обработку области изображения с помощью предиктора на предмет наличия по меньшей мере одного типа элемента кузова транспортного средства из заданного набора возможных типов элементов кузова транспортного средства;

выполнение кадрирования и сегментации по меньшей мере одного цифрового изображения, характеризующего транспортное средство или его часть, содержащего по меньшей мере один выявленный элемент кузова транспортного средства, с получением по меньшей мере одного сегментированного цифрового изображения, содержащего только элемент кузова транспортного средства;

определение на основании анализа на по меньшей мере одном полученном цифровом изображении элемента кузова транспортного средства и выделение на нем по меньшей мере одной вмятины, причем анализ включает в себя обработку области изображения с помощью нейросетевого предиктора на предмет наличия вмятин на цифровом изображении элемента кузова транспортного средства;

выполнение алгоритмической обработки данных для обнаруженных на элементе кузова транспортного средства вмятин с определением для каждой вмятины по меньшей мере одного параметра, выбираемого из группы: координаты пространственного расположения на элементе кузова транспортного средства, геометрический размер, площадь, объем;

формирование пакета консолидированных данных, полученных при обработке цифровых изображений данного транспортного средства или его частей, содержащего информацию по меньшей мере об одном параметре, выбираемом из группы: количество вмятин на по меньшей мере одном элементе кузова транспортного средства, координаты пространственного расположения по меньшей мерее одной вмятины, физические параметры по меньшей мере одной вмятины, физические параметры произвольной совокупности вмятин.

2. Компьютерно-реализуемый способ детекции вмятин на элементах кузова транспортных средств, заключающийся в выполнении этапов, на которых с помощью устройства получения цифровых изображений и вычислительного устройства производится:

получение устройством получения цифровых изображений, по меньшей мере одного цифрового изображения ультрафиолетового, инфракрасного или видимого спектрального диапазона, характеризующего транспортное средство или его часть;

выполнение на основании анализа на по меньшей мере одном полученном цифровом изображении, характеризующем транспортное средство или его часть, сегментации и классификации с получением по меньшей мере одного сегментированного и классифицированного цифрового изображения, содержащего только элемент кузова транспортного средства, причем анализ включает в себя обработку области изображения с помощью предиктора на предмет наличия по меньшей мере одного типа элемента кузова транспортного средства из заданного набора возможных типов элементов кузова транспортного средства;

определение и выделение на основании анализа на по меньшей мере одном полученном цифровом изображении элемента кузова транспортного средства по меньшей мере одной вмятины, причем анализ включает в себя обработку области изображения с помощью нейросетевого предиктора на предмет наличия вмятин на цифровом изображении элемента кузова транспортного средства;

выполнение алгоритмической обработки данных для обнаруженных на элементе кузова транспортного средства вмятин с определением по меньшей мере одного параметра для каждой вмятины, выбираемого из группы: координаты пространственного расположения на элементе кузова транспортного средства, геометрический размер, площадь, объем;

формирование пакета консолидированных данных, полученных при обработке цифровых изображений данного транспортного средства или его частей, содержащего информацию по меньшей мере об одном параметре, выбираемом из группы: количество вмятин на по меньшей мере одном элементе кузова транспортного средства, координаты пространственного расположения по меньшей мерее одной вмятины, физические параметры по меньшей мере одной вмятины, физические параметры произвольной совокупности вмятин.

3. Компьютерно-реализуемый способ по любому из пп. 1, 2, отличающийся тем, что на любом из этапов может выполняться предобработка цифровых изображений, характеризующих транспортное средство или его часть, когда выполняется по меньшей мере один тип обработки, выбираемый из группы: выравнивание изображения, изменение пропорций изображения, изменение масштаба изображения, изменение размера изображения, преобразование изображения в градации серого цвета, преобразование изображения с использованием цветового фильтра, нормализация изображения, а сами этапы могут выполняться в произвольной последовательности.

4. Компьютерно-реализуемый способ по любому из пп. 1, 2, отличающийся тем, что получают и обрабатывают множество цифровых изображений транспортного средства или его часть, полученных с различных ракурсов, а сами цифровые изображения получают при перемещении устройства получения цифровых изображений.

5. Компьютерно-реализуемый способ по любому из пп. 1, 2, отличающийся тем, что для целей получения цифровых изображений, характеризующих транспортное средство или его часть, устройство получения цифровых изображений размещается на удлинителе, беспилотном летательном аппарате, роботизированном устройстве и/или платформе, осуществляющих функционирование при управлении оператором или в автоматическом режиме.

6. Компьютерно-реализуемый способ по любому из пп. 1, 2, отличающийся тем, что для целей получения цифровых изображений, характеризующих транспортное средство или его часть, одновременно применяются по меньшей мере два устройства получения цифровых изображений при их стационарном размещении, когда устройства получения цифровых изображений располагаются неподвижно, а транспортное средство перемещается в их поле зрения.

7. Компьютерно-реализуемый способ по любому из пп. 1, 2, отличающийся тем, что дополнительно используется по меньшей мере один сторонний источник освещения, позволяющий получить цифровые изображения, характеризующие транспортное средство или его часть, для данного ракурса съемки при различном направлении освещения.

8. Компьютерно-реализуемый способ по любому из пп. 1, 2, отличающийся тем, что получение цифровых изображений, характеризующих транспортное средство или его часть, реализуется как по команде оператора, так и в автоматическом режиме по заранее заданному алгоритму.

9. Компьютерно-реализуемый способ по любому из пп. 1, 2, отличающийся тем, что на элементы кузова транспортного средства предварительно наносят масштабные метки известного линейного размера.

10. Компьютерно-реализуемый способ по любому из пп. 1, 2, отличающийся тем, что для обработанных цифровых изображений, характеризующих транспортное средство или его часть, реализуется по меньшей мере один из типов дополнительной обработки, выбираемый из группы: выполняется алгоритмическая фильтрация шумов обнаруженных вмятин, строится трехмерная пространственная модель обнаруженных вмятин с возможностью отображения в режиме виртуальной реальности или дополненной реальности; распознаются данные государственного регистрационного знака транспортного средства; по заранее заданным алгоритмам оценивается стоимость работ по ремонту обнаруженных вмятин для каждого элемента кузова транспортного средства в отдельности или для их произвольной совокупности.

11. Система детекции вмятин на элементах кузова транспортных средств, обеспечивающая возможность выполнения способа по любому из пп. 1-10, содержащая связанные между собой:

- устройство получения цифровых изображений,

- вычислительное устройство,

- абонентское устройство с пользовательским программным интерфейсом.

12. Система детекции вмятин на элементах кузова транспортных средств по п. 11, отличающаяся тем, что позволяет получать и обрабатывать множество цифровых изображений транспортного средства или его частей, полученных с различных ракурсов, а сами цифровые изображения получают перемещением устройства получения цифровых изображений.

13. Система детекции вмятин на элементах кузова транспортных средств по п. 11, отличающаяся тем, что для целей получения цифровых изображений, характеризующих транспортное средство или его частей, устройство получения цифровых изображений размещается на удлинителе, беспилотном летательном аппарате, роботизированном или управляемом устройстве или платформе, осуществляющих функционирование при управлении оператором или в автоматическом режиме.

14. Система детекции вмятин на элементах кузова транспортных средств по п. 11, отличающаяся тем, что одновременно применяются по меньшей мере два устройства получения цифровых изображений при их стационарном размещении, когда источники цифровых изображений располагаются неподвижно, а транспортное средство перемещается в их поле зрения, позволяя получить набор цифровых изображений, характеризующих транспортное средство или его части.

15. Система детекции вмятин на элементах кузова транспортных средств по п. 11, отличающаяся тем, что дополнительно используется по меньшей мере один сторонний источник освещения, позволяющий получить цифровые изображения, характеризующие транспортное средство или его часть, для данного ракурса съемки при различном направлении освещения.

16. Система детекции вмятин на элементах кузова транспортных средств по п. 11, отличающаяся тем, что получение цифровых изображений реализуется как по команде оператора, так и в автоматическом режиме по заранее заданному алгоритму.

17. Система детекции вмятин на элементах кузова транспортных средств по п. 11, отличающаяся тем, что вычислительным устройством выступает удаленный сервер или сеть связанных серверов, связанных с элементами программно-аппаратного комплекса каналом передачи данных.

18. Система детекции вмятин на элементах кузова транспортных средств по п. 11, отличающаяся тем, что на элементы кузова транспортного средства устанавливаются масштабные метки известного линейного размера.

19. Система детекции вмятин на элементах кузова транспортных средств по п. 11, отличающаяся тем, что все элементы системы детекции вмятин на элементах кузова транспортных средств объединены в единое устройство, либо два произвольных элемента системы детекции объединены в единое устройство.

20. Система детекции вмятин на элементах кузова транспортных средств по п. 11, отличающаяся тем, что вычислительное устройство имеет по меньшей мере один акселератор вычислений на базе нейросетевого процессора (NPU).