Компьютерно-реализуемый способ автоматического контроля сборочного производства Российский патент 2024 года по МПК G06V10/40 G01N21/88 G06N3/02 

Изобретение относится к области вычислительной техники для контроля качества сборочных изделий.

В настоящее время существует несколько различных подходов к построению систем автоматизации контроля производственных операций сборки изделий. Большинство из них использует технологии искусственного интеллекта, дополненной, смешанной и виртуальной реальности и функционируют как системы поддержки принятия решений.

Известна система «OCAR Кабель», способная обеспечить возможность идентификации кабелей и проводов в жгутах с помощью технологий дополненной реальности. Недостатком решения является невозможность его применения для иных изделий и устройств.

Интеллектуальные методы выявления фактов брака и нарушения технологического процесса применяются в пищевой промышленности, например, при детектировании некондиционной продукции в лотке с яйцами (патент RU 2759733). Способ заключается в том, что заполненные яичные лотки на конвейере проходят через систему детектирования, содержащую видеокамеру, соединенную с контроллером технического зрения, который обрабатывает изображение, полученное с видеокамеры, и обнаруживает маркировку на яйцах, факты недовложения в лоток, куски грязи. В пищевой промышленности также может использоваться решение, основанное на патенте RU 2775808 «Нейронные сетевые системы и компьютерно-реализуемые способы идентификации и/или оценки одного или более пищевых изделий в визуальной входной информации». Способ предназначен для обработки видеопотока идентификации и оценки качества производства пиццы. Недостатком обоих методов является ориентация на конкретный заданный набор операций и технических требований, строго ограниченный и неизменный набор операций. Кроме того, в обоих решения используется отличный от предлагаемого технический способ обнаружения недостатков. В первом способе используется детерминированный алгоритм обнаружения, основанный на геометрических признаках объектов. Во втором способе используется один или несколько последовательных детекторов на базе нейронной сети класса CNN.

Известен «Программный комплекс контроля ручных операций на основе технологий компьютерного зрения и ИНС» (свидетельство о регистрации №2021614855). Он предназначен для визуальной поддержки ручных операций в процессах сборки/разборки сложных технических изделий и компонентов авиационной техники (включая компоненты бортового радиоэлектронного оборудования, БРЭО), процессах технического обслуживания и ремонта данных изделий и компонентов на основе технологий компьютерного зрения и искусственных нейронных сетей.

Недостатком данного решения является невозможность его применения для иных технических изделий кроме тех, на которых была обучена система компьютерного зрения. В отличие от предложенного способ является не универсальным, а узкоспециализированным.

Техническая задача, на которое направлено заявленное изобретение, состоит в автоматизации контроля сборочного производства любого типа без привязки к особенностям изделия.

Технический результат состоит в повышении эффективности сборки за счет детектирования ошибок на разных этапах.

Технический результат достигается за счет способа автоматического контроля сборочного производства (см. фиг. 1), согласно которому:

- подгружается модуль (10) базы данных шаблонных последовательностей операций для успешной сборки деталей,

- происходит захват изображений с видеокамер с помощью модуля (2),

- оператором производится выбор типа собираемого изделия с помощью модуля (2) и соответствующей ему предобученной модели машинного зрения,

- оператором производится размещение на столе деталей изделия в рабочей зоне захвата видеокамеры согласно инструкции сборки;

- происходит распознавание деталей с помощью модуля (3) собираемого изделия на изображениях с камер на основании заранее предобученных моделей машинного зрения;

- с помощью модуля (4) осуществляется фильтрация распознанных данных на основе скользящего окна, размер которого выбирается автоматически на основе скорости распознавания образов, но не менее 4 кадров;

- с помощью модуля (5) происходит детектирование промежуточного результата сборки изделия с целью определения корректности выполненной операции;

- с помощью модуля (6) происходит накопление данных о промежуточных операциях;

- с помощью модуля (7) происходит оценивание сборки изделия и завершенности промежуточных операций, при этом проверяются накопленные данные в модуле (6) и данные из модуля (1) о собираемой детали;

- происходит формирование сигнала успешной сборки детали, если последовательно накопленные данные совпадают с шаблонными операциями по сборке детали;

- происходит формирование сигнала об ошибочной операции, если цепочка операций в модуле (6) отличается от шаблонной.

Способ автоматического контроля сборочного производства дополнительно включает визуализацию текущего состояния с сборки изделия помощью модуля (8) в графическом виде.

Способ автоматического контроля сборочного производства дополнительно включает запись текущего состояния сборки изделия в журнал событий с помощью модуля (9).

Способ автоматического контроля сборочного производства дополнительно включает отправку данных о сборке во внешние системы с помощью модуля (11).

Способ реализован с помощью системы (см. фиг. 1), состоящей из модуля (1) выбора операции на сборку с интерфейсом для пользователя, при этом делается выбор производимой детали до тех пор, пока цикл не будет прерван оператором. Модуль (2) захвата изображений с камер на стенде, установленных над рабочей поверхностью зоны сборки, при этом захват изображений с камер 4k происходит над зоной сборки. Модуль (3) распознавания образов на изображениях с камер с выдачей данных по локализации и классификации объектов на изображениях, при этом угол установки камер выбирается исходя из задачи. Угол по умолчанию 90° (перпендикулярно уровню рабочей поверхности зоны сборки), но может изменяться в некоторых вариантах исходя из технических требований. Модуль (4) фильтрации распознанных данных на основе скользящего временного буфера (скользящего окна), при этом размер буфера выбирается автоматически на основе скорости распознавания образов, но не менее 4 кадров. Образы фильтруются на основе данных по пересечению. Распознанный объект считается существующим, если в буфере на более 50% кадров объект имеет пересечение с аналогичным классом объекта, или считается ложно детектированным если отсутствовал на 50% кадрах или более. Модуль (5) детектирования операции сборки, который формирует событие правильного этапа сборки на основе детектированных образов. Выходом данного модуля являются события о текущей операции на стенде. Модуль (6) – буфер памяти с информацией о ранее накопленных промежуточных операциях на стенде. Модуль (7) оценки состояния (статуса) сборки изделия и завершенности промежуточных операций, который проверяет накопленные данные в модуле (6) и данные из модуля (1) о собираемой детали, формирует сигнал успешной сборки детали, если последовательно накопленные данные совпадают с шаблонными операциями по сборке детали; формирует сигнал об ошибочной операции, если цепочка операций в модуле (6) отличается от шаблонной. Выходной сигнал с данного модуля формирует указание для модуля визуализации для отображения данных на стенде. Также выходной сигнал отправляет данные в систему накопления мониторинговых данных о производственной линии. Модуль (8) – система визуализации и подсказок для оператора стенда. Данный модуль с помощью проектора выводит текстовые и графические сообщения на рабочий стол стенда. Модуль (9) – система накопления статистических данных в журнал событий стенда. Модуль (10) – база данных шаблонных последовательностей операции для успешной сборки деталей. Модуль (11) – экспорт данных во внешние системы (Например, ERP, CRM, SYSLOG или другие).

За основу примера контроля сборки рассматривается часть ручного процесса сборки велосипедной втулки (далее изделия, объекта сборки), состоящей из 20 различных деталей, приведенных на фиг. 2. Детали имеют малый размер, часть деталей имеет визуальное сходство друг с другом (фиг. 3).

Для выполнения операций автоматизированного контроля сборки в режиме реального времени используется конструкция (фиг. 5), состоящая из следующих элементов: стол, видеокамера (одна или несколько), проектор, осветительные приборы, компьютер, монитор, компьютерный программный код, хранимый в долговременном запоминающем устройстве компьютера. Компьютер и видеокамера, компьютер и проектор соединены коммутационными проводами.

В некоторых вариантах компьютер и осветительные приборы также соединены коммутационными проводами.

В некоторых вариантах компьютер может быть подключен к проводным и/или беспроводным телекоммуникационным сетям как для передачи данных о сборке, так и получении данных (предобученных моделей машинного обучения и/или других).

Компьютерный программный код, хранимый в этом долговременном запоминающем устройстве, обеспечивает при исполнении одним или более процессорами (в т.ч. графическими процессорами): прием непрерывного видеопотока, по меньшей мере, из одного положения камеры над рабочей зоной (столом), всю нижеописанную последовательность действий по интеллектуальному контролю ручных операций, включая определение (детектирование) деталей в процессе сборки, детектирование операций, детектирование корректности действий оператора на каждом этапе, детектирование корректности действий оператора по сборке всего изделия (объекта сборки).

Информация о статусе и корректности операции отображается на экране монитора и на рабочей зоне сборки.

Кроме того, данные передаются через программный интерфейс во внешние системы для их накопления и последующего анализа.

В некоторых случаях, подключенные внешние системы могут использоваться для голосового (акустического) информирования оператора о событиях (ошибках, успешном окончании этапа, отставании от плана-графика сборки и др.).

Преимуществом способа является возможность её использования для различных объектов сборки, разных наборов деталей. Перенастройка компьютерно-реализуемой системы, реализующей предложенный способ, производится путём загрузки новой (или выбора другой, уже загруженной) предобученной модели машинного зрения с использованием методов машинного обучения.

Применение предлагаемого способа может быть реализовано в виде следующей последовательности действий:

1. С помощью интерфейса на мониторе оператор выбирает тип собираемого изделия (ПК) и соответствующую ему предобученную модель машинного зрения с использованием методов машинного обучения.

2. Оператор помещает все детали на стол в рабочую зону захвата видеокамеры согласно инструкции сборки (Фиг. 4).

3. Оператор ожидает, пока на мониторе не будет отображена информация о подтверждении правильности комплекта деталей на столе и указания, что далее можно приступить к сборке изделия.

4. Система путем подсветки нужной детали подсказывает оператору, какую деталь необходимо использовать на данном шаге сборки (например, на 1-м шаге - втулка, на 2-м – винт №1, на 3-м – подшипник №1 и т.д.).

5. После захвата детали система детектирует корректность ее установки и выдает соответствующее сообщение на мониторе или другим способом.

6. Система записывает результат п. 5 в журнал событий в постоянную память компьютера.

7. Система передаёт результат п. 5 во внешние системы посредством сетей связи и телекоммуникационных протоколов.

8. Система оценивает общее состояние процесса сборки изделия.

9. Система детектирует использование необходимого инструмента на каждом этапе.

10. Система детектирует использование требуемых правилами техники безопасности средств защиты (перчатки и/или каска и/или защитная одежда и др.)

11. Система визуализирует о текущем состоянии сборки изделия в графическом виде (фиг. 6) и записывает текущее состояние в журнал событий. В случае, если сборка изделия не завершена, система переходит к п.4. Если все детали исчерпаны система записывает в журнал событий информацию данные об итоговом результате сборки изделия и переходит к п.2.

Применение компьютерно-реализуемого способа автоматического контроля сборочного производства позволяет обеспечивать контроль правильности выполнения конечного набора регламентированных операций, выявлять типовые ошибки, допускаемые в ходе выполнения операций, связанных с нарушением последовательности действий, с ошибками выбора компонентов изделия (инструментов, необходимых для сбора-разбора изделия), с неверными (непредусмотренными) действиями, совершаемыми с изделием и др.

Заявленное изобретение разработано в рамках выполнения гранта (договора № 70-2021-00139 от 2.11.2021 г.), а именно:

- относится к направлению развития искусственного интеллекта: «Искусственный интеллект для бизнеса (ИИ для бизнеса)»;

- относится к мероприятию плана Исследовательского центра в сфере искусственного интеллекта: «Проведение исследований и разработок по созданию автоматических методов построения выборок данных и ускорения моделирования в рамках задач интеллектуального контроля ручных операций»;

- относится к тематике Программы Исследовательского центра в сфере искусственного интеллекта: «Интеллектуальная автоматизация ручных операций, распознавание операций на производстве и интеллектуальные методы в промышленной безопасности».

Изобретение относится к области вычислительной техники для контроля качества сборочных изделий. Технический результат состоит в повышении качества сборки за счет контроля правильности выполнения конечного набора регламентированных операций сборки. Технический результат достигается тем, что в заявленном решении предусмотрены этапы, на которых захватывают изображения с видеокамер, распознают детали собираемого изделия на изображениях с камер на основании заранее предобученных моделей машинного зрения; фильтруют распознанные данные на основе скользящего окна, размер которого выбирается автоматически на основе скорости распознавания образов; определяют корректность выполненной операции за счет детектирования промежуточного результата сборки изделия; оценивают сборку изделия и завершенность промежуточных операций; формируют сигнал успешной сборки детали или формируют сигнал об ошибочной операции. 3 з.п. ф-лы, 6 ил.

1. Способ автоматического контроля сборочного производства, реализуемый с помощью системы, состоящей из модуля (1) выбора операции для сборки с интерфейсом для пользователя, модуля (2) системы захвата изображений с камер, установленных над рабочей поверхностью зоны сборки на стенде, модуля (3) системы распознавания образов на изображениях с камер с выдачей данных по локализации и классификации объектов на изображениях, модуля (4) фильтрации образов на основе скользящего окна, модуля (5) детектирования операции сборки, модуля (6) буфера памяти с информацией о ранее накопленных промежуточных операциях на стенде, модуля (7) оценки состояния сборки изделия и завершенности промежуточных операций, модуля (8) визуализации и подсказок для оператора стенда, модуля (9) накопления статистических данных в журнал событий стенда, модуля (10) базы данных шаблонных последовательностей операций для успешной сборки деталей, модуля (11) экспорта данных во внешние системы,

при этом способ включает следующие действия:

- подгружается модуль (10) базы данных шаблонных последовательностей операций для успешной сборки деталей,

- происходит захват изображений с видеокамер с помощью модуля (2),

- оператором производится выбор типа собираемого изделия с помощью модуля (2) и соответствующей ему предобученной модели машинного зрения,

- оператором производится размещение на столе деталей изделия в рабочей зоне захвата видеокамеры согласно инструкции сборки;

- происходит распознавание деталей с помощью модуля (3) собираемого изделия на изображениях с камер на основании заранее предобученных моделей машинного зрения;

- с помощью модуля (4) осуществляется фильтрация распознанных данных на основе скользящего окна, размер которого выбирается автоматически на основе скорости распознавания образов, но не менее 4 кадров;

- с помощью модуля (5) происходит детектирование промежуточного результата сборки изделия с целью определения корректности выполненной операции;

- с помощью модуля (6) происходит накопление данных о промежуточных операциях;

- с помощью модуля (7) происходит оценивание сборки изделия и завершенности промежуточных операций, при этом проверяются накопленные данные в модуле (6) и данные из модуля (1) о собираемой детали;

- происходит формирование сигнала успешной сборки детали, если последовательно накопленные данные совпадают с шаблонными операциями по сборке детали;

- происходит формирование сигнала об ошибочной операции, если цепочка операций в модуле (6) отличается от шаблонной.

2. Способ по п. 1, дополнительно включающий визуализацию текущего состояния с сборки изделия помощью модуля (8) в графическом виде.

3. Способ по п. 1, дополнительно включающий запись текущего состояния сборки изделия в журнал событий с помощью модуля (9).

4. Способ по п. 1, дополнительно включающий отправку данных о сборке во внешние системы с помощью модуля (11).