РОБОТИЗИРОВАННЫЙ АВТОМАТИЧЕСКИЙ КОМПЛЕКС ПО СОРТИРОВКЕ ТВЁРДЫХ КОММУНАЛЬНЫХ ОТХОДОВ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ Российский патент 2020 года по МПК B09B5/00 B25J11/00 

Изобретение относится к области переработки твердых коммунальных отходов (ТКО) с получением вторичного сырья (пластика, металла, стекла). Изобретение относится к области автоматизированной сортировки отходов с использованием самообучающейся роботизированной системы на основе нейронных сетей. Изобретение относится к интеллектуальным системам, системам автоматической сортировки ТКО. Изобретение может быть использовано в энергетике, химической промышленности, металлургии, коммунальном хозяйстве, экологии.

Известны устройство и способ идентификации изображений отходов на основе сверточной нейронной сети [KR 101942219, 2019-01-24, G06K 9/32; G06K 9/46; G06K 9/62]. Устройство содержит: блок приема начального изображения отходов; блок идентификации, который идентифицирует полученные изображения в соответствии с интересуемой областью (область отходов); блок определения, который определяет тип отходов, вычисляя их характеристики. Способ включает три этапа:

1. прием начального изображения отходов с заранее определенным размером;

2. разделение полученного изображения на области интереса содержащие отходы и не содержащие отходы;

3. определение типа отходов путем генерирования карты признаков с использованием сверточной нейронной сети для изображения и объединения на карте признаков.

Слой субдискретизации (poolinglayer) принимает выходные данные сверточного уровня в качестве входных данных и уменьшает размер выходных данных или выделяет конкретные данные. Окончательная классификация типа отходов выполняется с использованием рассчитанных данных слоя субдискретизации.

Ключевым недостатком указанного способа идентификации изображений отходов на основе сверточной нейронной сети является то, что модуль детектирования объектов основан на анализе первой карты признаков путем применения скользящего окна заданного размера и определения наличия или отсутствия объекта в скользящем окне, а также применения "модуля определения положения" для определения положения скользящего окна. Этот метод анализа изображений является сравнительно медленным, например, как показано в работе [Ren S., Не К., Girshick R., Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks. // proc. Twenty-ninth Conferenceon Neural Information Processing Systems (NIPS) 2015, Montreal CANADA] такой способ выбора областей изображения, содержащих классифицируемые объекты, позволяет достигать скорости обработки на уровне 0,5 кадра в секунду.

Скорость обработки является принципиальной характеристикой системы, поскольку регистрация и обработка изображений должны происходить в темпе подачи отходов по конвейерной ленте без пропусков участков потока. Предположим, что камера регистрирует область ленты размером 600x600 мм. Далее кадр обрабатывается 2 секунды (при скорости обработки 0,5 кадра в секунду). За это время, чтобы не происходило пропуска участков потока отходов, лента может сместиться на 600 мм, что дает допустимую скорость ее перемещения на уровне 0,3 м/с.Такая скорость перемещения является низкой (так, например, в модели роботизированного комплекса ZenRobotics скорость ленты достигает 1 м/с) и существенно ограничивает производительность сортировочного комплекса.

Кроме того, способ и устройство, описанные в патенте KR 101942219 предназначены только для выделения и классификации объектов в потоке отходов, конкретный способ применения получаемых таким образом данных для организации автоматической сортировки не рассматривается.

Из уровня техники известны системы сортировки отходов, в которых используют роботов-манипуляторов различных типов, например, роботов шарнирной конструкции, SCARA- роботов, козловых или других.

Известны заводы, в Финляндии и в Голландии, по сортировке отходов, использующие самообучающуюся роботизированную систему сортировки ZenRobotics.

Например, известна система сортировки отходов на основе роботизированного манипулятора компании ZenRobotics для выбора и перемещения отобранной из исходного материала фракции [WO 2015158962, 2015-10-22, В07С 5/02], содержащая:

1. один или несколько конвейеров, на которые подают сортируемый материал таким образом, чтобы он равномерно распределялся;

2. различные датчики, непрерывно контролирующие поток отходов;

3. лазерную систему;

4. один или несколько соединенных вычислительных блоков для анализа на основе самообучаемого программного обеспечения в режиме реального времени получаемых от датчиков и лазерной системы данных, формирования управляющего сигнала и передачи управляющих сигналов разным манипуляторам;

5. манипуляторы, настроенные так, чтобы в ответ на сигналы управления из вычислительного блока манипулировать одним или несколькими типами материалов, перемещающихся на конвейерной ленте.

Манипуляторы могут быть одного или разных типов. Например, манипулятор может быть роботом, таким как робот шарнирной конструкции, козловой робот, SCARA- робот или другой известный тип робота, сконфигурированный для сбора предварительно определенных объектов из исходного материала и перемещения их. Кроме того, в качестве дополнительных манипуляторов может использоваться, например, вибрационный стол, где мусор проходит через зону сильной вибрации и, в зависимости от того, как подскакивает или крутится тот или иной объект, система определяет материал. Способ базируется на адаптивном алгоритме поиска и наборе всевозможных датчиков и дает возможность роботу определять кроме размеров еще и материалы, из которых состоит объект, и быстро и аккуратно направлять его в нужный складской контейнер или на нужную ленту конвейера для переработки.

Известные комплексы по сортировке мусора рассчитаны на работу с сырьем, ранее отсортированным, по примеру стран, где уже десятилетиями налажена система раздельного сбора и транспортировки мусора. В России и на всем постсоветском пространстве эта система работать не сможет.

Задачей, на решение которой направлено настоящее изобретение, является создание автоматизированного комплекса сортировки твердых коммунальных отходов (ТКО), позволяющего достичь высокой скорости и при этом высокого качества отбора фракций для смешанного мусора.

Поставленную задачу решают путем создания роботизированного автоматического комплекса сортировки твердых коммунальных отходов на основе сверточной нейронной сети с отдельной ветвью (так называемой нейронной сети выделения областей) с высокопроизводительной схемой обработки изображений, что позволяет увеличить скорость и качество отбора фракций ТКО.

Согласно изобретению, роботизированный автоматический комплекс сортировки твердых коммунальных отходов включает:

1. систему машинного зрения с цифровой камерой, настроенной на работу в конкретной области распознавания объектов, и компьютером (вычислительным блоком), на жестком диске которого установлено программное обеспечение (ПО), включающее программный модуль распознавания образов на основе сверточной нейронной сети, программный модуль обработки данных блока оптических сенсоров, программный модуль формирования списка объектов для подбора;

2. ленточный конвейер, оснащенный датчиком измерения скорости конвейерной ленты;

3. сортировочный узел, представляющий собой дельта-робота с системой захвата и перемещения ТКО, который оснащен контроллером и настроен на работу в укомплектованной контейнерами для сброса отобранных фракций ТКО области выгрузки;

4. блок оптических сенсоров, который установлен над лентой конвейера за областью распознавания объектов цифровой камерой и включает излучатели и камеры-регистраторы, две и более;

5. автоматизированную систему управления (АСУ), которая включает модуль синхронизации работы цифровой камеры системы машинного зрения и блока оптических сенсоров и центральный сервер, на жестком диске которого установлено ПО, содержащее программные модули, предназначенные для обработки и преобразования данных, получаемых от компьютера системы машинного зрения, контроллера робота, датчика скорости конвейерной ленты и модуля синхронизации, и программный модуль планирования перемещений робота.

Согласно изобретению, на жестком диске компьютера системы машинного зрения дополнительно установлена база данных (БД) изображений сортируемых объектов ТКО и связанные с изображениями объектов файлов описания для обучения нейросетевой модели, используемой в составе ПО.

Согласно изобретению, хранящиеся в БД изображения объектов ТКО, цветные, имеют одинаковый размер (в пикселях), одинаковый формат, и одинаково кодированы в цветовом пространстве, а связанные с изображениями объектов файлы описания включают следующую информацию об объектах на изображениях:

- относительное расположение файлов (каталог);

- имя файла изображения, с которым связан данный файл;

- размер изображения;

- количество разрядов на цветовой канал;

- список присутствующих на изображении объектов с информацией об объекте: метка класса (тип), расположение углов прямоугольной рамки, в которую вписан объект.

Согласно изобретению, центральный сервер АСУ соединен по локальной линии связи с компьютером системы машинного зрения, модулем синхронизации, контроллером робота, датчиком измерения скорости движения конвейерной ленты, модуль синхронизации АСУ соединен по локальной линии связи с камерой системы машинного зрения, блоком оптических сенсоров и центральным сервером, компьютер системы машинного зрения соединен по локальной линии связи с цифровой камерой, блоком оптических датчиков, центральным сервером АСУ.

Согласно изобретению, излучатели блока оптических сенсоров выбирают из группы: газовые лампы (ртутные, ртутно-ксеноновые) для ультрафиолетового диапазона, лампы накаливания или глобар для инфракрасного диапазона, лазерные источники (в том числе лазерные диоды) с заданным диапазоном длин волн излучения.

Согласно изобретению, в качестве камер-регистраторов блока оптических сенсоров используют камеры со светофильтрами на различные диапазоны длин волн, настроенные для регистрации излучения в выделенных диапазонах спектра, либо мультиспектральную или гиперспектральную камеры.

Согласно изобретению, робот настроен так, чтобы в ответ на сигналы управления из центрального сервера манипулировать одним или несколькими типами объектов, находящихся на конвейере.

Согласно изобретению комплекс может включать более одного сортировочного узла с роботом и зоной выгрузки, более одного блока оптических сенсоров, а система оптического зрения комплекса включает более одной цифровой камеры, причем каждому роботу соответствует своя цифровая камера системы технического зрения и свой блок оптических сенсоров, а ПО, установленное на жестком диске компьютера системы машинного зрения, включает несколько программных модулей распознавания образов на основе сверточной нейронной сети, каждый из которых предназначен для обработки изображений ТКО от соответствующей цифровой камеры, и несколько программного модулей обработки данных блока оптических сенсоров, каждый из которых предназначен для обработки изображений ТКО от соответствующего блока оптических сенсоров, одновременно передающих данные обработки в программный модуль формирования списка объектов для подбора, при этом центральный сервер АСУ соединен по локальной линии связи с контроллерами всех роботов, модуль синхронизации соединен по локальной линии связи со всеми камерами системы машинного зрения и всеми блоками оптических сенсоров, компьютер системы машинного зрения соединен по локальной линии связи со всеми цифровыми камерами и со всеми блоками оптических датчиков.

На фиг. 1 представлена схема роботизированного автоматического комплекса сортировки твердых коммунальных отходов на основе нейронной сети, где:

1 - цифровая камера системы машинного зрения;

2 - блок оптических сенсоров;

3 - компьютер системы машинного зрения;

4 - ленточный конвейер;

5 - автоматизированная система управления (АСУ);

6 - центральный сервер;

7 - модуль синхронизации;

8 - робот с системой захвата и перемещения ТКО.

Пунктирная линия - передача данных.

Непрерывная линия - передача сигналов управления.

Комплекс включает следующие основные элементы:

1) Система технического (машинного) зрения.

Система технического (машинного) зрения включает в себя цифровую камеру 1, компьютер системы машинного зрения 3, область распознавания объектов ТКО (на схеме, фиг. 1, не обозначена).

Система технического (машинного) зрения предназначена для определения типа объекта, расположенного на ленте конвейера, на основе регистрируемых цифровой камерой изображений потока ТКО на ленте. Система технического зрения настроена на работу в конкретной области на ленте конвейера (области распознавания объектов ТКО). Регистрацию изображений объектов ТКО осуществляют с использованием цифровой камеры.

Обработку видеоизображений, поступающих с камеры, осуществляют с использованием специализированного программного обеспечения (ПО), установленного на жестком диске отдельного вычислительного устройства (компьютера системы машинного зрения), включающего:

ο программный модуль распознавания образов на основе сверточной нейронной сети с алгоритмом самообучения,

ο программный модуль обработки данных блока оптических сенсоров,

ο программный модуль формирования списка объектов для подбора.

На жестком диске компьютера системы машинного зрения также установлена база данных изображений сортируемых объектов (предметов) (БД), предназначенная для первичного обучения нейросетевой модели, используемой в составе ПО.

Программный модуль распознавания образов на основе сверточной нейронной сети выполняет в режиме реального времени обработку изображений, получаемых с цифровой камеры, выделяет объекты ТКО на изображениях и выполняет их идентификацию путем определения вероятности принадлежности выделенного объекта к одному из «известных» классов ТКО. В качестве результата работы ПО предоставляет на выход список объектов с координатами прямоугольной рамки, в которую вписан каждый объект, и классом, к которому принадлежит объект. Выходные данные передаются в программный модуль формирования списка объектов для подбора.

База данных представляет собой совокупность наборов изображений объектов твердых коммунальных отходов и связанных с изображениями ТКО файлов, содержащих структурированное описание объектов на изображениях.

В базе данных представлены изображения отходов различных типов, например:

- ПЭТ-бутылка;

- емкость из полиэтилена высокой плотности (HDPE);

- банка алюминиевая;

- прочее.

Все изображения в базе данных являются уникальными (не повторяющимися) изображениями объектов. Изображения объектов являются цветными, имеют одинаковый размер (в пикселях), одинаковый формат, и одинаково кодированы в цветовом пространстве.

Связанные с изображениями файлы описания содержат следующую информацию об объектах на изображении:

- относительное расположение файлов (каталог);

- имя файла изображения, с которым связан данный файл;

- размер изображения;

- количество разрядов на цветовой канал;

- список присутствующих на изображении объектов с информацией об объекте: метка класса (тип), расположение углов прямоугольной рамки, в которую вписан объект.

БД предназначена для обучения автоматических классификаторов на базе нейронных сетей или иных методов машинного обучения.

2) Блок оптических сенсоров.

Блок оптических сенсоров 2 включает в себя комплекс излучателей и камер-регистраторов. В качестве излучателей используются газовые лампы (ртутные, ртутно-ксеноновые) для ультрафиолетового диапазона, лампы накаливания или глобар - для инфракрасного диапазона. Альтернативно, в качестве излучателей могут использоваться лазерные источники (в том числе лазерные диоды) с заданным диапазоном длин волн излучения.

Камеры-регистраторы регистрируют излучение в выделенных диапазонах спектра за счет использования оптических фильтров, либо за счет использования технологий мультиспектральной и гиперспектральной съемки.

Блок оптических сенсоров функционирует на основе методов спектроскопии в инфракрасном (ИК) и/или ультрафиолетовом (УФ) диапазоне спектра. Блок оптических сенсоров позволяет получать дополнительную информацию о компонентах ТКО путем подсветки потока ТКО излучением в заданном диапазоне длин волн излучения и регистрации рассеянного, либо переизлученного потоком ТКО света. Диапазон длин волн излучения и регистрации подбирают исходя из состава поступающего ТКО под конкретные типы материала. Обработку выполняют на основе анализа распределения интенсивности сигнала (яркости излучения) и сравнения интенсивности сигнала в различных диапазонах спектра.

3) Внешние устройства.

В состав комплекса внешних устройств входят сортировочный узел, ленточный конвейер.

Сортировочный узел включает в себя робота с системой захвата и перемещения ТКО 8, а также укомплектованную контейнерами для сброса отобранных фракций ТКО область выгрузки (на схеме, фиг. 1, не показано). Робот оснащен контроллером, через который по локальной линии связи соединен с центральным сервером. В качестве робота может быть использован стандартный быстродействующий дельта-робот, захваты которого можно менять в зависимости от сферы применения и сортируемого продукта. Робот установлен непосредственно над конвейером, что позволяет осуществлять сортировку как минимум в четырех направлениях. Робот работает в области выгрузки, находящейся по ходу движения ленты конвейера за областью распознавания объектов и блоком оптических сенсоров.

Ленточный конвейер оснащен датчиками для определения скорости движения конвейерной ленты. Комплекс можно устанавливать на уже готовые конвейеры, например МСС 50000, или иные на уже существующие мусороперерабатывающие заводы, а также использовать для создания мобильных сортировочных установок. Взаимодействие комплекса с конвейером сводится к получению показаний скорости конвейерной ленты.

4) Автоматизированная система управления (АСУ) 5.

В числе прочего оборудования АСУ включает в себя центральный сервер 6 управления и сбора данных и модуль синхронизации 7 работы оборудования.

Центральный сервер соединен по локальной линии связи с компьютером системы машинного зрения, модулем синхронизации, контроллером робота, датчиком измерения скорости движения конвейерной ленты. Также он может быть соединен с системами мониторинга работы ленты конвейера (считывание скорости, состояния ленты), системами мониторинга и управления электропитанием, системой видеомониторинга рабочей области, системами безопасности, обеспечивающими блокировки или аварийное отключение работы ленты и робота, устройствами контроля наполнения контейнеров в области выгрузки. В схеме комплекса (фиг. 1) эти системы не указаны, поскольку они являются внешними по отношению к комплексу, а их наличие/отсутствие и необходимость связи с ними определяется конкретными условиями, в которых работает комплекс.

Модуль синхронизации представляет собой устройство, которое через заданные интервалы времени подает на цифровую камеру системы машинного зрения и блок оптических сенсоров электрические синхросигналы. Интервалы времени вычисляются исходя из скорости движения ленты конвейера и задаются центральным сервером (задаются оператором, либо автоматически с использованием соответствующего ПО).

АСУ строится на базе распределенных подсистем сбора данных и управления, каждая подсистема предназначена для контроля и управления отдельной функциональной частью (элементом) комплекса. В числе прочих параметров АСУ получает данные о скорости движения конвейерной ленты, по которой движется поток ТКО. Способ получения информации зависит от устройства самой конвейерной ленты. Например, если лента приводится в движение двигателем, управляемым частотным преобразователем, то скорость может рассчитываться на основе показаний преобразователя. В иных случаях может использоваться, например, датчик скорости вращения приводного вала конвейера или магниточувствительный датчик с установкой на ленте магнитных шайб - меток. В случае, если датчик выдает токовый сигнал или сигнал по напряжению в аналоговом виде, подключение к серверу для считывания сигнала выполняется с использованием АЦП.

Вся информация поступает по каналам передачи данных в центральный сервер управления и сбора данных, команды управления поступают из центрального сервера.

На центральном сервере установлено прикладное ПО, содержащее вычислительные блоки, предназначенные для обработки и преобразования данных, получаемых от компьютера системы машинного зрения, контроллера робота, конвейерной ленты и модуля синхронизации, и управления перемещениями робота на основе получаемых данных.

В случае, если используется несколько узлов сортировки, то центральный сервер выполняет управление всеми узлами, в том числе несколькими роботами, а модуль синхронизации задает частоту и временные задержки срабатывания для камер во всех системах машинного зрения и блоках оптических сенсоров. При этом для обработки данных от камер используется один компьютер, на котором может одновременно функционировать несколько экземпляров ПО на основе нейронных сетей и несколько программных модулей для обработки данных от блоков оптических сенсоров

Принцип работы комплекса.

ТКО по конвейерной ленте проходят последовательно область распознавания объектов (область визирования цифровой камерой), область работы блока оптических сенсоров и область выгрузки (область работы робота).

Первоначально ТКО поступают по конвейерной ленте в область распознавания объектов. Цифровая камера выполняет регистрацию изображений объектов ТКО с заданной частотой, определяемой внешним синхроимпульсом, подаваемым на вход камеры от модуля синхронизации.

Регистрируемые камерой изображения по локальной линии связи передаются на компьютер системы машинного зрения для обработки в программном модуле распознавания образов на основе сверточной нейронной сети с отдельной ветвью (так называемой нейронной сети выделения областей). Программный модуль распознавания образов на основе сверточной нейронной сети выполняет обработку изображений с зарегистрированными на них объектами ТКО, выделяет объекты на изображениях, их идентифицирует и классифицирует, и предоставляет на выход список объектов, обнаруженных на изображении, с указанием их класса, и соответствующий ему список координат прямоугольных рамок, в которые вписаны найденные объекты.

На фиг. 2 представлена схема обработки изображений программным модулем распознавания образов с использованием нейросетевого алгоритма, где:

9 - входные данные (изображения объектов ТКО);

10 - сверточная нейронная сеть;

11 - нейронная сеть выделения областей объектов;

12 - слой преобразования координат областей из изображения на карты признаков;

13 - первая полносвязная нейронная сеть;

14 - вторая полносвязная нейронная сеть;

15 - полносвязная нейронная сеть классификации типов объектов (с softmax-активацией);

16 - полносвязная нейронная сеть регрессии положения областей объектов;

17 - список классов объектов;

18 - список координат областей объектов.

Входными данными являются изображения с зарегистрированными на них объектами (ТКО). Изображения масштабируются и поступают на вход сверточной нейронной сети.

Сверточной нейронной сетью формируется карта признаков (features).

Нейронной сеть выделения областей объектов выделяет на изображении регионы и выдает вероятности нахождения объекта в этих регионах, а также поправки к размеру данных регионов и смещению их центра.

Слоем преобразования координат областей из изображения на карты признаков «области интереса» (Regionsofinterest, RoI) преобразуются из координат изображения в координаты на карте признаков.

Вектор признаков, сформированный сверточной нейронной сетью, совместно с RoI, преобразованного в координаты карт признаков, проходит последовательность из двух полносвязных сетей, которые выполняют задачу уменьшения размерности данных.

Выходной вектор признаков второй полносвязной сети параллельно подается на два других полносвязных слоя: слой с softmax-активацией для определения принадлежности RoI одному из классов объектов, слой регрессии для уточнения координат прямоугольной рамки, определяющей границы объекта.

Результаты обработки передаются в программный модуль формирования списка объектов для подбора.

Далее по конвейерной ленте ТКО попадают в область работы блока оптических сенсоров.

В области работы этого блока поток ТКО подсвечивается излучением в заданном диапазоне длин волн, а регистрация излучения осуществляется несколькими камерами-регистраторами (двумя и более), снабженными светофильтрами на различные диапазоны длин волн, либо мультиспектральной или гиперспектральной камерой. Камеры-регистраторы выполняют регистрацию с заданной частотой, определяемой внешним синхроимпульсом. Регистрируемые изображения по локальной линии связи передаются на компьютер системы машинного зрения для обработки в программном модуле обработки данных блока оптических сенсоров, который выполняет анализ распределения интенсивности сигнала (яркости излучения) на изображениях и сравнение интенсивности сигнала в различных диапазонах спектра.

Результаты передаются в программный модуль формирования списка объектов для подбора.

В программном модуле формирования списка объектов подбора расположение областей с выявленным присутствием заданных материалов, полученных от программного модуля обработки данных блока оптических сенсоров, сопоставляются с координатами рамок, описанных вокруг объектов, полученных от программного модуля распознавания образов на основе сверточной нейронной сети.

Результаты в виде списка объектов с их описанием (положение, границы прямоугольной рамки, в которую вписан объект, тип объекта, тип материала) по локальной линии связи передаются на центральный сервер для обработки в программном модуле планирования перемещений робота.

Программный модуль планирования перемещений робота получает данные от программного модуля формирования списка объектов для подбора, датчиков скорости конвейерной ленты, контроллера робота.

Программный модуль планирования перемещений робота рассчитывает координаты, в которых должен быть выполнен подбор каждого из идентифицированных объектов, на основании текущего положения манипулятора робота, известных характеристик работы робота таких, как скорость перемещения и необходимое на осуществление подбора время, положения и размеров рамок, описывающих каждый идентифицированный объект на конвейерной ленте в момент регистрации камерой системы машинного зрения, и скорости перемещения ленты.

Программный модуль планирования перемещений робота определяет очередность подбора объектов и формирует последовательность команд на перемещение робота.

Робот осуществляет подбор объектов и перемещение их в контейнеры, соответствующие типу объекта, в области выгрузки. Фактически робот из общего потока мусора откидывает в заданных направлениях несколько основных фракций, выделение которых требует присутствия человека, данные фракции попадают в контейнеры и в дальнейшем, при необходимости, их можно досортировывать.

Синхронизацию работы систем выполняет модуль синхронизации за счет вычисления времени, за которое объект преодолевает расстояние от одной рабочей области до другой. Вычисление выполняется с использованием данных о скорости движения конвейерной ленты, поступающих в АСУ.

Базовая технология автоматической сортировки, архитектура сортировочного комплекса и программное обеспечение (ПО) являются сенсоро- и продуктонезависимыми, что дает возможность оперативно реагировать на изменяющийся состав ТКО, «на ходу» перенастраивая сортировочный комплекс на отбор других фракций при изменении их соотношения в ТКО. Так, при смене сортируемого продукта, (например, с ТКО на строительный мусор) или требований к сортировке (не просто выделение пластика, а разделение его по типам, например, полиэтилен, полипропилен и пр.) необходимо внести незначительные изменения, например, замена сенсора, замена захватов робота, переобучение ПО распознавания образов. Это позволяет использовать комплекс в нескольких смежных областях (продавать на нескольких смежных рынках), снижая себестоимость производства за счет унификации программного и аппаратного обеспечения.

Качество классификации, указанной модели нейронной сети, дообученной на целевых объектах мусора, было протестировано на реальных 729 изображениях с объектами мусора, которые также собирались во время создания библиотеки и были размечены вручную (фиг. 3, 4, 5, 6).

Определение объектов лучше всего происходит на чистом фоне с малым перекрытием друг друга как в примере изображений детектирования объектов на фиг. 3, 4, 5, 6 где зеленые прямоугольники на изображении с префиксом "GT_" в классе объекта обозначают базовую («верную») локализацию объектов размеченных вручную. В данном случае не была определена только одна PET бутылка (фиг. 3), находящаяся внутри объекта HDPE канистры.

На фиг. 7 и 8 - пример видов ошибочного детектирования объектов. На фиг. 6 - объединение нескольких объектов в один. На фиг. 7 - принятие монотонных объектов за HDPE.

Для количественной оценки качества детектирования нейросетевым алгоритмом были проведены оценки на основе общепринятой метрики шАР (meanAveragePrecision), с использованием значения IoU (IntersectionoverUnion). Результаты классификации для трех классов объектов (PET (ПЭТ-бутылка); HDPE (емкость из полиэтилена высокой плотности); ALLUM (банка алюминиевая)) приводится на фиг. 9, где F (false) - доля неверно классифицированных отмеченных объектов; Т (true) - доля верно классифицированных отмеченных объектов.

На фиг. 10 показано итоговые количественные метрики испытаний качества детектирования реализованного алгоритма для каждого класса в отдельности на базе значения АР и для всех объектов в целом по значению mAP. Для класса ALLUM значения точности классификации достаточно высоки (близки к 100%), однако значительная часть всех алюминиевых банок не определяется на реальных изображениях, поэтому значение АР для этого класса самое низкое (74%). Средняя достигнутая точность детектирования по всем трем классам mAP=82,21%.

Снять ограничение по скорости, присущее всем аналогам, позволяет использование более производительной схемы обработки изображений. Использование для детектирования объектов отдельной ветви нейронной сети (т.н. нейронной сети выделения областей) позволяет, примерно в 10 раз, ускорить обработку, не снижая качества идентификации и классфикации объектов.

Изобретение относится к переработке твердых коммунальных отходов. Роботизированный комплекс включает систему машинного зрения (1) с цифровой камерой и компьютером (3) c программным обеспечением на основе сверточной нейронной сети, ленточный конвейер (4), робот (8) с системой захвата и перемещения. Блок оптических сенсоров (2) установлен над лентой конвейера за областью распознавания объектов цифровой камерой и включает излучатели и камеры-регистраторы и автоматизированную систему управления (5). Центральный сервер (6) автоматизированной системы управления соединен по локальной линии связи с компьютером системы машинного зрения, модулем синхронизации, контроллером робота, датчиком измерения скорости движения конвейерной ленты. Модуль синхронизации (7) автоматизированной системы управления соединен по локальной линии связи с камерой системы машинного зрения, блоком оптических сенсоров и центральным сервером. Компьютер системы машинного зрения соединен по локальной линии связи с цифровой камерой, блоком оптических датчиков, центральным сервером автоматизированной системы управления. Увеличивается скорость и качество отбора фракций твердых коммунальных отходов. 8 з.п. ф-лы, 10 ил.

1. Роботизированный автоматический комплекс по сортировке твердых коммунальных отходов на основе нейронных сетей, включающий систему машинного зрения с цифровой камерой, настроенной на работу в конкретной области распознавания объектов, и компьютером (вычислительным блоком), на жестком диске которого установлено программное обеспечение (ПО) на основе сверточной нейронной сети, ленточный конвейер, сортировочный узел, один или несколько, представляющий собой робота с системой захвата и перемещения ТКО, настроенного на работу в укомплектованной контейнерами для сброса отобранных фракций ТКО области выгрузки, отличающийся тем, что ленточный конвейер оснащен датчиком измерения скорости конвейерной ленты, робот оснащен контроллером, комплекс дополнительно включает блок оптических сенсоров, который установлен над лентой конвейера за областью распознавания объектов цифровой камерой и включает излучатели и камеры-регистраторы, две и более, и автоматизированную систему управления (АСУ), которая включает модуль синхронизации работы цифровой камеры системы машинного зрения и блока оптических сенсоров и центральный сервер, на жестком диске которого установлено ПО, содержащее программные модули, предназначенные для обработки и преобразования данных, получаемых от компьютера системы машинного зрения, контроллера робота, датчиков скорости конвейерной ленты и модуля синхронизации, и программный модуль планирования перемещений робота, на жестком диске компьютера системы машинного зрения дополнительно установлена база данных (БД) изображений сортируемых объектов ТКО и связанных с изображениями объектов файлов описания для обучения нейросетевой модели, используемой в составе ПО, а ПО, установленное на жестком диске компьютера системы машинного зрения, включает программный модуль распознавания образов на основе сверточной нейронной сети, программный модуль обработки данных блока оптических сенсоров, программный модуль формирования списка объектов для подбора, причем центральный сервер АСУ соединен по локальной линии связи с компьютером системы машинного зрения, модулем синхронизации, контроллером робота, датчиком измерения скорости движения конвейерной ленты, модуль синхронизации АСУ соединен по локальной линии связи с камерой системы машинного зрения, блоком оптических сенсоров и центральным сервером, компьютер системы машинного зрения соединен по локальной линии связи с цифровой камерой, блоком оптических датчиков, центральным сервером АСУ.

2. Комплекс по п. 1, отличающийся тем, что излучатели блока оптических сенсоров выбирают из группы: газовые лампы (ртутные, ртутно-ксеноновые) для ультрафиолетового диапазона, лампы накаливания или глобар для инфракрасного диапазона, лазерные источники (в том числе лазерные диоды) с заданным диапазоном длин волн излучения.

3. Комплекс по п. 1, отличающийся тем, что в качестве камер-регистраторов блока оптических сенсоров используют камеры, снабженные светофильтрами на различные диапазоны длин волн и настроенные для регистрации излучения в выделенных диапазонах спектра.

4. Комплекс по п. 1, отличающийся тем, что в качестве камер-регистраторов блока оптических сенсоров используют мультиспектральную или гиперспектральную камеру.

5. Комплекс по п. 1, отличающийся тем, что в качестве робота используют дельта-робота.

6. Комплекс по п. 1, отличающийся тем, что изображения объектов, которые содержатся в БД, цветные, имеют одинаковый размер (в пикселях), одинаковый формат и одинаково кодированы в цветовом пространстве.

7. Комплекс по п. 1, отличающийся тем, что связанные с изображениями объектов файлы описания, которые содержатся в БД, включают следующую информацию: относительное расположение файлов (каталог); имя файла изображения, с которым связан данный файл; размер изображения; количество разрядов на цветовой канал; список присутствующих на изображении объектов с информацией об объекте: метка класса (тип), расположение углов прямоугольной рамки, в которую вписан объект.

8. Комплекс по п. 1, отличающийся тем, что центральный сервер АСУ комплекса соединен по локальной линии связи с системами мониторинга работы ленты, системами мониторинга и управления электропитанием, системой мониторинга рабочей области, системами безопасности, обеспечивающими блокировки или аварийное отключение работы ленты и робота, устройствами контроля наполнения контейнеров в области выгрузки.

9. Комплекс по п. 1, отличающийся тем, что комплекс включает более одного сортировочного узла с роботом и зоной выгрузки, более одного блока оптических сенсоров, а система оптического зрения комплекса включает более одной цифровой камеры, причем каждому роботу соответствует своя цифровая камера системы технического зрения и свой блок оптических сенсоров, а ПО, установленное на жестком диске компьютера системы машинного зрения, включает несколько программных модулей распознавания образов на основе сверточной нейронной сети, каждый из которых предназначен для обработки изображений ТКО от соответствующей цифровой камеры, и несколько программных модулей обработки данных блока оптических сенсоров, каждый из которых предназначен для обработки изображений ТКО от соответствующего блока оптических сенсоров, одновременно передающих данные обработки в программный модуль формирования списка объектов для подбора, при этом центральный сервер АСУ соединен по локальной линии связи с контроллерами всех роботов, модуль синхронизации соединен по локальной линии связи со всеми камерами системы машинного зрения и всеми блоками оптических сенсоров, компьютер системы машинного зрения соединен по локальной линии связи со всеми цифровыми камерами и со всеми блоками оптических датчиков.