АВТОМАТИЗИРОВАННЫЙ КОМПЛЕКС ПО СОРТИРОВКЕ ИСПОЛЬЗОВАННОЙ ТАРЫ Российский патент 2022 года по МПК B09B5/00 

Изобретение относится к области автоматизированной сортировки твердых коммунальных отходов, в частности использованной тары из пластика, металла и стекла.

Известно устройство, способное идентифицировать изображения отходов, на основе сверточной нейронной сети (KR 101942219, опубл. 24.01.2019 г.), которое содержит блок приема начального изображения отходов, блок идентификации, который идентифицирует полученные изображения в соответствии с интересуемой областью и модуль детектирования, который определяет тип отходов, вычисляя их характеристики.

Основным недостатком известного устройство является то, что модуль детектирования объектов основан на анализе первой карты признаков путем применения «скользящего» окна заданного размера и определения наличия или отсутствия объекта в этом окне, что не позволяет достичь скорости обработки не выше 0,5 кадра в секунду и в целом ограничивает производительность всего сортировочного комплекса.

Известно устройство для сортировки мусора, включающее захват сортируемых предметов с конвейера, размещенными вдоль него роботами с манипуляторами, с захватными органами в виде руки. Рука робота оборудована тактильными сенсорами, сигнализирующими о надежности захвата сортируемого предмета. Робот оснащен системой для распознавания мусорных предметов, состоящей из обычных и лазерных сканеров, спектрометров, лазерных 3D-сканнеров и различных детекторов, управляемых программным обеспечением робота. Системой распознавания определяются: величина, форма и цвет предмета, его вещественный состав, физические свойства. (RU 2624288, опубл. 03.07.2017 г.).

Манипуляторы, размещенные вдоль конвейера, захватывают предметы с конвейера и анализируют его: лазерными сканерами определяют его 3D-модель, его размеры, спектрометрами - вещественный состав, детекторами - физические свойства. Эти данные посредством программного обеспечения робота сравниваются с данными, образ которых заложен в его памяти. Опознанные предметы укладываются в соответствующие контейнера, остальные направляются в отходы.

Однако известное устройство имеет существенный недостаток, заключающийся в том, что его производительность напрямую связана с числом роботов, каждый из которых оснащен дорогостоящей системой распознавания предметов в виде различных сканеров, блоков памяти и программного управления, детекторов и спектрометров.

Наиболее близким к заявляемому является роботизированный автоматический комплекс по сортировке твердых коммунальных отходов на основе нейронных сетей (RU 2731052, опубл. 09.09.2020 г.). Роботизированный комплекс включает систему машинного зрения с цифровой камерой и компьютером c программным обеспечением на основе сверточной нейронной сети, ленточный конвейер, робот с системой захвата и перемещения. Блок оптических сенсоров установлен над лентой конвейера за областью распознавания объектов цифровой камерой и включает излучатели и камеры-регистраторы и автоматизированную систему управления. Центральный сервер автоматизированной системы управления соединен по локальной линии связи с компьютером системы машинного зрения, модулем синхронизации, контроллером робота, датчиком измерения скорости движения конвейерной ленты. Модуль синхронизации автоматизированной системы управления соединен по локальной линии связи с камерой системы машинного зрения, блоком оптических сенсоров и центральным сервером.

Известный комплекс осуществляет последовательно два этапа обработки информации и сортировки. На первом этапе осуществляется обработка информации, поступающей с нескольких фото/видеокамер для выделения «области интереса» при помощи нейронных сетей, на втором этапе - данные оптических сенсоров, работающих в ИК-, УФ-диапазонах для классификации сырья по определенному типу. Заявлено, что в среднем вероятность правильного распознавания объектов на первом этапе достигает 82.21%, а анализ материала оптическими методами в различных диапазонах обеспечивает практически безошибочную классификацию.

Очевидно, что нейронные сети используются для «грубой» классификации предметов и определения области интереса (англ. Region of Interest, ROI) для следующего этапа сортировки. Данные по быстродействию нейронной сети, используемой в изобретении на первом этапе, не приводятся, но декларируется увеличение быстродействия всей системы до нескольких раз, в сравнении с прочими системами, использующими нейронные сети, что довольно спорно без указания конфигурации тестовой системы.

Недостатками известного комплекса являются низкие производительность и качество сортировки из-за технических ограничений сенсоров, применяемых на втором этапе сортировки, а также невозможность интегрирования его в существующие функционирующие сортировочные конвейерные устройства, осуществляющие «грубую» сортировку использованной тары, т.к известный комплекс является полноценным устройством с единым центральным управлением процессом сортировки твердых бытовых отходов.

Технический результат заключается в повышении производительности комплекса и качества сортировки за счет использования как высокоуровневых, так и низкоуровневых принципов управления, а также в расширении функциональных возможностей путем модификации существующих функционирующих сортировочных устройств.

Технический результат достигается тем, что автоматизированный комплекс по сортировке использованной тары, включающий транспортный ленточный конвейер, снабженный системой распознавания на основе нейронных сетей, управляющий блок и сортировочный узел, согласно изобретению, дополнительно включает систему предварительной сортировки тары по заданным классам, размещенную перед системой распознавания, нейронные сети системы распознавания обучены на распознавание заданных признаков классов принимаемой тары, а управляющий блок связан с модулями распознавания обеих систем и выполнен с возможностью принятия решений по сортировке и разделению тары, при этом сортировочный узел содержит контейнеры с двумя отсеками и выполнен с возможностью разделения потока тары на два.

В отличии от прототипа заявляемый автоматизированный комплекс дополнительно включает систему предварительной «грубой» сортировки тары по заданным классам, которую размещают перед системой распознавания. Использование системы распознавания после «грубой» сортировки позволяет сортировать материалы по типам и цветам, т.к. при сортировке пластиковой тары важно не смешивать пластик разных видов и цветов при утилизации.

Система предварительной, т.е. «грубой» сортировки тары включает модули (оптические сенсоры и датчики), которые позволяют обнаружить объект и выделить «области интереса» (контура объекта, англ. Rigion of Interest, ROI) с помощью быстрых алгоритмов машинного зрения. Преимущество заключается в сокращении затрат вычислительных ресурсов на этапе «грубой» сортировки.

Модули системы предварительной сортировки могут включать общепринятые датчики, одна или несколько фото- и видеокамер, датчики веса, различные виды мультиспектральных сенсоров, сенсоров ближнего (NIR) и дальнего (FIR) инфракрасного диапазона, лазерно-спектроскопические (LIBS), рентгено-флуоресцентные сенсоры, сканеры штрих-кода и QR-кода и др. Выбор зависит от поставленных задач и особенностей сортируемых фракций.

Системой «точной» сортировки служит система распознавания, включающая один или несколько блоков нейронных сетей с промежуточным принятием решений. Нейронные сети могут быть идентичными, работающими в параллельной конфигурации, либо различными, использующими разные модели. Система распознавания может быть подготовлена к сортировке двух, трех и большего количества классов полезной фракции, увеличивая количество подготовленных нейронных сетей, т.к. нейронные сети натренированы не только на определение областей интереса, но и на определение формы объекта. Для повышения производительности разные классы полезной фракции, разделенные системой предварительной сортировки, могут подаваться для точного поиска по индивидуальным линиям.

Управляющий блок связан с модулями распознавания обоих систем (система предварительной сортировки и система распознавания) и выполнен с возможностью принятия решений по сортировке и сепарации (разделению) тары. Управляющий блок связан с исполнительными механизмами, передавая им координаты и тип объекта. Точность решений управляющего блока повышается в случае обработки им результатов распознавания несколькими нейронными сетями, объединенными в одном модуле.

Важно, что нейронные сети натренированы не только на определение областей интереса и классов принимаемой тары, но и на определение таких признаков, как форма объекта, в том числе - характерные недеформируемые фрагменты тары.

Примером может быть связка из двух нейронных сетей – одной, обученной для распознавания всей принимаемой тары по форме (отличает форму пластиковой бутылки от формы остальных объектов), и второй, обученной для распознавания характерных фрагментов тары, которые не деформируются, даже если сама тара смята (для пластиковой бутылки данным фрагментом является горловина). Решение выносится одновременно двумя нейронными сетями и учитывается комплексно, применяя весовые коэффициенты к полученным вердиктам. Т.к. одна из сетей может ошибиться, то более достоверный ответ другой сети позволит все равно вынести правильное решение.

Разработанная авторами изобретения нейронная сеть позволяет достигать точности распознавания пластиковой и алюминиевой тары на уровне 95% даже для деформированной и загрязненной тары. Это достигается посредствам применения технологии сверточных нейронных сетей (CNN) и обучения на специально подготовленных наборах изображений, включающих в себя изображения, получаемые камерами (в кадре находится объект, принадлежащий одной из групп – пластиковая тара (независимо от степени повреждения и загрязнения), алюминиевая тара (независимо от степени повреждения и загрязнения), прочие объекты. Условия съемки максимально приближены к условиям штатной работы, а изображения, получаемые из изображений предшествующей категории, обработаны специальными фильтрами (искажение цветовой гаммы, поворот изображения на произвольный угол, искажение пропорций изображения, добавление искусственного информационного шума и др.).

Обучение проводится поэтапно с фиксацией промежуточных результатов для возможности выбора варианта с наилучшим качеством распознавания. Нейронная сеть была заново обучена. База фотографий содержала 1700 изображений бутылок и банок, сделанных в разрабатываемом аппарате по сортировке твердых коммунальных отходов. База изображений была разделена по материалу предмета и категории, что в общей сложности составила пять классов. Вся база фотографий была поделена на обучающую и тестовую выборки в соотношении 80/20. Для обучения использовалось облачное вычисление Cloud TPU и фреймворк TensorFlow.

Для оптимизации нейронной сети использовали оптимизатор Adam и циклическое обучение. В ходе тестирования была настроена нейронная сеть, способная идентифицировать тару по 3 классам – «бутылка ПЭТФ», «алюминиевая банка», «другое». Нейронная сеть на тестовой выборке достигла точности 97 %. (Ахметзянов К.Р., Тур А.И., Кокоулин, А.Н., Южаков А.А. Оптимизация вычислений нейронной сети // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. 2020. № 36, стр. 120-121; Тур А.И., Кокоулин А.Н., Дзыгарь А.В. Иерархическая система поиска и распознавания штрихкода на поврежденной таре в автомате раздельного сбора отходов // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления, 2019, No 29, стр. 46).

Методы, рассматриваемые в прототипе, имеют схожую идею, но в описанном концепте не могут быть использованы при модифицировании существующих и функционирующих устройствах сортировки твердых отходов. А предлагаемый комплекс может быть интегрирован в уже существующие и функционирующие конвейерные линии, т.к. система распознавания (точная сортировка) может быть включена параллельно системе «грубой» сортировке для повышения быстродействия и производительности устройств сортировки за счет использования как высокоуровневых, так и низкоуровневых принципов управления.

В случае реализации такого модифицирования функционирующий конвейер будет дополнен такими элементами, как: минимум одна транспортная лента, система как минимум с одним исполнительным механизмом сортировки (манипуляторы/пневматические системы и прочее), система точного поиска, дополнительные конструкционные элементы (ящики для сбора фракции, дозаторы, направляющие для формирования потока на ленте и прочее). Управление может осуществляться с помощью уже имеющегося на линии компьютера, либо с помощью дополнительного, обрабатывающего поступающие данные и подающего управляющие команды исполнительным механизмам.

Согласно п.2 формулы сортировочный узел выполнен с возможностью разделения потока тары на два, один из которых попадает в первый отсек контейнера, второй – во второй отсек. Траектория перемещения каждого потока регулируется с помощью пневматических форсунок, управляющие команды на которые подает управляющий блок.

Согласно п.3 формулы заданным признаком класса использованной тары может служить ее недеформируемый фрагмент, например, горловина пластмассой бутылки, что способствует повышению точности распознавания объекта при его сортировке.

На чертеже схематичного изображено заявляемое устройство, где:

1 - загрузочный контейнер;

2 - лента первого транспортного конвейера;

3 - система предварительной сортировки;

4 - первый контейнер сортировочного узла;

5 - пневматическая система форсунок;

6 - открытый отсек первого контейнера 4;

7 - закрытый отсек первого контейнера 4;

8 - второй транспортный конвейер;

9 - система распознавания;

10 - сортировочный узел;

11, 12 - отсеки второго контейнера сортировочного узла;

13 - управляющий блок.

Заявляемое устройство работает следующим образом.

Из загрузочного контейнера 1 на ленту первого транспортного конвейера 2 поступает несортированная тара. Модули системы предварительной «грубой» сортировки 3 с помощью фото- или видеокамер и/или приборов спектроскопического анализа определяют местоположение объектов по заданным классам, например, пластиковых бутылок, на ленте первого транспортного конвейера 2 и передают информацию на управляющий блок 13. Лента 2 перемещает тару к пневматической системе форсунок 5 сортировочного узла 4. По сигналам, поступающим с управляющего блока 13, система форсунок 5 сортировочного узла разделяет поток тары на два потока с разной траекторией полета.

Нужная фракция попадает в открытый отсек 6 первого контейнера 4, остальная фракций – в закрытый отсек 7 первого контейнера 4. Через дозатор открытого отсека первого контейнера 4 нужная фракция выгружается на ленту второго транспортного конвейера 8.

Двигаясь по ленте вдоль конвейера 8 отобранная тара проходит через модули системы распознавания 9, основанной на нейронных сетях, которая обменивается сигналами с управляющим блоком 13. Далее тара перемещается на сортировочный узел 10, где осуществляется окончательная сортировка, во время которой отобранная тара попадает в отсек 11, а остальная, не удовлетворяющая критериям сортировки, попадает в отсек 12. Траекторию потоков задает пневматическая система форсунок 5 по сигналам, поступающим с управляющего блока 13. Далее выполняются действия согласно технологическому процессу утилизации.

Для увеличения пропускной способности устройства и/или количества классов отбираемых объектов может быть увеличено число транспортных конвейеров, систем распознавания и дополнительных компонентов, обеспечивающих осуществление процесса сортировки.

При модифицировании существующей линии сортировки, уже включающей в себя контейнеры, транспортные конвейеры и механизмы разделения потоков, будет применяться следующая схема. Управляющий блок 13 интегрируется в технический процесс уже имеющегося блока управления или целиком его заменяет. Системы 3 и 9 устанавливают последовательно друг за другом, если система оснащена только одним транспортным конвейером. В этом случае существует необходимость прохождения сортируемой тары через системы дважды (сначала «грубая», а затем «точная» сортировка). В остальном процесс сортировки соответствует описанному выше. В противном случае системы 3 и 9 устанавливают на разных транспортных конвейерах.

Изобретение относится к области автоматизированной сортировки твердых коммунальных отходов, в частности использованной тары из пластика, металла и стекла. Автоматизированный комплекс по сортировке использованной тары включает транспортный ленточный конвейер, снабженный системой распознавания на основе нейронных сетей, управляющий блок и сортировочный узел. Автоматизированный комплекс по сортировке использованной тары дополнительно включает систему предварительной сортировки тары по заданным классам, размещенную перед системой распознавания. Нейронные сети системы распознавания обучены на распознавание заданных признаков классов принимаемой тары. Управляющий блок связан с модулями распознавания обеих систем и выполнен с возможностью принятия решений по сортировке и разделению тары. Сортировочный узел содержит контейнеры с двумя отсеками и выполнен с возможностью разделения потока тары на два посредством пневматических форсунок. Повышается производительность комплекса и качество сортировки, а также расширяются функциональные возможности. 1 з.п. ф-лы, 1 ил.

1. Автоматизированный комплекс по сортировке использованной тары, включающий транспортный ленточный конвейер, снабженный системой распознавания на основе нейронных сетей, управляющий блок и сортировочный узел, отличающийся тем, что дополнительно включает систему предварительной сортировки тары по заданным классам, размещенную перед системой распознавания, нейронные сети системы распознавания обучены на распознавание заданных признаков классов принимаемой тары, а управляющий блок связан с модулями распознавания обеих систем и выполнен с возможностью принятия решений по сортировке и разделению тары, при этом сортировочный узел содержит контейнеры с двумя отсеками и выполнен с возможностью разделения потока тары на два посредством пневматических форсунок.

2. Автоматизированный комплекс по сортировке использованной тары по п. 1, отличающийся тем, что заданным признаком класса использованной тары может служить ее недеформируемый фрагмент.