Система компьютерного зрения для обслуживания продаж весовых товаров Российский патент 2019 года по МПК G06Q30/00 

Область техники

Изобретение относится к электронно-вычислительным системам для обслуживания продаж в сфере FMCG и может быть использовано в торговых сетях.

Список используемых сокращений и понятий:

FMCG – (от англ. Fast Moving Consumer Goods) – общее название для товаров повседневного потребления широким кругом покупателей, которые стоят относительно дёшево и быстро продаются;

PLU-код – (от англ. Price-LookUp (PLU)) – система для точной идентификации товаров.

Датасет – (от англ. Data set) – набор данных.

POS-терминал (от англ. Point Of Sale – точка продажи) – программно-аппаратный комплекс, который установлен на рабочем месте кассира.

ЦОД – центр обработки данных.

Предшествующий уровень техники

В сфере FMCG высокий товарооборот является основой получения хорошей прибыли. Автоматизация процессов продаж - основной показатель повышения эффективности.

Известны различные электронные системы для обслуживания продажи товаров во многом автоматизирующие процесс продажи товаров, позволяя его учитывать, вести базы данных, при продаже считывать графическую маркировку на товаре, соотносить ее с базой данных, определять по ней товар и автоматически формировать чек для покупки товара. При этом недостаточная степень автоматизации процесса продажи весовых товаров в узлах расчета супермаркетов обусловлена невозможностью автоматически определять товары, не имеющие специальной графической маркировки (штрих-код) для автоматического формирования чека на оплату.

В качестве аналога изобретения рассмотрим электронные торговые весы для определения веса товара, предназначенные для встраивания в кассовые боксы (страница в сети интернет https://www.store.ru/catalog/vstraivaemye-vesy-vesovye-moduli-32124). Интегрированные в кассы весы имеют интерфейс для связи с информационной системой магазина (сервером магазина) и в процессе взвешивания транслируют данные о весе взвешиваемого товара, при этом для определения стоимости и пробития чека оператору необходимо визуально определить и в ручном режиме сопоставить взвешиваемый товар с PLU-кодом товара из информационной базы данных магазина.

Вторым аналогом можно рассматривать электронные торговые весы самообслуживания с функцией печати ценника для последующего расчета на кассе (страницы в интернете:

http://www.izmteh.ru/vesy_samoobsluzhivaniya_s_sensornym_displeem_cl7000_s/vesy_samoobsluzhivaniya_s_sensornym_displeem_cl7000_15s_tcp_ip/, http://www.servplus.ru/equipment/detail/DigiSM5500/). Такие весы устанавливают в торговом зале магазина. Весы интегрированы в информационную систему магазина. В качестве интерфейса взаимодействия с покупателем весы имеют графический сенсорный дисплей и предлагают покупателю при взвешивании товара ввести код товара, либо выбрать из многочисленных элементов меню товаров, находящихся в продаже.

На всех весах-аналогах, используемых в настоящий момент в торговых сетях для определения стоимости и пробития чека, оператору необходимо визуально определить и в ручном режиме сопоставить взвешиваемый товар с PLU-кодом товара из информационной базы данных магазина. Известные весы не позволяют перевести обслуживание продаж весовых товаров в магазинах FMCG в автоматический режим.

Раскрытие изобретения

Изобретение позволяет оснастить существующие прототипы специализированными элементами системы компьютерного зрения, основанными на технологиях искусственного интеллекта для автоматической идентификации весового товара, сопоставления товара на весах с информацией о данном товаре из информационной системы магазина или, по меньшей мере, в предоставлении пользователям возможности выбора для идентификации весового товара из ограниченного списка, предложенного нейронной сетью. Также задачей изобретения является переведение обслуживания продаж весовых товаров в магазинах FMCG в автоматический режим без замены действующего торгового оборудования.

Техническим результатом является повышение уровня автоматизации продаж весовых товаров за счет автоматического распознавания весового товара. Увеличение быстродействия работы системы обслуживания продаж в FMCG. Исключение обусловленных человеческим фактором ошибок в товароучетной системе магазина (пересортица) при продажах.

Указанный технический результат достигается тем, что система компьютерного зрения для обслуживания продаж весовых товаров состоит из:

- модуля компьютерного зрения, который устанавливается в магазине на торговое оборудование, участвующее в продаже весового товара, и включает в себя цифровую видеокамеру для получения изображения взвешиваемого товара, вычислитель, обрабатывающий каскад связанных нейросетевых алгоритмов по распознаванию товара и сетевой интерфейс для связи с центром обработки данных и информационной системой магазина;

- центра обработки данных, единого для всех магазинов торговой сети, который включает в себя базу знаний экспертной системы, где накапливаются и хранятся данные для обучения нейронной сети, блок обучения нейронной сети и сетевой интерфейс для обмена информацией с модулем/модулями компьютерного зрения.

Сетевые интерфейсы элементов системы могут обеспечивать проводное или беспроводное соединение.

В магазине, при количестве модулей компьютерного зрения больше одного, устанавливается инфраструктурный сервер объединяющий модули в рамках торговой точки, выполняющий функции по агрегации данных нейронной сети магазина, получаемых с модулей компьютерного зрения и обмену данными с информационной системой магазина и центром обработки данных, при этом для увеличения скорости вычислений нейросетевых алгоритмов в модулях компьютерного зрения, либо с целью упрощения, снижения вычислительных ресурсов модуля, могут использоваться вычислительные ресурсы инфраструктурного сервера, часть процессов распознавания товара может быть перенесена с модулей установленных на устройствах взвешивания товара в магазине на инфраструктурный сервер магазина.

Функции центра обработки данных могут быть возложены на инфраструктурный сервер магазина, например, при отсутствии возможности установить связи с единым центром обработки данных торговой сети.

Краткое описание чертежей

На фиг. 1 представлена структурная схема системы компьютерного зрения для обслуживания продаж весовых товаров в торговой сети.

На фиг. 2 представлена топология развернутой системы компьютерного зрения для обслуживания продаж весовых товаров.

На фиг. 3 представлен алгоритм запуска, обучения и функционирования системы компьютерного зрения для обслуживания продаж весовых товаров.

На фигурах приняты следующие обозначения:

1…1n – Модуль компьютерного зрения, устанавливается на весы.

1.1 – Сетевой интерфейс.

1.2 – Цифровая видеокамера.

1.3 – Вычислитель, блок работы нейронной сети.

1.4 – Нейросетевая модель детекции.

1.5 – Нейросетевая модель идентификации.

2 – Инфраструктурный сервер, объединяющий модули компьютерного зрения в кластеры.

2.1 – Интерфейс обмена данными с единым центром обработки данных (ЦОД).

2.2 – Интерфейс обмена данными с информационной системой магазина.

2.3 – Информационный блок системы компьютерного зрения магазина.

2.4 – Агрегатор данных нейронной сети магазина.

3 – Центр обработки данных (ЦОД) системы компьютерного зрения торговой сети.

3.1 – Блок обучения нейронной сети.

3.2 – База знаний экспертной системы нейронной сети компьютерного зрения.

4…4n – Узел расчета, касса, POS-терминал.

4.1 – Весы POS – терминала, весы самообслуживания.

5 – Информационная система магазина.

5.1 – Товароучетная база данных магазина.

5.2 – Пользователи – персонал магазина, кассиры, покупатели на весах самообслуживания (операторы, воздействующие на информационный фон магазина).

5.3 – Интерфейс обмена данными с оборудованием магазина, POS-терминалами, весами самообслуживания.

6 – Товароучетная система торговой сети.

GM – Гипермаркет с кассами самообслуживания, весами самообслуживания.

SM – Супермаркет с кассами и прикассовыми весами.

M – Магазин с одной кассой, без инфраструктурного сервера.

MA – Магазин без продавца, системы автоматизированной торговли (пример Amazon Go).

Осуществление изобретения

Система компьютерного зрения для обслуживания продаж весовых товаров (поз.1, поз.2, поз.3) характеризуется тем, что инсталлируется/устанавливается на существующую действующую инфраструктуру продаж торговой сети (поз.4, поз.5, поз.6) надстройкой, не требует существенных изменений архитектуры информационной системы торговой сети и замены используемого торгового оборудования. Система состоит из:

- Устройств, (поз.1) устанавливаемых на весы (поз.4.1) в каждой точке расчета магазина (поз.4), а также на весы самообслуживания в торговом зале, на весы в отделах магазина, где присутствует функция формирования (печати) ценника и маркировки весового товара графической маркировкой для последующего автоматического формирования чека на оплату.

- Размещенного внутри периметра торговой точки инфраструктурного сервера (поз.2), имеющего средства связи с устройствами системы, агрегирующего информацию с каждого конечного устройства системы.

- Единого для всей системы торговой сети ЦОД (поз.3), включающего средства обработки, анализа, хранения, маршрутизации, обмена информации, имеющего средства связи с инфраструктурными серверами магазинов, которые подключены к системе автоматизации обслуживания продаж весовых товаров.

Система использует компьютерное зрение и алгоритмы машинного обучения для детектирования и распознавания товара на весах с последующим воздействием на информационный фонд товароучетной системы торговой сети (поз.6). В системе полностью объединены и автоматизированы процедуры сбора, анализа, вычисления, хранения и использования данных для процесса автоматизации продажи весовых товаров в узлах расчета супермаркетов.

Компоненты системы компьютерного зрения для обслуживания продаж весовых товаров:

1) Устройство, устанавливаемое на весы.

Модуль компьютерного зрения (поз.1) – малогабаритный программно-аппаратный комплекс, основными элементами которого являются цифровая видеокамера (поз.1.2), электронно-вычислительное устройство, поддерживающее обработку нейросетевых алгоритмов компьютерного зрения (поз.1.3). Соответствующее программное обеспечение поддерживает две независимых модели нейронной сети:

- модель детекции (поз.1.4);

- модель идентификации (поз.1.5).

Для повышения качества распознавания изображений в рамках системы используется интеллектуальный детектор товаров. Его роль заключается в том, что он:

- определяет наличие товара в целевой области;

- выделяет на изображении только сам товар, исключая контекст;

Данная модель предсказывает относительные (к размерам изображения) координаты объекта на изображении:

- относительные координаты его центра;

- относительная ширина и высота объекта;

и вероятность, по мнению модели, что товар находится в целевой области. После детектирования изображение с товаром обрабатывается идентификатором.

Сетевой интерфейс (поз.1.1) для связи с инфраструктурным сервером (поз.2) системы. Используя проводное (например Ethernet), либо беспроводное (например Wi-Fi) соединение, по протоколу TCP. Либо другие способы обмена данными, обеспечивающие требования по скорости и объему передаваемых данных.

Модуль устанавливается на весы, находящиеся в узлах расчета супермаркетов (весы POS-терминала), на весы в торговом зале (весы самообслуживания, весы в отделах), где присутствует функция печати ценника для маркировки весового товара.

Модуль с помощью видеокамеры и вычислителя детектирует/определяет появление товара на платформе весов. Используя веса обученной нейронной сети из базы знаний центра обработки данных (поз.3.2), анализирует изображение товара, распознает товар и передает результаты процесса распознавания на инфраструктурный сервер. Полученное изображение также передается в блок (поз.2.3) инфраструктурного сервера для классификации и использования в формировании единого датасета для последующих итераций обучения нейронной сети и формирования базы знаний системы.

2) Инфраструктурный сервер системы компьютерного зрения

Инфраструктурный сервер (поз.2) – электронно-вычислительное устройство, объединяющее в рамках торговой точки (магазина) конечные модули системы в кластеры. Устанавливается один на магазин. Выполняет сервисные функции по агрегации данных, получаемых с модулей компьютерного зрения и обмену данными с информационной системой магазина.

Инфраструктурный сервер получает от информационной системы магазина (поз.5) данные PLU-кода товаров, актуализирует и отправляет таблицы PLU-кодов на модули компьютерного зрения. В момент детекции и распознавания товара на платформе весов модулем компьютерного зрения сервер обеспечивает передачу результатов вычислений нейронной сети в информационную систему магазина для автоматизации формирования чека на оплату весового товара (весы на кассе), либо для печати ценника (весы в торговом зале). При пробитии чека (либо печати ценника в торговом зале) на весовой товар в качестве обратной связи от информационной системы супермаркета инфраструктурный сервер получает данные (PLU-код товара) о выборе оператора для взвешиваемого товара. Если нейросеть не распознала товар на весах, тогда оператор в ручном режиме выбирает PLU-код товара, система фиксирует выбор оператора. Сопоставляя полученный от информационной системы магазина PLU-выбор оператора c полученным от модуля изображением взвешиваемого товара инфраструктурный сервер классифицирует изображения и передает в центр обработки данных (поз.3) для формирования централизованного датасета.

Агрегированные инфраструктурным сервером (поз.2) данные периодически пакетами, раз в сутки, например, либо при достижении установленного порога количества ошибок идентификации, передаются в центр обработки данных (поз.3). В ответ принимаются веса, полученные после очередной итерации обучения нейронной сети.

Полученные в результате обучения новые веса нейросети идентификатора загружаются в вычислители (поз.1.3) конечных модулей системы компьютерного зрения (поз.1).

3) Единый центр обработки данных системы компьютерного зрения (ЦОД).

ЦОД (поз.3) – центр обработки данных, один на всю торговую сеть, должен быть обеспечен необходимыми ресурсами для хранения больших объемов данных и выполнения вычислений нейросетевых алгоритмов.

– служит для централизованного хранения данных, полученных с модулей компьютерного зрения через инфраструктурные серверы всех магазинов торговой сети.

- анализирует и формирует единый, централизованный датасет, базу знаний (поз.3.2), для первоначальной, при запуске системы, и последующих (текущих) итерациях обучения нейронной сети.

- блок (поз.3.1) выполняет процесс обучения нейронной сети, используя сформированный централизованный датасет с последующей передачей полученных при обучении нейронной сети весов на инфраструктурные серверы магазинов.

Такая структура и схема взаимодействия элементов системы позволяют совместить процесс распознавания товара и автоматизировать сбор датасета для очередных итераций обучения нейронной сети, тем самым процесс обучения для вновь поступающих в продажу товаров проходит автоматически, и точность распознавания товара с каждой итерацией обучения нейросети в процессе эксплуатации системы растет.

Преимущества разработанной системы:

- Кассир не тратит время на поиск товара в базе при взвешивании.

- Сокращается время операции обслуживания покупателя.

- Система избавляет процесс продаж от ошибок, обусловленных человеческим фактором.

- Система компьютерного зрения обеспечивает контроль экономических правонарушений кассира.

- Система избавляет от возникновения пересортицы при продаже весовых товаров.

- На весах самообслуживания система компьютерного зрения сокращает время использования весов покупателем.

- Уменьшает нагрузку на принтер весов за счет сокращения неверно распечатанных ценников, продлевая ресурс работы оборудования.

Варианты осуществления данного изобретения приведены в качестве примеров и не ограничивают его объема. Различные изменения и эквивалентные решения являются очевидными для специалистов в данной области. Система может иметь в составе минимум один модуль компьютерного зрения и центр обработки данных. При определенных условиях конфигурации функции вычислителя модуля (поз.1.3) могут быть возложены на инфраструктурный сервер (поз.2). Функции ЦОД могут быть возложены на инфраструктурный сервер магазина. Модули компьютерного зрения могут быть соединены непосредственно с центром обработки данных без использования инфраструктурного сервера магазина (например, в малых торговых точках).

Проведенный анализ уровня техники показывает, что заявленная совокупность существенных признаков, изложенная в формуле изобретения, неизвестна. Это позволяет сделать вывод о соответствии заявленного технического решения условию патентоспособности «новизна».

Сравнительный анализ показал, что в уровне техники не выявлены решения, имеющие признаки, совпадающие с отличительными признаками заявленного изобретения, а также не подтверждена известность влияния этих признаков на технический результат. Таким образом, заявленное техническое решение удовлетворяет условию патентоспособности «изобретательский уровень».

Приведенные сведения подтверждают возможность применения заявляемой системы компьютерного зрения для обслуживания продаж весовых товаров, изобретение может быть использовано в торговых сетях, и поэтому соответствует условию патентоспособности «промышленная применимость».

Изобретение относится к системе компьютерного зрения для обслуживания продаж весовых товаров. Технический результат заключается в повышении уровня автоматизации продаж весовых товаров. Система состоит из: модуля компьютерного зрения, включающего в себя цифровую видеокамеру для получения изображения взвешиваемого товара, вычислитель, обрабатывающий каскад связанных нейросетевых алгоритмов по распознаванию товара, и сетевой интерфейс; центра обработки данных, единого для всех магазинов торговой сети, который включает в себя базу знаний экспертной системы, блок обучения нейронной сети и сетевой интерфейс; при этом в магазине устанавливают инфраструктурный сервер, объединяющий модули в рамках торговой точки, выполняющий функции по агрегации данных нейронной сети магазина, получаемых с модулей компьютерного зрения, и обмену данными с информационной системой магазина и центром обработки данных, при этом используют вычислительные ресурсы инфраструктурного сервера и часть процессов распознавания товара переносятся с модулей, установленных на устройствах взвешивания товара в магазине, на инфраструктурный сервер магазина, при отсутствии возможности установить связи с единым центром обработки данных торговой сети функции центра обработки данных возложены на инфраструктурный сервер магазина. 3 ил.

Система компьютерного зрения для обслуживания продаж весовых товаров, состоящая из:

- модуля компьютерного зрения, который устанавливается в магазине на торговое оборудование, участвующее в продаже весового товара, и включает в себя цифровую видеокамеру для получения изображения взвешиваемого товара, вычислитель, обрабатывающий каскад связанных нейросетевых алгоритмов по распознаванию товара, и сетевой интерфейс для связи с центром обработки данных и информационной системой магазина;

- центра обработки данных, единого для всех магазинов торговой сети, который включает в себя базу знаний экспертной системы, где накапливаются и хранятся данные для обучения нейронной сети, блок обучения нейронной сети и сетевой интерфейс для обмена информацией с модулем/модулями компьютерного зрения;

при этом в магазине, при количестве модулей компьютерного зрения больше одного, устанавливают инфраструктурный сервер, объединяющий модули в рамках торговой точки, выполняющий функции по агрегации данных нейронной сети магазина, получаемых с модулей компьютерного зрения, и обмену данными с информационной системой магазина и центром обработки данных,

при этом используют вычислительные ресурсы инфраструктурного сервера и часть процессов распознавания товара переносятся с модулей, установленных на устройствах взвешивания товара в магазине, на инфраструктурный сервер магазина,

при отсутствии возможности установить связи с единым центром обработки данных торговой сети функции центра обработки данных возложены на инфраструктурный сервер магазина.