СПОСОБ АКТУАЛИЗАЦИИ КАТАЛОГА ТОВАРОВ В СИСТЕМЕ РАСПОЗНАВАНИЯ ТОВАРОВ НА ИЗОБРАЖЕНИЯХ Российский патент 2019 года по МПК G06Q30/00 

ОБЛАСТЬ ТЕХНИКИ

Техническое решение относится к системам технического зрения на базе алгоритмов машинного обучения, а именно к системам распознавания товаров на изображениях. Под распознаванием товаров на изображениях в настоящем документе понимается автоматическое определение местоположения (координаты центра и размеры описанного прямоугольника) и наименования (среди одного из известных классов) товаров на фото- или видео-изображении выкладки товара в торговом оборудовании.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известны различные решения, обеспечивающие распознавание товаров на изображениях.

В документах US 8923893B2 (США, 2015), US 20030154141A1 (США, 2001), US 9665794B2 (США, 2012) описывается только технический процесс распознавания товаров и обходят стороной вопрос обучения; патенты US 20130051611A1 (США, 2011), US 20160155011A1 (США, 2014) используют эталонные изображения товаров для сравнения и распознавания, не раскрывая процесс создания каталога эталонных изображений товаров. Другие патенты, например, US 20160342863A1 (США, 2016), упоминают о возможности дообучения и поддержки каталога, но не указывают конкретных механизмов его актуализации.

Для каталогизации, разметки и доразметки изображений в большинстве используются сервисы краудсорсинга (такие как Mechanical Turk и пр.). Таким образом, текущий уровень техники обучения распознавания товаров использует ручную разметку и ручную каталогизацию как для задачи распознавания по известному каталогу, так и для задачи обновления каталога товаров.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Технической задачей, на решение которой направлено заявленное решение, является обеспечение составления и поддержания актуальности каталога товаров в системе распознавания товаров на изображениях в автоматизированном режиме. Для обеспечения решения указанной задачи разработан способ, позволяющий поддерживать актуальную таблицу соответствия между уникальными идентификаторами («штрих-кодом») товара и одним или несколькими примерами его внешнего вида. Особенностью описываемого способа является высокий уровень автоматизации операций по сравнению с другими известными способами, в том числе возможность полностью автоматической работы.

Техническим результатом является обеспечение возможности автоматизированного обновления каталогов товаров.

Для обеспечения достижения указанного технического результата разработан способ актуализации каталога товаров в системе распознавания товаров на изображениях, содержащий этапы, на которых: определяют информацию о по меньшей мере одном новом не известном ранее товаре в базе каталога товаров; определяют в блоке хранения данных товар, распознанный на изображении, который меньше всего похож на товары из каталога товаров; определяют, что товар, распознанный на изображении, более похож на не известный ранее товар, чем на товары из каталога товаров; извлекают из блока хранения данных изображение, на котором был распознан товар, информацию о его местоположении на изображении и географическое местоположение и на основе данной информации формируют задание для сканирования уникального идентификатора товара, которое направляют на устройства пользователя; получают от устройства пользователя уникальный идентификатор товара; актуализируют каталог товаров в базе каталога товаров посредством назначения определенному ранее новому товару уникального идентификатор товара, полученного от устройства пользователя.

Также разработана система распознавания товаров на изображениях, содержащая: блок обработки данных 10; подсистему распознавания изображений 20; и базу каталога товаров 30; причем подсистема распознавания изображений 20 выполнена с возможностью осуществлять указанный выше способ.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Для лучшего понимания сущности изобретения, и чтобы более ясно показать, каким образом оно может быть осуществлено, далее будет сделана ссылка, лишь в качестве примера, на прилагаемый чертеж, на котором изображено:

фиг. 1 – система распознавания товаров на изображениях.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В соответствии со схемой, приведенной на фиг. 1, система распознавания товаров на изображениях содержит: блок обработки данных 10, содержащий блок приема и передачи данных 11 и блок хранения данных 12; подсистему распознавания изображений 20; и базу каталога товаров 30.

Блок обработки данных 10 реализован на базе программно-аппаратных средств и предназначен для сбора данных, например, изображений, текста и геопозиции от различных источников данных. Например, блок обработки данных 10 может принимать посредством блока приема и передачи данных 11 фотографии от устройств пользователя, в частности, мобильных телефонов, смартфонов или планшетов, подключенных к Интернет посредством беспроводного соединения и оснащенных специализированным мобильным приложением. Посредством мобильного приложения пользователи могут получать фотографии выкладки товаров в торговом оборудовании, отправлять в блок приема и передачи данных 11 фотографии и другие данные, например, время и место съёмки, и получать от блока приема и передачи данных 11 результаты распознавания, например, информацию о соответствии выкладки правилам и требованиям. Полученный данные блок приема и передачи данных 11 сохраняет в блоке хранения данных 12, а также передает их в подсистему распознавания изображений 20.

Подсистема распознавания изображений 20 реализована на базе по меньшей мере одного сервера, выполненного в программно-аппаратной части таким образом, чтобы обеспечить выполнение приписанный в настоящей заявке ей функций. Подсистема распознавания изображений получает фотографии выкладки товаров в торговом оборудовании, а также время и место съёмки от блока приема и передачи данных 11, определяет местоположение товара на изображении и характеристики внешнего вида товара. Характеристики внешнего вида товара определяются заранее обученной нейронной сетью на основе обучающей выборки из каталога, например, методами, раскрытыми в заявке EP3032461 (A1), опубл. 15.06.2016.

Далее подсистема распознавания изображений 20 на основе информации о времени и месте съёмки и характеристик внешнего вида товара для каждого товара, распознанном на изображении, осуществляет построение многомерного вектора, описывающего неявные и явные признаки этого товара. Под неявными признаками понимаются признаки, полученные нейросетью, которая описывает характеристики внешнего вида данного товара, а под явными – время и место съёмки. Дополнительно при формировании многомерного вектора могут учитываться характеристики внешнего вида товаров, распознанных на том же изображении товара. Полученные многомерные вектора для изображений сохраняются в блоке хранения данных 12.

База каталога товаров 30 представляет собой базу данных, содержащую примеры изображений товаров, информацию о местоположении товаров на примерах изображений, характеристики внешнего вида товара на примерах изображений, метка товара, информацию о географическом местоположении товаров, производные показатели, например, информация о правилах выкладки, а также уникальные характеристики товара, например, его наименование, торговую марку, компанию-производителя и т.п. В качестве уникального идентификатора товара в каталоге товаров выступает один или несколько числовых «штрих-кодов» стандарта EAN-13, EAN-8 или другого стандарта. Информация о географическом местоположении задается пользователем в зависимости от точек продаж, где данный товар находится на полке.

Подсистема распознавания изображений 20 обращается к базе каталога товаров 30, извлекает характеристики внешнего вида товара на примерах изображений и информацию о географическом местоположении данного товара и осуществляет построение многомерных векторов для примеров изображений товаров аналогичным ранее способом. В альтернативном варианте реализации заявленного решения многомерные вектора для примера изображения могут быть заранее рассчитаны и сохранены в базе каталога товаров 30.

Полученные многомерные вектора для примера изображений товара сравниваются упомянутой подсистемой 20 с многомерными векторами, сохраненными в блоке хранения данных 12 для определения коэффициентов похожести товаров, распознанном на изображении, на товары из каталога товаров 30. Коэффициенты похожести товара, распознанном на изображении, может определяться по различным метрикам, например, по евклидовому расстоянию от многомерного вектора, сохраненного в блоке хранения данных 12 до многомерных векторов для примеров изображений товара. Далее подсистема распознавания изображений 20 выбирает минимальное значение коэффициента похожести товара и сравнивает его с заранее заданным диапазоном минимальных значений коэффициента похожести товара. Диапазон минимальных значений коэффициента похожести товара может быть заранее задан пользователем в подсистеме распознавания изображений 20 с учетом данных о характеристиках внешнего вида товаров, распознанных на том же изображении товара, а также с учетом места и времени съемки.

Подсистема распознавания изображений 20 определяет многомерный вектор для примера изображения товара, ближайший по заданной метрике к тому вектору, у которого получилось выбранное минимальное значение коэффициента похожести товара, и обращается к базе каталога товаров 30 и определяет товар, соответствующий данному многомерному вектору для примера изображения товара, а также извлекает уникальные характеристиками данного товара и производные показатели. Полученные уникальные характеристиками товара назначаются товару, распознанному на изображении, и сохраняются в блок хранения данных 12. Уникальные характеристиками товара и производные показатели могут быть переданы в мобильное приложение в ответ на направленное им ранее изображение товара в блок приема и передачи данных 11.

Если выбранное минимальное значение коэффициента похожести находится в пределах заданного диапазона минимальных значений коэффициента похожести товара, то товар классифицируется системой 20 как известный с меткой или уникальным идентификатором товара, полученных из каталога товаров 30; если выбранное минимальное значение коэффициента похожести выходит за пределы заданного диапазона минимальных значений коэффициента похожести товара, то подсистема распознавания изображений 20 определяет данный товар как неизвестный системе.

В связи с тем, что внешний вид товаров периодически обновляется производителями, а также с тем, что в продаже периодически появляются новые товары, каталог товаров нуждается в постоянной актуализации: дополнение каталога товарами, ранее классифицируемых как неизвестные.

Описываемый способ актуализации каталога товаров в системе распознавания товаров на изображения заключается в том, что подсистема 20 распознавания изображений раз в определённые алгоритмом интервалы времени формирует и передает в мобильное приложение задание для пользователя отсканировать штрих-код одного из недавно сфотографированных товаров, показывая полученный здесь же пример внешнего вида и положение на полке.

Для формирования упомянутого задания подсистема распознавания изображений 20 обращается к базе каталога товаров 30 для определения информации о по меньшей мере одном новом не известном ранее товаре, извлекает его характеристики внешнего вида на примерах изображений нового товара и информацию о географическом местоположении данного товара, и осуществляет построение многомерных векторов для примеров изображений товаров аналогичным ранее способом. Также подсистема распознавания изображений 20 обращается к блоку хранения данных 12, сравнивает все сохраненные значения коэффициента похожести товара и выбирает максимальные значения коэффициента похожести товара. Количество выбранных максимальных значений коэффициента похожести товара может быть заранее задано пользователем. Например, пользователь может задать, чтобы выбирались значения коэффициентов похожести товара тех товаров, которым ранее был назначен класс неизвестных товаров. Таким образом, определяют в блоке хранения данных товар, распознанный на изображении, который меньше всего похож на товары из каталога товаров.

Для выбранных максимальных значений коэффициентов похожести товара подсистема распознавания изображений 20 определяет многомерные вектора распознанных изображений, на основе которых указанные коэффициенты похожести были засчитаны, и определяет уточненные коэффициенты похожести товара, распознанном на изображении, на новые товары из каталога товаров 30.

Например, подсистема распознавания изображений 20 для определения уточненного коэффициента похожести товара, распознанном на изображении, вычитает по евклидовой норме многомерный вектор распознанного изображения из многомерных векторов для примеров изображений нового товара. Из всех полученных уточненных коэффициентов похожести товара подсистема 20 выбирает минимальный уточненный коэффициент похожести товара. Полученный минимальный уточненный коэффициенты похожести товара подсистема 20 сравнивает с максимальным коэффициентом похожести этого товара, выбранным ранее для определения того, что товар, распознанный на изображении, больше похож наранее не известный товар, чем на товары из каталога товаров, в частности, если значение минимального уточненного коэффициента похожести товара меньше значения максимального коэффициента похожести этого товара, то подсистема распознавания изображений 20 определяет многомерный вектор, сохраненными в блоке хранения данных 12 и на основе которого был рассчитан максимальный коэффициент похожести этого товара, извлекает из многомерного вектора информацию о месте и времени съемки и характеристики внешнего вида товара, и извлекает из блока хранения данных 12 изображение товара на основе информации информацию о месте и времени съемки и характеристик внешнего вида товара, а также определенное ранее местоположение товара на изображении.

Далее подсистема распознавания изображений 20 формирует задание для сканирования уникального идентификатора товара, содержащее изображение товара, его место (географическое месторасположение), местоположение товара на изображении. Сформированное задание направляется на устройства пользователя для того, чтобы пользователи в соответствии в полученным заданием нашли данный товар, например, на полках магазина и отсканировали уникальный идентификатор товара.

Полученный уникальный идентификатор товара подсистема распознавания изображений 20 назначает товару, распознанному на изображение товара, и сохраняет его вместе с минимальный уточненный коэффициентом похожести товара в блоке хранения данных 12, таким образом актуализируя каталог товаров в блоке хранения данных 12. Если у товара был ранее уже назначен и сохранен уникальный идентификатор товара, то данный идентификатор заменяется на полученный уникальный идентификатор товара.

Также подсистема распознавания изображений 20 извлекает многомерный векторов для примера изображения нового товара при вычитании из которого получилось выбранное минимальное значение уточненного коэффициента похожести товара, обращается к базе каталога товаров 30 и определяет новый товар, соответствующий данному многомерному вектору для примера изображения товара, назначает полученный на предыдущем этапе уникальный идентификатор товара новому товару и сохраняет его в базу каталога товаров 30.

Таким образом, обеспечивается возможность автоматизированного обновления каталогов товаров. За счет того, что при формировании многомерных векторов учитывается информация о времени и месте съёмки, а также географическое местоположение новых товаров, повышается точность определения похожести товаров, распознанных на изображении, на товары из каталога товаров.

Изобретение относится к системам распознавания товаров на изображениях. Технический результат заключается в обеспечении возможности автоматизированного обновления каталогов товаров. Способ актуализации каталога товаров в системе распознавания товаров на изображениях содержит этапы: определения информации о по меньшей мере одном новом не известном ранее товаре в базе каталога товаров; определении в блоке хранения данных товар, распознанный на изображении, который меньше всего похож на товары из каталога товаров; определении, что товар, распознанный на изображении, больше похож на ранее не известный товар, чем на товары из каталога товаров; извлечении из блока хранения данных изображение, на котором был распознан товар, информацию о его местоположении на изображении и географическое местоположение и на основе данной информации формируют задание для сканирования уникального идентификатора товара, которое направляют на устройства пользователя; получают от устройства пользователя уникальный идентификатор товара; актуализируют каталог товаров в базе каталога товаров. 2 н. и 2 з.п. ф-лы, 1 ил.

1. Способ актуализации каталога товаров в системе распознавания товаров на изображениях, содержащий этапы, на которых посредством подсистемы распознавания изображений:

определяют информацию о по меньшей мере одном новом не известном ранее товаре в базе каталога товаров;

определяют в блоке хранения данных товар, распознанный на изображении, который меньше всего похож на товары из каталога товаров;

определяют, что товар, распознанный на изображении, более похож на не известный ранее товар, чем на товары из каталога товаров;

извлекают из блока хранения данных изображение, на котором был распознан товар, информацию о его местоположении на изображении и географическое местоположение и на основе данной информации формируют задание для сканирования уникального идентификатора товара, которое направляют на устройства пользователя;

получают от устройства пользователя уникальный идентификатор товара;

актуализируют каталог товаров в базе каталога товаров посредством назначения определенному ранее новому товару уникального идентификатора товара, полученного от устройства пользователя.

2. Способ по п. 1, отличающийся тем, что этап определения в блоке хранения данных товара, распознанного на изображении, который меньше всего похож на товары из каталога товаров, включает этапы, на которых:

извлекают из блока хранения данных сохраненные значения коэффициента похожести товаров, распознанных на изображении;

определяют максимальные значения коэффициента похожести товара;

определяют товар, имеющий максимальные значения коэффициента похожести товара, как товар, который меньше всего похож на товары из каталога товаров.

3. Способ по п. 2, отличающийся тем, что этап, на котором определяют, что товар, распознанный на изображении, больше похож на новый товар, чем на товары из каталога товаров, включает следующие этапы:

определяют характеристики внешнего вида товара на примерах изображений нового товара, сохраненных в базе каталога товаров, и географическое местоположение данного товара;

на основе информации о географическом местоположении и определенных характеристиках внешнего вида осуществляет построение многомерных векторов, характеризующих визуальные и другие (например, географическое местоположение) признаки этого изображения товара;

определяют многомерные вектора распознанных изображений, на основе которых указанные максимальные значения коэффициентов похожести были рассчитаны;

на основе построенных многомерных векторов и многомерных векторов распознанных изображений определяют уточненные коэффициенты похожести товара, распознанного на изображении, на новый товар;

на основе значений уточненных коэффициентов похожести товара определяют, что товар, распознанный на изображении, больше похож на новый товар, чем на товары из каталога товаров.

4. Система распознавания товаров на изображениях, содержащая блок обработки данных, включающий блок приема и передачи данных, предназначенный для обмена данными с пользовательскими устройствами и передачей их в подсистему распознавания изображений; блок хранения данных, связанный с подсистемой распознавания изображений, соединенной с базой данных каталога и блоком хранения данных; причем подсистема распознавания изображений выполнена с возможностью осуществлять способ по любому из пп. 1-3.