Система определения стоимости весового товара Российский патент 2023 года по МПК G06Q20/18 G06N3/02 

Изобретение относится к вычислительным системам для обслуживания продаж в сфере розничной торговли и может быть использовано в магазинах самообслуживания, в которых ограничено присутствие торгового персонала.

Продажа весовых товаров – одна из задач уровня техники, которая труднее всего поддается автоматизации. В ряде случаев весовые продукты пищевой промышленности, такие как конфеты, макаронные или кондитерские изделия, имеющие стандартную форму или цветовое решение, специфичные для конкретного изделия, могут быть легко распознаны автоматизированными системами. В то же время продукция природного происхождения, такая как овощи и фрукты, хотя и сортируется перед продажей, но не всегда имеет заранее заданные параметры даже в одной партии и часто имеет существенно различный вид в различных партиях товара.

В ряде случаев в торговых залах располагаются весы, выполненные с возможностью печати этикеток по задаваемым покупателями кодам, соответствующим весовым товарам. Такого рода технологии требуют выборочной или тотальной проверки веса упаковок, а также идентификации товаров продавцами на кассах, в связи с чем не могут применяться в магазинах самообслуживания с большим оборотом.

Из уровня техники известно техническое решение, раскрытое в описании к полезной модели Китайской Народной Республики CN210375376, опубликованной 21.04.2021 г. Известное решение использует информацию, полученную с камеры видимого спектра и инфракрасного датчика распознавания товара для идентификации фруктов и овощей с целью последующего определения стоимости товаров, размещаемых на весовой платформе. В случае невозможности распознавания товаров в автоматизированном режиме используется ручной режим подтверждения вида товара, при котором персонал торгового предприятия указывает вид товара. Известное техническое решение предназначено для облегчения операций фасовки различных товаров и не предназначено для использования покупателями, поскольку не содержит средств защиты от недобросовестного использования или минимизации последствий недобросовестного использования покупателями средств взвешивания товаров.

Наиболее близким к предложенному техническому решению является способ, раскрытый в патенте РФ RU2703962, при реализации которого производится полностью автоматизированное распознавание весовых товаров, а обучение системы распознавания производится централизованно с использованием заранее составленных наборов данных. Недостатком данного решения является невозможность корректировки ошибок распознавания в реальном времени, что влечет за собой увеличение среднего времени обслуживания покупателей, снижение выручки торгового предприятия, необходимость иметь значительное количество кассового оборудования.

Таким образом, в уровне техники существует задача распознавания весовых товаров перед определением их стоимости на основе стоимости единицы товара и результата взвешивания, а также необходимость в создании универсального средства распознавания товаров, которое обеспечивает оперативную корректировку в режиме реального времени ошибок распознавания товаров, а при невозможности точного распознавания - оперативное обслуживание покупателей, даже если нет уверенности в точности распознавания.

Для решения указанной задачи и достижения технического результата, заключающегося в уменьшении количества кассовых аппаратов в торговых сетях, а также снижения материальных затрат на обеспечение требуемой точности распознавания товаров, предлагается способ определения стоимости весового товара, расположенного на весовой платформе с использованием динамического изображения весовой платформы, полученного с использованием стационарно закрепленной видеокамеры, в обзор которой попадает весовая платформа, заключающийся в том, что:

формируют базу данных обновляемых обучающих наборов данных и производят обучение системы распознавания с использованием обучающих наборов данных, признаков товаров торговой точки, где:

для каждого из товаров определен идентификатор и стоимость товара за единицу веса, а обучающий набор данных для каждого из товаров содержит изображение товара, соответствующее идентификатору товара;

для размещенного на весовой платформе товара, захватывают изображение, формируемое видеокамерой, и преобразуют изображение, полученное видеокамерой, в последовательность кадров, представленных данными в цифровом формате, пригодном для использования средствами распознавания товара, при стабилизации положения товара на весовой платформе выбирают один из кадров видеокамеры и производят распознавание товара, находящегося на весовой платформе и представленного на выбранном кадре системой распознавания с формированием списка распознанных товаров из базы данных, максимально сходных с распознаваемым товаром;

формируют и представляют покупателю интерактивную систему меню с указанием списка товаров, и при выборе покупателем идентификатора весового товара с использованием системы меню, которая может содержать 5 – 6 выбранных товаров, определяют стоимость весового товара путем умножения веса товара, выраженного в единицах веса, на стоимость единицы товара.

В частных случаях реализации система меню может быть выполнена с возможностью выбора товара, не представленного в списке распознанных товаров, а при выборе пользователем товара, производят сравнение изображения товара из базы данных изображения товара, представленного видеокамерой, и при полном несоответствии изображений формируют уведомление о невозможности вычисления стоимости товара, при этом изображение товара из обучающего набора может быть представлено в виде трехмерной модели.

При нахождении нескольких товаров на весовой платформе по участкам изображений товаров может быть сформирована трехмерная модель соответствующих товаров, которая может быть использована для сравнения с трехмерной моделью из базы данных. Дополнительно, при нахождении на весовой платформе нескольких весовых товаров, может быть выбран для распознавания товар, имеющий наиболее полное представление на изображении с видеокамеры. В качестве системы распознавания может быть использована нейронная сеть, либо поисковая система, а обучение поисковой системы производится путем формирования индекса свойств изображений.

Перед выкладкой весового товара в торговом зале может быть проверена возможность точного распознавания товара системой распознавания, и, при невозможности его распознавания, база данных может быть дополнена изображением выкладываемого товара.

Система распознавания товаров, реализующая предложенный способ, может быть преимущественно использована для нескольких торговых точек.

С использованием видеокамеры может быть также выявлено недопустимое расположение товара на весовой платформе и при выявлении недопустимого положения возможность реализации операции умножения может быть заблокирована.

Кроме этого, при реализации способа может быть задан коэффициент допустимого различия товаров, и, при нахождении на весовой платформе нескольких весовых товаров, распознают каждый из товаров, находящихся в поле зрения видеокамеры, а при полном несоответствии результатов распознавания, по крайней мере для одного из товаров с другими товарами, или в том случае, если вероятность несовпадения распознанных товаров ниже коэффициента допустимого различия, не производят умножение и уведомляют пользователя о невозможности покупки товаров на весовой платформе.

На фиг. 1 изображен терминал самообслуживания, который может быть использован для реализации изобретения.

На фиг. 2 представлена обобщенная схема системы самообслуживания, в которой может быть использован способ.

На фиг. 3 представлена упрощенная схема функционирования системы, изображенной на фиг. 2, при реализации заявленного способа.

Для реализации предложенного способа может быть использован терминал самообслуживания, выполненный в виде кассового аппарата, изображенного на фиг. 1. Как показано на фиг. 1, терминал содержит закрепленное над полом плоское основание (101), в центральной части которого, на одном уровне с плоскостью основания, расположена весовая платформа (102), за которой, над плоскостью платформы (102), закреплен плоский вертикальный корпус (103), в котором, заподлицо с передней панелью корпуса (103), установлены дисплей с сенсорным экраном (104) и сканер для считывания штрихкодов (105) (далее – сканер штрихкодов). Терминал содержит закрепленный в корпусе (103) платежный банковский терминал (106), закрепленный сбоку от корпуса (103) принтер фискальных документов (107), установленные над дисплеем (104) в корпусе (103) основную видеокамеру (108), которая может быть установлена с возможностью обзора весовой платформы (102), блоки ввода и вывода звука (109) для информационного оповещения покупателя, и закрепленное сверху корпуса (103) средство для формирования световых сигналов (110), которое также может быть использовано в качестве подсветки при работе видеокамеры (108).

Дисплей (104) имеет прямоугольную форму и расположен вертикально, видеокамера (108) расположена поверх дисплея (104) близи центральной части корпуса (103), блоки ввода и вывода звука (109) расположены поверх дисплея (104), а дисплей (104) выполнен обеспечивающим индикацию информационных элементов в верхней его половине, а формирование изображений элементов управления, используемых при прикосновении к сенсорной панели, в нижней половине дисплея (104).

Терминал самообслуживания дополнительно может содержать блок считывания информации с магнитных полос карт (114) с магнитной полосой.

Сканер штрихкодов (105) и платежный банковский терминал (106) расположены ниже нижней кромки дисплея (104), плоское основание (101) снабжено бортами (111), частично ограничивающими площадку (112) для неучтенных покупок и площадку (113) для совершенных покупок. Весовая платформа (102) разделяет площадку для совершенных покупок (113) и площадку для неучтенных покупок (112).

Терминал оснащен видеокамерой, предназначенной для распознавания товаров, которая может быть расположена в пределах вспомогательной платформы перед плоскостью сенсорной панели, отделяющей площадку для совершенных покупок от площадки для неучтенных покупок, а принтер фискальных документов может быть расположен над площадкой таким образом, что передний его край, над которым располагаются отпечатанные чеки, расположен вблизи центральной части платформы для совершенных покупок. Такое расположение принтера снижает вероятность утери чека при его падении после окончания процесса печати, поскольку в предложенной конструкции чек, при падении с принтера, попадает в пакет для покупок.

Камера (видеокамера) распознавания товаров установлена с возможностью обзора весовой платформы, при этом камера, в частном случае, может быть скрыта от покупателя конструктивными элементами устройства, например, платежным банковским терминалом, защитным кожухом или корпусом пригодного для этих целей устройства. Благодаря такому расположению камеры достигается повышение точности определения весовых товаров, поскольку камеру не видно покупателю, и при наличии злого умысла покупатель не может закрыть камеру, не привлекая к себе внимание. Скрытое расположение камеры позволяет контролировать обзор весового товара на весовой платформе. Камера позволяет отслеживать и блокировать операции в случае, когда покупатель кладет на весы один товар, а оплачивает другой, с меньшей ценой. Дополнительно камера имеет возможность проверять наличие товара за пределами платформы, для чего соответствующим образом настраивается зона обзора камеры. Дополнительно, камера может быть использована для сканирования штрихкодов или матричных штучных товаров с целью получения информации о стоимости покупательской корзины. Дополнительно при сканировании штрихкодов может осуществляться распознавание товара, на который нанесен штрихкод с целью определения соответствия штрихкода товару и выявления соответствующих ошибок или злоупотреблений.

Дополнительные элементы устройства могут быть закреплены на общем корпусе или располагаться внутри него.

Как показано на фиг. 2, система, в которой может быть реализован способ, может быть использована совместно терминалом 12 самообслуживания. Терминал самообслуживания, содержащий видеокамеру и весовую платформу, может использовать доступные проводные или беспроводные сети для формирования каналов 1 и 2 передачи данных для взаимодействия с торговой подсистемой 16 аутентификации, и подсистемой аутентификации 14 платежной подсистемы 18.

Система самообслуживания для пользователя обслуживаемой торговой площади содержит сервер 5 управления системой, сервер 17 точки продаж, облачные сервисы которой также могут содержать базы данных, используемые, в том числе, для хранения фискальной отчетности, получаемой по каналу 11 от фискального брокера 10 или подсистемы 9 фискализации. Система содержит не показанные на фигурах, доступные для персонала визуальные информационные устройства и устройства звукового оповещения, которые могут быть выполнены в виде жидкокристаллических мониторов, выполненных раздельно или в одном корпусе с устройствами воспроизведения звука. Сервер управления системой выполнен с возможностью обмена данными с коммуникатором пользователя по каналам связи доступным для коммуникатора пользователя, например через подсистему аутентификации, выполненную дополнительно формирующей выделенный защищенный канал обмена данными. Сервер точки продаж выполнен управляющим оборудованием точки продаж с использованием команд управления, сформированных персоналом, команд управления, обусловленных логикой работы торговой точки, а также сформированных сервером управления. Подсистема распознавания весовых товаров может быть выполнена в виде отдельного программно-аппаратного модуля или может входить в состав центрального сервера.

Система может содержать установленные между входом торговой площади и местом размещения товаров средства для бесконтактной регистрации входящего пользователя, формирующие первый уникальный идентификационный код точки продаж, представленный с возможностью бесконтактной передачи кода на коммуникатор пользователя, с обеспечением, по результату проверки аутентификационных данных пользователя блоком 14 начала покупательской сессии пользователя и формирования защищенного канала связи между коммуникатором пользователя и сервером управления с использованием сессионного ключа, с отправкой на сервер точки продаж команды на формирование аудиовизуального сообщения о входе пользователя в точку продаж.

Сервер управления, с использованием внутренних средств обработки данных или с использованием облачных сервисов, выполнен с возможностью получения данных о выбранных пользователем товарах, с внесением выбранных товаров в список покупок, а также данных о корректировке списка покупок и с возможностью корректировки списка покупок соответствующим образом. Выбор товара пользователем может осуществляться сканированием штрих кода или QR кода с использованием видеокамеры коммуникатора или терминала самообслуживания, либо путем считывания коммуникатором или терминалом самообслуживания бесконтактных радиочастотных меток, при наличии такой возможности. Просканированный код может быть распознан и передан к серверу 5 в виде текстовой строки или может быть передан серверу в виде изображения для последующего распознавания.

В дополнение к описанной выше функциональности, с использование центрального сервера осуществляется определение стоимости весовых товаров, которые пользователь может регистрировать для добавления в корзину с использованием кассового аппарата, расположенного на выходе из магазина, либо с использованием весовых платформ, оснащенных видеокамерами, расположенных в торговом зале. Возможность добавления в корзину весового товара, только с использованием коммуникатора, отсутствует.

После получения идентификатора товара или получения идентификатора и определения веса весового товара, который должен быть добавлен в корзину пользователя, центральный сервер передает идентификатор товара и идентификатор пользователя к сервисам 8, которые, как показано далее на фиг. 3, определяют стоимость товара, при необходимости формируют описание товара и управляют корзиной путем добавления товара в корзину, вычисления стоимости товара, определения возможности снижения стоимости на размер скидок и вычисляют общую стоимость товаров, добавленных в корзину. Сервисы могут быть выполнены в виде средств обработки данных, входящих в состав центрального сервера 5, либо могут быть выполнены в виде облачных или удаленных сервисов.

Сервер управления выполнен с возможностью после получения от коммуникатора пользователя запроса на завершение торговой сессии, формирования сообщения о необходимости бесконтактного получения второго идентификационного кода точки продаж от индивидуального терминала, установленного на выходе из торговой зоны, формирования запроса 7 банку-эквайреру на начало сессии оплаты с использованием мобильного устройства или платежной карты пользователя с использованием подсистемы фискализации, формирования фискального документа, соответствующего списку покупок.

Для оплаты покупок сервер 5 может направить 3 платежной системе 14 сообщение о сумме, подлежащей оплате, а также идентификационные данные платежа, например, идентификационные данные торговой точки, а также краткое описание товара или товаров, подлежащих оплате. В случае успешной оплаты, центральный сервер получает соответствующее сообщение и может завершить торговую сессию, для чего покупателю может быть направлено 4 соответствующее сообщение 19, например, в виде  SMS или push-уведомления, отражаемого на экране коммуникатора. При успешной оплате покупок и формировании фискального документа, серверу торговой точки передается команда на формирование аудиовизуального сообщения об успешном завершении торговой сессии пользователем. Аудиовизуальное сообщение может быть сформировано немедленно с использованием визуальных информационных устройств и устройств звукового оповещения или формирование сообщения может быть отложено до того момента, когда покупатель отсканирует графический код, воспроизводимый визуальным информационным устройством, расположенным вблизи выхода из торговой точки или размещенный на графическом плакате. В том случае, если пользователь, не завершивший оплату покупок, сканирует графический код, воспроизводимый визуальным информационным устройством, расположенным вблизи выхода из торговой точки или размещенный на графическом плакате, формируется аудиовизуальное сообщение или напоминание о том, что пользователь не завершил торговую сессию. В том случае, если пользователь сканирует графический код, воспроизводимый визуальным информационным устройством, расположенным вблизи выхода из торговой точки или размещенный на графическом плакате сообщение об успешном завершении сессии или необходимости оплаты покупок может отображаться на том же терминале или визуальном информационном устройстве, с которого считан или отсканирован соответствующий код. Для целей идентификации визуальных информационных устройств и/или терминалов, каждое из соответствующих устройств может отображать уникальный графический код, который может меняться динамически. Для безопасного обмена информацией 6 и 13 и согласования протоколов обмена данными, в предложенной системе может быть организована подсистема 15 безопасного обмена информацией, например, шлюз передачи данных, выполняющий функции поддержки виртуальной частной сети.

Фиг. 3 иллюстрирует принцип работы системы, в которой может быть использован способ. Пользователь размещает предварительно упакованный в прозрачную упаковку или в упаковку с прозрачной верхней частью на весовой платформе, оснащенной видеокамерой, после чего осуществляется передача 21 динамических изображений 37 весовой платформы, полученного с использованием стационарно закрепленной видеокамеры, в обзор которой попадает весовая платформа, центральному серверу для последующей обработки. Для обучения системы, подсистеме 31 , например, через сервер 5, персоналом могут быть переданы 24 изображения 37 предварительно распознанных товаров, для последующего формирования или обновления базы данных 320 признаков товаров или настроек нейронных сетей, которые позволяют распознавать весовые товары с приемлемой точностью. Как дополнение, база данных может обновляться с использованием сведений, полученных от покупателей в том случае, если точное распознавание товара невозможно и покупатель сам определил идентификатор товара с использованием системы меню. При распознавании весовых товаров для размещенного на весовой платформе товара захватывают изображение, формируемое видеокамерой, и преобразуют изображение, полученное видеокамерой, в последовательность кадров, представленных данными в цифровом формате, пригодном для использования средствами распознавания товара, при стабилизации положения товара на весовой платформе, выбирают один из кадров видеокамеры и производят распознавание товара, находящегося на весовой платформе и представленного на выбранном кадре системой распознавания с формированием списка распознанных товаров из базы данных, максимально сходных с распознаваемым товаром.

Выбор кадра может осуществляться средствами анализа изображений, встроенными в кассовый аппарат, обеспечивающими выбор наиболее информативного кадра, либо, при высокой пропускной способности сети передачи данных, используемых системой, выбор изображения может осуществляться подсистемой 32, либо с использованием центрального сервера 5 системы или дополнительных программно-аппаратных средств кассового аппарата, может формироваться улучшенное изображение 37, полученное суперпозицией кадров видеоряда или трехмерное изображение, сформированное с использованием дополнительных камер.

Полученные изображения передаются блоку 31 управления системой или подсистемой 32 распознавания товаров, которая передает изображения системе, для определения идентификатора и веса товара, либо по расписанию, или после получения уточняющей информации от системы распознавания товаров, формирует из полученных изображений обучающий набор данных, используемый для обучения системы распознавания товаров и обновления базы 320 данных с обеспечением формирования базы 330 данных обновляемых обучающих наборов данных, на основании которых производят обучение системы распознавания с использованием обучающих наборов данных и признаков товаров торговой точки или торговых точек. В сформированной базе 320 данных для каждого из товаров, присутствующих в базе данных микросервиса 29 «Товары» определен идентификатор и стоимость товара за единицу веса, а обучающий набор данных для каждого из товаров содержит изображение товара, соответствующее идентификатору товара. При этом в соответствующих базах данных для каждого из товаров определен идентификатор и стоимость товара за единицу веса, а обучающий набор данных для каждого из товаров содержит изображение товара, соответствующее идентификатору товара.

После успешного распознавания товара или при распознавании товара с заранее заданной степенью вероятности, формируют и представляют покупателю интерактивную систему меню с указанием списка товаров, и при выборе покупателем идентификатора весового товара с использованием системы меню определяют стоимость весового товара путем умножения веса товара, выраженного в единицах веса на стоимость единицы товара. При этом, в случае успешного распознавания товара покупателю предлагается подтвердить правильность выбора, а при наличии возможности неточного распознавания, покупателю предлагается выбрать товар самостоятельно из представленных в меню сходных товаров.

После получения от покупателя подтверждения или уточнения Сервер 5 использует код или идентификатор товара, с использованием микросервиса 29 «Товары» определяет товар, код которого указан пользователем и который пользователь предполагает добавить в реальную корзину или тележку, и сведения о котором должны быть учтены с использованием микросервиса 32 подсистемы распознавания товаров. Указанные сведения учитываются, с использованием микросервиса «Корзина», путем применения набора данных, отражающих взвешенные товары и идентификатор пользователя.

Дополнительно, с использованием монитора кассового терминала или монитора весов, расположенных в торговом зале, покупателю или пользователю может предоставляться система меню, обеспечивающая возможность выбора товара, не представленного в списке распознанных товаров. Система меню может открываться в случае несогласия пользователя с выбранным системой товаром и выбором соответствующего товара из 5-6 товаров, представляемых на мониторе, либо путем выбора опции «взвешиваемого товара нет в списке». В то же время при выборе пользователем товара с использованием указанной выше системы меню производится сравнение изображения товара из базы данных с изображением товара, представленного видеокамерой, и при полном несоответствии изображений формируют уведомление о невозможности вычисления стоимости товара. Указанное сравнение может быть реализовано как дополнительная функциональность подсистемы 32, которая либо определяет полное несоответствие идентификационных признаков выбранного товара представленному изображению, либо выявляет наличие сходства, и тогда получено изображение может использоваться для обновления базы данных.

Дополнительно, подсистема 32 может быть выполнена определяющей нахождение нескольких товаров на весовой платформе, например, нескольких единиц овощей или фруктов, и, при выявлении нахождения нескольких товаров на весовой платформе, подсистема 32 определяет границы отдельных товаров, а разграниченным участкам изображений формирует трехмерную модель, которая затем используется для сравнения с трехмерной моделью из базы данных. Также, при выявлении нахождения на весовой платформе нескольких одинаковых весовых товаров, распознают товар, имеющий наиболее полное представление на изображении с видеокамеры, например, фрукт, расположенный ближе к видеокамере. Вместе с тем, функция определения границ товаров позволяет, с использованием заданного коэффициента допустимого различия товаров, например, пороговой вероятности сходства товаров, при нахождении на весовой платформе нескольких весовых товаров, после раздельного распознавания каждого из товаров, находящихся в поле зрения видеокамеры, и определении степени несоответствия, при недопустимом несоответствии результатов распознавания, по крайней мере для одного из товаров с другими товарами или в том случае, если вероятность несовпадения распознанных товаров ниже коэффициента допустимого различия, уведомлять покупателя и/или персонал о пересортице, невозможности покупки товаров на весовой платформе и не производить умножение.

Для распознавания товаров в подсистеме 32 может использоваться обучаемая нейронная сеть, либо поисковая система, обучение которой производится путем формирования индекса свойств изображений.

Система распознавания 32 может быть также использоваться в тестовом режиме, когда товар не добавляется в корзину, а персоналу торговой точки предлагаются проверить идентификатор или идентификаторы товара, размещаемого на весовой платформе, например, перед выкладкой весового товара в торговом зале. В случае, если распознавание произведено неверно или неточно, персонал указывает идентификатор товара, после чего база данных может быть дополнена изображением выкладываемого товара. При этом система распознания, в случае ее использования для нескольких торговых точек, может использовать такое изображение в качестве дополнительного для повышения точности распознавания в торговой точке, где производится выкладка товара, либо указанное изображение может использоваться для повышения точности распознавания до завершения продажи партии выкладываемого товара, используемого для проверки точности распознавания. Дополнительно с использованием видеокамеры выявляют недопустимое расположение товара на весовой платформе, например, расположение части товара за пределами весовой платформы, что ведет к недопустимой погрешности взвешивания. При выявлении недопустимого положения умножение блокируется, пользователь и/или персонал уведомляется о необходимости весь товар на весовую платформу.

По завершении покупательской сессии сервер 5 направляет 26 сведения, сформированные микросервисом 32 фискальному брокеру на фискализацию, и после завершения фискальных операций сформированный фискальный документ 36 направляется 28 пользователю в виде бумажного чека, который распечатывается в торговой точке или в виде сообщения, которое может быть прочитано с использованием коммуникатора или другого устройства.

Система может быть выполненной содержащей обслуживаемые кассовые аппараты, расположенные вблизи выхода из точки продаж, а визуальные информационные устройства, устройства звукового оповещения расположены с обеспечением возможности ознакомления с соответствующими уведомлениями персоналом кассовых аппаратов.

Взаимодействие пользователя и системы самообслуживания при использовании изобретения может осуществляться при помощи набора команд, представленных, например, в виде мобильного приложения, обеспечивающего выполнение коммуникатором или терминалом самообслуживания, например, содержащим планшетный компьютер, в качестве составной части, требуемых функций. Установка приложения обеспечивает использование вычислительного устройства в виде программно-аппаратного комплекса, функции которого соответствуют требованиям системы.

После установки мобильного приложения может сопровождаться созданием учетной записи пользователя, идентификатор которой используется при формировании корзины покупок, оплаты и других действий, например, расчета накопительных скидок. Каждой учетной записи может быть сопоставлен уникальный логин (сочетание букв, цифр и символов) и пароль (сочетание букв, цифр и символов, уникальное для логина). При совместном вводе логин и пароль позволяют пользователю получить доступ к своей учетной записи. Доступ к одной и той же учетной записи может быть выполнен с использованием неограниченного количества вычислительных устройств, на которых выполнена установка программного обеспечения, при использовании логина и пароля учетной записи.

Для доступа к системе самообслуживания пользователь активирует мобильное приложение и, после подключения к предложенной системе, имеет возможность осуществлять покупки в выбранной торговой точке. При этом между коммуникатором пользователя и удаленным сервером управления системой устанавливается защищенное соединение посредством временного (не постоянного) защищенного канала связи с использованием сессионного ключа. Сервер управления системой расположен в специализированном центре обработки данных и не имеет физической привязки к какой-либо точке продаж. В дальнейшем, сессионный QR-код может отображаться на экране терминала самообслуживания для распознавания системой терминала, с использованием которого корзина пользователя дополняется информацией о весовых товарах. Таким образом, пользователь имеет возможность использовать несколько терминалов для взвешивания товаров и пополнения корзины.

Для начала пользовательской сессии сервер управления формирует первый уникальный идентификационный код точки продаж, который передается на коммуникатор пользователя, обеспечивающий ответную передачу аутентификационных данных пользователя с отправкой на сервер точки продаж команды на формирование аудиовизуального сообщения о входе пользователя в точку продаж.

Аутентификационные данные пользователя могут представлять собой, но не ограничиваться, номером бонусной карты клиента, иные персональные данные клиента из мобильного приложения, установленного на коммуникаторе клиента или биометрические параметры, считываемые при помощи биометрического сканера, которым может быть оснащена система согласно заявленному изобретению.

Как показано на фиг.3, добавление товара в виртуальную корзину происходит по результатам сканирования пользователем штрихкода товара при помощи коммуникатора, а также путем добавления товара в корзину по результатам взвешивания. Указанная информация передается, посредством сервера 5 к микросервисам и относящимся к ним хранилищам данных, в том числе, к микросервису 29, отвечающему за хранение информации о товарах. Информация о товарах может содержать такие сведения, как как идентификатор товара, штрихкод (ШК) название товара, описание товара, изображение товара, вес, размер и иные характеристики. При этом серверная часть мобильного приложения, на которой хранится и обрабатывается информация (бэкенд мобильного приложения), непосредственно или опосредованно направляет 22 запрос в указанный микросервис, передавая идентификатор товара или штрихкод товара, а микросервис возвращает полную информацию о товаре или ошибку в случае отсутствия информации внутри микросервиса; микросервису 30, предназначенному для определения цены товара для добавления в виртуальную корзину с учетом веса товара, а также фактических цен на весовой и штучный товар в конкретном магазине, при этом бэкенд мобильного приложения направляет запрос в указанный микросервис, передавая идентификатор товара и идентификатор магазина, а микросервис 30 возвращает 23 значение актуальной цены товара в выбранном магазине с учетом действующих промоакций и данных об объектах лояльности для конкретного пользователя, полученных от соответствующего микросервиса, путем направления соответствующего запроса. Указанная последовательность действий выполняется при каждом сканировании товара пользователем.

Актуальный индекс или идентификатор товара может передаваться 25 микросервисом 32 в синхронном или асинхронном режиме после взвешивания для проведения умножения на удельную стоимость товара сервером 5 с использованием данных микросервиса 30.

Пользователь, после выбора всех необходимых товаров, отправляет, с использованием аппаратного интерфейса коммуникатора и системы команд мобильного приложения, команду на завершение торговой сессии.

После получения запроса, исходящего от клиентской стороны интерфейса мобильного приложения на завершение торговой сессии, сервер управления формирует сообщение о необходимости бесконтактного получения второго идентификационного кода точки продаж от индивидуального терминала, установленного на выходе из точки продаж. После получения второго кода и его валидации сервер управления формирует запрос банку-эквайреру на начало сессии оплаты с использованием выбранного средства платежа: мобильного устройства, платежной карты или платежной сессии пользователя.

Бэкенд мобильного приложения обращается за информацией к микросервису, отвечающему за расчет стоимости виртуальной корзины с примененными механиками лояльности, после чего запрошенная стоимость виртуальной корзины используется для блокировки денежных средств с использованием службы эквайринга банка, обслуживающего торговое предприятие. Кроме этого, бэкенд приложения формирует запрос 26 к брокеру фискализации на формирование фискального чека по покупке, после чего брокер фискализации обращается к ферме фискализации, на которой установлены фискальные регистраторы, выполняет фискализацию чека и уведомляет бэкенд приложения уведомление об успешной фискализации.

После получения ответа от брокера фискализации об успешной фискализации чека, бэкенд приложения обращается к службе эквайринга, которая производит финальное списание денежных средств, соответствующих стоимости виртуальной корзины.

На завершающем этапе бэкенд приложения направляет на коммуникатор пользователя информацию об успешном завершении покупки и фискализации чека, а фискальные регистраторы передают фискализированный чек в налоговую через сервера оператора фискальных данных (ОФД), находящиеся вне рамок описываемой системы, а сервер ОФД доставляет чек клиенту в электронном виде.

Система может одновременно обслуживать несколько торговых точек с использованием серверов 33 и 34 различных торговых точек, а сведения о продажах в отдельных магазинах могут направляться 27 различным магазинам и обрабатываться локальными подсистемами 35 фискальной базой данных выбранного магазина.

Видеокамера может использоваться для фиксации и контроля процесса покупки товаров, а также может быть дополнена средствами биометрического распознавания, используемым для аутентификации покупателя по изображению лица. В этом случае процесс автоматизированного добавления взвешенного товара может осуществляться с использованием любого из терминалов, расположенных в торговом зале. Процесс добавления товара в корзину осуществляется путем использования виртуальной корзины, соответствующей биометрическим данным покупателя и добавления сведений о взвешенном товаре в записи базы данных, соответствующие выбранной корзине.

Благодаря биометрической идентификации расширяются возможности сбора и обработки данных для составления маркетингового профиля покупателя: средний возраст, социальный статус, наиболее часто приобретаемые продукты, средний чек, которые впоследствии могут быть использованы магазином для формирования персональных предложений для покупателя с учетом его личных предпочтений. Использование сведений о личных предпочтениях покупателя позволяет производить уточнения при распознавании товаров в соответствии со сведениями о покупателе, например, могут использоваться сведения о предпочтительных сортах или ценовых категориях овощей и фруктов.

При использовании терминала, в зависимости от вида (весовой или розничный) товар помещается покупателем на весовую платформу или подносится к сканеру для считывания штрихкодов.

В частном случае реализации, для розничного товара сканер штрихкодов считывает информацию, заложенную в штрихкод упаковки товара и отправляет ее в центр обработки данных (далее – ЦОД) для учета и контроля вида, количества и стоимости приобретаемого товара. Для весового товара на весовой платформе определяется вес товара, а сведения об оцифрованном изображении направляются в ЦОД для распознавания и определения стоимости единицы веса товара, после чего определяется стоимость товара. Дополнительно, стоимость товара может быть скорректирована в соответствии, например, с бонусными программами, в которых участвует покупатель. После того как товар добавлен в корзину, стоимость корзины увеличивается на стоимость добавленного товара. После каждого считывания товара блоки ввода и вывода звука издают достаточно громкий сигнал об успешном считывании. Это позволяет покупателю понять, что товар учтен для последующей оплаты. На экране дисплея покупатель имеет возможность скорректировать количество товаров в виртуальной корзине при несогласии с отображаемыми данными. Для корректировки списка покупок используются элементы управления, отображаемые в нижней части дисплея: кнопки добавления/сокращения количества того или иного товара в корзине, кнопка удаления позиции из корзины, а важная информация, такая как цена товара, размер скидки, итоговая сумма к оплате, отображается в верхней части дисплея.

Далее покупатель оплачивает товары безналичным способом через банковский платежный терминал и получает чек с суммой покупки. При этом платежный терминал отправляет информацию о совершенной транзакции в ЦОД для учета факта совершения покупки и статистической обработки данных.

Изобретение относится к вычислительным системам для обслуживания продаж в сфере розничной торговли. Технический результат заключается в обеспечении возможности создания универсального средства распознавания товаров, которое обеспечивает оперативную корректировку в режиме реального времени ошибок распознавания товаров, а также обеспечение возможности уменьшения количества кассовых аппаратов в торговых сетях. Система определения стоимости весового товара выполнена с возможностью для размещенного на весовой платформе товара, захвата изображения, формируемого видеокамерой с последующей передачей серверу управления и преобразования изображения, полученного видеокамерой в последовательность кадров, представленных данными в цифровом формате, пригодном для использования средствами распознавания товара, выбора одного из кадров видеокамеры при стабилизации положения товара на весовой платформе и выполнения распознавания товара, находящегося на весовой платформе и представленного на выбранном кадре, посредством системы распознавания, с формированием списка распознанных товаров из базы данных, максимально сходных с распознаваемым товаром, формирования и представления покупателю интерактивной системы меню с указанием списка товаров, и при выборе покупателем идентификатора весового товара с использованием системы меню определения стоимости весового товара путем умножения веса товара, выраженного в единицах веса на стоимость единицы товара. 4 з.п. ф-лы, 3 ил.

1. Система определения стоимости весового товара, содержащая:

- терминал самообслуживания, содержащий закрепленное над полом плоское основание, в центральной части которого, на одном уровне с плоскостью основания, расположена весовая платформа, за которой, над плоскостью платформы, закреплен плоский вертикальный корпус, в котором, заподлицо с передней панелью корпуса, установлены дисплей с сенсорным экраном и сканер для считывания штрихкодов, при этом терминал дополнительно содержит закрепленный в корпусе платежный банковский терминал, закрепленный сбоку от корпуса принтер фискальных документов, установленные над дисплеем в корпусе основную видеокамеру, выполненную с возможностью обзора весовой платформы, блоки ввода и вывода звука, выполненные с возможностью информационного оповещения покупателя, и закрепленное сверху корпуса средство для формирования световых сигналов, выполненное с возможностью подсветки при работе видеокамеры;

- сервер управления, выполненный с возможностью:

получения данных о выбранных пользователем товарах, с внесением выбранных товаров в список покупок, а также данных о корректировке списка покупок и с возможностью корректировки списка покупок;

направления платежной системе сообщение о сумме, подлежащей оплате, а также идентификационные данные платежа;

в случае успешной оплаты получение сервером управления соответствующего сообщения и завершение торговой сессии посредством направления коммуникатору покупателя соответствующего сообщения;

- сервер точки продаж, выполненный с возможностью управления оборудованием точки продаж с использованием команд управления;

- поисковую систему с возможностью использования в качестве системы распознавания, обучение которой производится путем формирования индекса свойств изображений;

- нейронную сеть с возможностью использования в качестве системы распознавания;

- подсистему аутентификации, выполненную с возможностью формирования выделенного защищенного канала обмена данными;

- шлюз передачи данных, выполняющий функции поддержки виртуальной частной сети для безопасного обмена информацией и согласования протоколов обмена данными;

при этом система определения стоимости весового товара выполнена с возможностью:

для размещенного на весовой платформе товара, захвата изображения, формируемого видеокамерой с последующей передачей серверу управления, и преобразования изображения, полученного видеокамерой, в последовательность кадров, представленных данными в цифровом формате, пригодном для использования средствами распознавания товара, выбора одного из кадров видеокамеры при стабилизации положения товара на весовой платформе и выполнения распознавания товара, находящегося на весовой платформе и представленного на выбранном кадре, посредством системы распознавания, с формированием списка распознанных товаров из базы данных, максимально сходных с распознаваемым товаром, формирования и представления покупателю интерактивной системы меню с указанием списка товаров, и при выборе покупателем идентификатора весового товара с использованием системы меню определения стоимости весового товара путем умножения веса товара, выраженного в единицах веса, на стоимость единицы товара.

2. Система по п. 1, отличающаяся тем, что видеокамера выполнена с возможностью фиксации и контроля процесса покупки товаров и дополнена средствами биометрического распознавания, используемыми для аутентификации покупателя по изображению лица.

3. Система по п. 1, отличающаяся тем, что содержит установленные между входом торговой площади и местом размещения товаров средства для бесконтактной регистрации входящего пользователя, формирующие первый уникальный идентификационный код точки продаж, представленный с возможностью бесконтактной передачи кода на коммуникатор пользователя, с обеспечением, по результату проверки аутентификационных данных пользователя, начала покупательской сессии пользователя и формирования защищенного канала связи между коммуникатором пользователя и сервером управления с использованием сессионного ключа, с отправкой на сервер точки продаж команды на формирование аудиовизуального сообщения о входе пользователя в точку продаж.

4. Система по п. 3, отличающаяся тем, что аутентификационными данными пользователя являются номер бонусной карты или биометрические параметры, считываемые при помощи биометрического сканера.

5. Система по п. 1, отличающаяся тем, что сервер управления выполнен с дополнительной возможностью формирования улучшенного изображения посредством суперпозиции кадров видеоряда или трехмерного изображения, сформированного с использованием дополнительных камер.