СИСТЕМА И СПОСОБ ВЫЯВЛЕНИЯ ФАКТА ПОТЕНЦИАЛЬНОГО МОШЕННИЧЕСТВА СО СТОРОНЫ КАССИРА, А ТАКЖЕ СПОСОБ ФОРМИРОВАНИЯ ВЫБОРКИ ИЗОБРАЖЕНИЙ ТОВАРОВ ДЛЯ ОБУЧЕНИЯ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ Российский патент 2019 года по МПК G06K9/66 G06T1/40 

Настоящая группа изобретений относится к области использования искусственных нейронных сетей в компьютерном зрении, а более конкретно к системам и способам обработки видеоданных, полученных от камер видеонаблюдения, для автоматического выявления факта потенциального мошенничества со стороны кассира посредством выполнения верификации изображений с использованием искусственных нейронных сетей.

УРОВЕНЬ ТЕХНИКИ

Кассовые системы - это программно-аппаратные комплексы, обеспечивающие продажи товаров и услуг с использованием, как наличных, так и безналичных денежных средств. Товар должен быть зарегистрирован и эта информация должна быть занесена в торговую систему и отражена в чеке, а магазин (или точка продажи POS) должен получить деньги в соответствии с суммой чека.

Однако все чаще в процессе оформления транзакций на кассе возникает множество схем мошенничества, причем, не только со стороны покупателей, но и со стороны кассиров. Например, кассир может преднамеренно поднести штрих код более дешевого товара к считывателю штрих кодов, передав, таким образом, более дорогой товар своему сообщнику. Такие виды мошенничества обычно выполняются по сговору кассира и покупателя.

Технические меры борьбы с мошенничеством на кассах основываются на работе алгоритмов анализа транзакций, поступающих от кассовой системы, а также на работе систем видеонаблюдения.

Под системами видеонаблюдения подразумеваются программно-аппаратные средства, использующие методы компьютерного зрения для автоматизированного сбора данных на основании анализа потокового видео (видеоанализа). Системы видеонаблюдения опираются на алгоритмы обработки изображений, в том числе на алгоритмы распознавания или верификации изображений, позволяющие анализировать видео без прямого участия человека.

Стандартные методы видеонаблюдения хорошо подходят для анализа любых происшествий на кассе и реакций на жалобы покупателей. Однако проводить системный анализ действий кассира и анализировать причины возникновения большого числа подозрительных транзакций с кассового терминала, просто просматривая подряд все действия на кассе, крайне трудоемко и часто абсолютно не результативно за счет большой погрешности. Следовательно, для предотвращения краж и выявления мошеннических действий необходимы более современные системы, позволяющие автоматически анализировать видеоданные с камер видеонаблюдения и сопоставлять указанные данные с данными о товаре, имеющимися в базе данных кассовой системы.

В настоящее время для верификации и распознавания изображений все чаще применяются искусственные нейронные сети. Наибольшее распространение на данный момент такие методы получили в области верификации личности.

Искусственная нейронная сеть (ИНС) - это математическая модель, а также ее аппаратное и/или программное воплощение, построенное по принципу организации и функционирования биологических нейронных сетей (сетей нервных клеток живых организмов). Одним из главных преимуществ ИНС является возможность их обучения, в процессе которого ИНС способна самостоятельно выявлять сложные зависимости между входными и выходными данными.

Однако на пути использования ИНС в области кассовых систем появляется проблема - подготовка выборки изображений для обучения ИНС. Такая выборка изображений должна содержать десятки тысяч изображений товаров с указанием того, какой именно товар на них представлен. Кроме того, учитывая, что ассортимент товаров в каждом магазине значительно отличается и постоянно меняется с течением времени, адаптация обучающей выборки изображений должна быть постоянным процессом. Выполнять такую работу вручную крайне трудозатратно. Следовательно, для использования ИНС в области кассовых систем необходимо иметь средства, способные автоматически формировать обучающую выборку изображений, например, на базе информации, получаемой от самой кассовой системы.

Из уровня техники известно решение, раскрытое в заявке US 2010/0217678 A1, G06Q 10/00, опубл. 26.08.2010, в котором описана система проверки товаров, связанная с системой точки продажи (POS) и считывателем штрих кода. Указанная система проверки товаров содержит: одно или несколько изображений для выявления изображения объекта; хранилище данных, сконфигурированное для сохранения записей для множества элементов, причем каждая запись содержит визуальную модель одного из множества элементов и универсальный идентификатор элемента (UPC); причем визуальная модель содержит: а) по меньшей мере, одно изображение элемента; и б) один или несколько геометрических точечных представлений, извлеченных из одного или нескольких изображений элемента; причем процессор системы сконфигурирован для того, чтобы: сравнивать изображение объекта с визуальной моделью, по меньшей мере, одного из множества элементов; распознавать объект из множества элементов на основе изображения объекта; и автоматически добавлять полученное изображение в хранилище данных, если изображение объекта не соответствует визуальной модели любого из множества элементов.

Основным недостатком данного решения является то, что изображение поднесенного к считывателю товара сравнивают с визуальными моделями всех сохраненных ранее элементов. Однако из-за наличия большого количество товаров, а соответственно и их визуальных моделей, вычислительная сложность упомянутого сравнения возрастает, а точность значительно уменьшается. Кроме того, в данном решении не применяются искусственные нейронные сети в процессе сравнения изображений, что также снижает точность получаемого результата. Указанное решение выбрано в качестве прототипа.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Заявленная группа технических решений направлена на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.

Техническим результатом заявленной группы изобретений является повышение точности выявления факта потенциального мошенничества со стороны кассира.

Данный технический результат достигается тем, что кассовая система для выявления факта потенциального мошенничества со стороны кассира содержит: устройство считывания штрих кодов; память, сконфигурированную для хранения базы данных товаров, содержащей выборку изображений товаров; устройство захвата изображений, сконфигурированное для получения видеоданных из области считывания штрих кодов кассиром; и по меньшей мере, одно устройство обработки данных, сконфигурированное для: получения данных о считанном товаре из базы данных товаров на основании сигнала считывания, поступившего от устройства считывания штрих кодов; получения видеоданных от устройства захвата изображений и выполнения верификации с использованием искусственной нейронной сети, причем указанная верификация заключается в сравнении изображения товара, полученного от устройства захвата изображения в момент поступления сигнала считывания, с по меньшей мере, одним изображением товара, содержащимся в данных о считанном товаре; если результат верификации является отрицательным, то, по меньшей мере, одно устройство обработки данных определяет факт потенциального мошенничества со стороны кассира.

В одном частном варианте заявленного технического решения упомянутая кассовая система дополнительно сконфигурирована для автоматического формирования или пополнения выборки изображений товаров для обучения искусственной нейронной сети, причем упомянутая выборка содержит множество изображений товаров.

В другом частном варианте заявленного технического решения товары в базе данных товаров разделены на классы товаров.

Еще в одном частном варианте заявленного технического решения для каждого товара или для каждого класса товаров имеется своя искусственная нейронная сеть, используемая при верификации.

В другом частном варианте заявленного технического решения данные о каждом товаре включают в себя: наименование товара, стоимость товара, штрих код товара, выборку изображений товара.

Еще в одном частном варианте заявленного технического решения верификация выполняется в режиме реального времени.

В другом частном варианте заявленного технического решения при определении факта потенциального мошенничества со стороны кассира выполняется отправка уведомления предварительно определенному пользователю.

Еще в одном частном варианте заявленного технического решения верификация выполняется по архивным данным, полученным от устройства считывания штрих кодов и от устройства захвата изображений, сохраненным в памяти.

А в другом частном варианте заявленного технического решения при верификации, выполняемой по архивным данным, автоматически формируется отчет, содержащий все выявленные факты потенциального мошенничества со стороны кассира.

Указанный технический результат также достигается за счет того, что способ автоматического формирования выборки изображений товаров для обучения искусственной нейронной сети, выполняемый кассовой системой, содержащей, по меньшей мере, одно устройство обработки данных, содержит этапы, на которых: (а) при поднесении кассиром товара к устройству считывания штрих кодов выполняется считывание штрих кода, при этом формируется сигнал считывания; (б) на основании сигнала считывания получают данные о считанном товаре из базы данных товаров, сохраненной в памяти кассовой системы, причем если указанная база данных не содержит данных о считанном товаре, то создается новая запись о таком товаре; (в) в момент получения сигнала считывания получают изображение поднесенного товара от устройства захвата изображений, сконфигурированного для получения видеоданных из области считывания штрих кодов; (г) сохраняют полученное изображение поднесенного товара к данным о считанном товаре в базе данных товаров; (д) повторяют вышеприведенные этапы (а)-(г) для каждого товара, подносимого к устройству считывания штрих кодов, посредством чего автоматически формируется или пополняется выборка изображений товаров для обучения искусственной нейронной сети, используемой для выявления факта потенциального мошенничества со стороны кассира.

В одном частном варианте заявленного технического решения обучение искусственной нейронной сети выполняется на основании пополняемой базы данных товаров.

В другом частном варианте заявленного технического решения формирование или пополнение выборки изображений товаров и обучение искусственной нейронной сети являются постоянными процессами, поскольку набор товаров и их внешний вид меняются со временем.

Еще в одном частном варианте заявленного технического решения процессы формирования или пополнения выборки изображений товаров, обучения искусственной нейронной сети и выявления факта потенциального мошенничества со стороны кассира выполняются параллельно устройством обработки данных.

В другом частном варианте заявленного технического решения обучение искусственной нейронной сети выполняется постоянно в определенное заданное пользователем время.

Еще в одном частном варианте заявленного технического решения обучение искусственной нейронной сети выполняется устройством обработки данных кассовой системы или облачным сервисом кассовой системы.

В другом частном варианте заявленного технического решения сохраняют полученное изображение поднесенного товара к данным о считанном товаре в базе данных товаров, даже если указанные данные о товаре уже содержат, по меньшей мере, одно изображение.

Еще в одном частном варианте заявленного технического решения данные о каждом товаре включают в себя: наименование товара, стоимость товара, штрих код товара, выборку изображений товара.

В другом частном варианте заявленного технического решения выборка изображений товара содержит N последних загруженных изображений для этого товара, где N является положительным целым числом, предварительно заданным пользователем.

Еще в одном частном варианте заявленного технического решения если стоимость товара ниже предварительно заданного порогового значения, то изображение, полученное от устройства захвата изображений, не добавляется в выборку изображений товара.

В другом частном варианте заявленного технического решения товары в базе данных товаров разделены на классы товаров.

А еще в одном частном варианте заявленного технического решения для каждого товара или для каждого класса товаров имеется своя искусственная нейронная сеть, используемая при верификации для выявления факта потенциального мошенничества со стороны кассира.

Кроме того, указанный технический результат также достигается и за счет того, что способ выявления факта потенциального мошенничества со стороны кассира, выполняемый кассовой системой, содержащей, по меньшей мере, одно устройство обработки данных, содержит этапы, на которых: при поднесении кассиром товара к устройству считывания штрих кодов выполняется считывание штрих кода, при этом формируется сигнал считывания; получают данные о считанном товаре из базы данных товаров на основании сигнала считывания, причем указанная база данных товаров содержит постоянно пополняемую выборку изображений товаров; получают видеоданные от устройства захвата изображений и выполняют верификацию с использованием искусственной нейронной сети, обучаемой на основании пополняемой базы данных товаров; причем указанная верификация заключается в сравнении изображения товара, полученного от устройства захвата изображения в момент поступления сигнала считывания, с по меньшей мере, одним изображением товара, содержащимся в данных о считанном товаре; если результат верификации является отрицательным, то, по меньшей мере, одно устройство обработки данных определяет факт потенциального мошенничества со стороны кассира.

В одном частном варианте заявленного технического решения упомянутый способ дополнительно выполнен с возможностью автоматического формирования или пополнения выборки изображений товаров для обучения искусственной нейронной сети, причем упомянутая выборка содержит множество изображений товаров.

В другом частном варианте заявленного технического решения процессы формирования или пополнения выборки изображений товаров, обучения искусственной нейронной сети и выявления факта потенциального мошенничества со стороны кассира выполняются параллельно устройством обработки данных.

Еще в одном частном варианте заявленного технического решения товары в базе данных товаров разделены на классы товаров.

В другом частном варианте заявленного технического решения для каждого товара или для каждого класса товаров имеется своя искусственная нейронная сеть, используемая при верификации.

Еще в одном частном варианте заявленного технического решения данные о каждом товаре включают в себя: наименование товара, стоимость товара, штрих код товара, выборку изображений товара.

В другом частном варианте заявленного технического решения выборка изображений товара содержит N последних загруженных изображений для этого товара, где N является положительным целым числом, предварительно заданным пользователем.

Еще в одном частном варианте заявленного технического решения если стоимость товара ниже предварительно заданного порогового значения, то верификация этого товара не выполняется.

В другом частном варианте заявленного технического решения верификация выполняется в режиме реального времени.

Еще в одном частном варианте заявленного технического решения при определении факта потенциального мошенничества со стороны кассира выполняется отправка уведомления предварительно определенному пользователю.

В другом частном варианте заявленного технического решения верификация выполняется по архивным данным, полученным от устройства считывания штрих кодов и от устройства захвата изображений, сохраненным в памяти.

Еще в одном частном варианте заявленного технического решения при верификации, выполняемой по архивным данным, автоматически формируется отчет, содержащий все выявленные факты потенциального мошенничества со стороны кассира.

Помимо указанного выше, данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления вариантов способов выявления факта потенциального мошенничества со стороны кассира, а также за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления вариантов способов автоматического формирования выборки изображений товаров для обучения искусственной нейронной.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема компьютерной системы для выявления факта потенциального мошенничества со стороны кассира;

Фиг. 2 - блок-схема способа выявления факта потенциального мошенничества со стороны кассира;

Фиг. 3 - блок-схема способа автоматического формирования выборки изображений товаров для обучения искусственной нейронной сети.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.

Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде кассовых систем и способов, реализуемых различными компьютерными средствами, а также в виде считываемого компьютером носителя данных, хранящего исполняемые процессором компьютера инструкции.

На фиг. 1 представлена блок-схема кассовой системы для выявления факта потенциального мошенничества со стороны кассира. Кассовая система включает в себя: устройство считывания штрих кодов (10), устройство захвата изображений (20), память (30) и, по меньшей мере, одно устройство обработки данных (40, …, 4n).

В данном контексте под кассовыми системами понимаются любые вычислительные системы, построенные на базе программно-аппаратных взаимосвязанных технических средств.

В качестве устройства считывания штрих кодов может выступать сканер любого известного производителя (любого общеизвестного типа, например: светодиодный, лазерный, фотосканер). Штрих код - это графическая информация, наносимая на поверхность или упаковку изделий, предоставляющая возможность ее считывания техническими средствами, такими как сканер. В некоторых вариантах исполнения штрих код может являться QR-кодом, который в последнее время достаточно распространен в торговле.

Под устройством захвата изображений в контексте данной заявки подразумевается видеокамера.

В качестве устройства обработки данных может выступать процессор, микропроцессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных.

В роли устройства памяти, сконфигурированного для хранения данных, могут выступать, но, не ограничиваясь, жесткие диски (HDD), флэш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические накопители информации и т.д.

Следует отметить, что в указанную кассовую систему могут входить и любые другие известные в данном уровне техники устройства, например, такие как датчики, устройства ввода/вывода, устройства отображения и т.п.

Далее будет подробно описан пример работы вышеупомянутой кассовой системы для выявления факта потенциального мошенничества со стороны кассира. Все нижеописанные этапы работы системы также применимы и к реализации заявляемого способа выявления факта потенциального мошенничества со стороны кассира.

Для начала рассмотрим принцип работы кассовой системы в режиме реального времени. Предположим, покупатель подошел к кассе с товаром, который собирается приобрести.

Устройство захвата изображений, в данном случае видеокамера, расположена таким образом, чтобы непрерывно получать видеоданные из области считывания штрих кодов кассиром. Следует отметить, что кассовая система может включать в себя несколько дополнительных камер видеонаблюдения для контроля других зон в радиусе кассы, например в зоне получения товара от покупателя или в зоне выдачи оплаченного товара.

Когда кассир подносит товар к устройству считывания штрих кодов, упомянутое устройство считывания формирует сигнал считывания, на основании которого устройство обработки данных автоматически получает из базы данных товаров конкретные данные о только что считанном товаре.

Следует отметить, что данные о каждом товаре, сохраненные в базе данных товаров, включают в себя, но не ограничиваясь этим: наименование товара, стоимость товара, штрих код товара, выборку изображений товара. При этом, все товары в базе данных товаров могут быть разделены на классы товаров. Примерами таких классов могут являться, но не ограничиваясь: коробка, пакет, стеклянная бутылка, пластиковая бутылка и т.п.

В тоже время устройство обработки данных получает видеоданные от устройства захвата изображений и выделяет из них изображение считанного товара в момент поднесения его к считывателю. Далее устройство обработки данных выполняет верификацию с использованием искусственной нейронной сети.

Упомянутая верификация заключается в сравнении изображения товара, полученного от устройства захвата изображения в момент поступления сигнала считывания, с по меньшей мере, одним изображением товара, содержащимся в данных о считанном товаре, а именно в выборке изображений этого товара.

Если результат верификации является положительным, то есть когда изображение товара, полученное от устройства захвата изображений совпадает в достаточной степени с, по меньшей мере, одним изображением в выборке изображений считанного товара, то регистрация товара считается выполненной успешно. Кроме того, если изображение считанного товара совпадает хотя бы с одним изображением из выборки изображений считанного товара, то система сразу же прекращает процесс верификации, даже если в выборке изображений данного товара еще остались изображения, которые не были подвержены сравнению с изображением считанного товара. Такой подход позволяет не тратить впустую имеющиеся вычислительные ресурсы системы и ускоряет процесс сравнения.

При этом если результат верификации является отрицательным, то, по меньшей мере, одно устройство обработки данных определяет факт потенциального мошенничества со стороны кассира.

В одной из реализаций кассовой системы упомянутую верификацию возможно выполнять не только на уровне данных одного товара, но и также на уровне данных класса товаров, к которому считанный товар относится.

Следует отметить, что перед подачей изображения товара к искусственной нейронной сети в процессе верификации, а также в процессе обучения искусственной нейронной сети, каждое изображение проходит этап предварительной обработки, заключающийся, например, в обнаружении границ товара, масштабировании изображения товара и преобразовании цветовых характеристик изображения товара.

Далее искусственная нейронная сеть выделяет ключевые признаки на изображении товара. В результате получается набор чисел, так называемых дескрипторов изображения. В процессе верификации для оценки соответствия дескрипторов изображения только что считанного товара и изображения, содержащегося в выборке изображений для считанного товара, используется, например, Евклидово расстояние. В рамках этого примера, если Евклидово расстояние меньше предварительно заданного значения, то устройство обработки данных, посредством использования ИНС определяет, что изображение считанного товара соответствует изображению из базы данных товаров. Если же Евклидово расстояние больше предварительно заданного значения, то устройство обработки данных продолжает сравнение со следующим изображением из выборки изображений товара. Если же все имеющиеся в выборке изображений товара изображения не соответствуют в достаточной степени изображению считанного товара, полученному от устройства захвата изображений, то тогда устройство обработки данных определяет факт потенциального мошенничества со стороны кассира.

Дополнительно, указанная кассовая система сконфигурирована таким образом, чтобы при определении факта потенциального мошенничества со стороны кассира в реальном времени выполнять отправку уведомления предварительно определенному пользователю системы, например сотруднику службы безопасности. Уведомление пользователя может быть в виде SMS или MMS или письма на электронную почту. Данная конфигурация позволяет оперативно среагировать на выявление факта потенциального мошенничества, а также своевременно задержать и привлечь к ответственности нарушителей.

Описанная кассовая система для выявления факта потенциального мошенничества является более точной, по сравнению с известными из уровня техники, за счет сравнения изображения считанного товара только с данными, относящимися именно к считанному товару, а не с данными из всей базы данных товаров. К преимуществам данного решения можно отнести повышение скорости обработки изображений и повышение точности выявления фактов потенциального мошенничества со стороны кассира.

Вышеизложенное описание компьютерной системы характеризует ее применение в режиме реального времени, однако возможно ее применение для верификации с использованием искусственной нейронной сети и по архивным данным. В такой реализации данные от устройства считывания штрих кодов и от устройства захвата изображений автоматически поступают в память кассовой системы. Таким образом, сотрудник службы безопасности, имеющий доступ к данным, может просмотреть их и запустить на устройстве обработке данных процесс верификации в любое удобное для него время. Например, в целях экономии ресурсов устройства обработки данных сотрудник службы безопасности может запускать проверку раз в день или раз в неделю. Такая проверка займет гораздо меньше времени, а в случае редких случаев мошенничества будет более эффективной.

Результат указанной проверки на определение факта потенциального мошенничества со стороны кассира может быть представлен в виде автоматически сформированного отчета на устройстве отображения или же сохранен в памяти кассовой системы или в базе данных системы безопасности. Упомянутый отчет включает в себя все выявленные факты потенциального мошенничества со стороны кассира.

Дополнительно, указанная кассовая система сконфигурирована таким образом, чтобы автоматически формировать или пополнять упомянутую выборку изображений товаров для обучения искусственной нейронной сети, причем упомянутая выборка содержит множество изображений товаров.

Следует отметить, что процессы формирования или пополнения выборки изображений товаров, обучения искусственной нейронной сети и выявления факта потенциального мошенничества со стороны кассира могут выполняться параллельно, по меньшей мере, одним устройством обработки данных. То есть после того, как устройство обработки данных получило изображения считанного товара, это изображение используется параллельно и для верификации и для формирования или пополнения выборки изображений товаров. При этом если упомянутое изображение добавляется в выборку изображений товара раньше окончания верификации, то для такого случая устройство обработки данных сконфигурировано таким образом, чтобы исключить случай сравнения изображения считанного товара с только что добавленным новым изображением товара.

В одном из частных вариантов выполнения кассовая система содержит отдельную искусственную нейронную сеть, используемую при верификации, для каждого класса товаров или даже для каждого товара.

Дополнительно, для поддержания актуальности данных в кассовой системе, в выборке изображений содержится только N последних загруженных изображений для каждого товара, причем N является положительным целым числом, предварительно заданным пользователем.

Кроме того, если информация о потенциальном мошенничестве, касающаяся дешевых товаров, не сильно важна для магазина в сравнении с более дорогими товарами, то для такого случая система сконфигурирована с возможностью анализировать цену считанного товара перед процессом выполнения верификации. Если указанная цена, содержащаяся в данных о товаре, ниже предварительно заданного порогового значении (например, ниже 10 рублей или 100 рублей или 500 рублей или т.д.) то верификация такого товара не выполняется. Пользователь кассовой системы имеет возможность задавать это пороговое значение и в зависимости от конкретной ситуации изменять его.

Далее будет описан пример конкретной реализации способа выявления факта потенциального мошенничества со стороны кассира. На фиг. 2 представлена блок-схема одного из вариантов реализации способа выявления факта потенциального мошенничества со стороны кассира.

Указанный способ выполняется уже описанной выше кассовой системой, содержащей, по меньшей мере, одно устройство обработки данных. Способ содержит этапы, на которых:

(100) при поднесении кассиром товара к устройству считывания штрих кодов выполняется считывание штрих кода, при этом формируется сигнал считывания;

(200) получают данные о считанном товаре из базы данных товаров на основании сигнала считывания, причем указанная база данных товаров содержит постоянно пополняемую выборку изображений товаров;

(300) получают видеоданные от устройства захвата изображений и

(400) выполняют верификацию с использованием искусственной нейронной сети, обучаемой на основании пополняемой базы данных товаров, причем указанная верификация заключается в сравнении изображения товара, полученного от устройства захвата изображения в момент поступления сигнала считывания, с по меньшей мере, одним изображением товара, содержащимся в данных о считанном товаре;

(500) если результат верификации является отрицательным, то, по меньшей мере, одно устройство обработки данных определяет факт потенциального мошенничества со стороны кассира.

Следует еще раз отметить, что данный способ может быть реализован посредством использования охарактеризованной ранее кассовой системы и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации кассовой системы для выявления факта потенциального мошенничества со стороны кассира.

Далее будет подробно рассмотрен процесс формирования обучающей выборки изображений товаров для обучения искусственной нейронной сети, используемой при верификации для выявления факта потенциального мошенничества со стороны кассира.

На фиг. 3 представлена блок-схема одного из вариантов реализации способа автоматического формирования выборки изображений товаров для обучения искусственной нейронной сети.

Указанный способ выполняется уже описанной выше кассовой системой, содержащей, по меньшей мере, одно устройство обработки данных. Способ содержит этапы, на которых:

(а) при поднесении кассиром товара к устройству считывания штрих кодов выполняется считывание штрих кода, при этом формируется сигнал считывания, о чем уже было подробно рассказано выше.

(б) На основании сигнала считывания, поступающего в устройство обработки данных, получают данные о считанном товаре из базы данных товаров, сохраненной в памяти кассовой системы.

Причем если указанная база данных еще не содержит данных о считанном товаре, то в указанной базе данных автоматически формируется новая запись о новом товаре.

(в) В момент получения сигнала считывания устройство обработки данных получает изображение поднесенного товара от устройства захвата изображений, сконфигурированного для получения видеоданных из области считывания штрих кодов.

(г) Устройство обработки данных сохраняет полученное изображение поднесенного товара к данным о считанном товаре в базе данных товаров.

Следует отметить, что сохранение полученного изображения выполняется даже тогда, когда данные о считанном товаре уже содержат, по меньшей мере, одно изображение. При этом пользователь может задать пороговое количество изображений (N) для каждой выборки изображений товара.

Предположим, пользователь задал N=10. При получении сигнала считывания устройство обработки данных получает данные о считанном товаре и анализирует полученные данные. Если количество изображений в выборке изображений для считанного товара равно десяти, то устройство обработки данных удаляет самое давнее (старое) изображение, и сохраняет новое, только полученное изображение товара в выборку. Таким образом, удается поддерживать актуальность информации о товарах. Это необходимо, поскольку внешний вид товаров меняется со временем и, следовательно, незачем хранить старые изображения товаров.

Кроме того, пользователь также может задать пороговое значение для цены товара. В этом случае при получении сигнала считывания устройство обработки данных получает данные о считанном товаре и анализирует полученные данные. Если стоимость товара ниже предварительно заданного значения (например, ниже 100 рублей), то изображение, полученное в момент считывания товара от устройства захвата изображений, не добавляется в выборку изображений товара.

(д) Повторяют вышеприведенные этапы (а)-(г) для каждого товара, подносимого к устройству считывания штрих кодов, посредством чего автоматически формируется или пополняется выборка изображений товаров для обучения искусственной нейронной сети, используемой для выявления факта потенциального мошенничества со стороны кассира.

Обучение искусственной нейронной сети в контексте заявляемого решения выполняется на основании пополняемой базы данных товаров.

При этом упомянутое формирование или пополнение выборки изображений товаров и обучение искусственной нейронной сети являются постоянными процессами, поскольку набор товаров и их внешний вид меняются со временем. Пользователь кассовой системы может задать определенное время, в которое будет выполняться обучение искусственной нейронной сети. Например, один раз в день или один раз в неделю. При этом упомянутое обучение может выполняться, например, устройством обработки данных кассовой системы или же облачным сервисом кассовой системы или любым другим вычислительным устройством.

Процессы формирования или пополнения выборки изображений товаров, обучения искусственной нейронной сети и выявления факта потенциального мошенничества со стороны кассира могут выполняться параллельно устройством обработки данных.

Кроме того, в случае реализации данного способа, при которой все товары в базе данных товаров разделены на классы товаров, для каждого класса товаров используется своя искусственная нейронная сеть. Для крупных торговых магазинов возможно иметь искусственную нейронную сеть даже для каждого товара. Как уже было указано выше, упомянутые искусственные нейронные сети используются при верификации товаров, таким образом, чем больше ИНС, тем точнее будет результат верификации, тем качественнее и более безошибочно будет выявлен факт потенциального мошенничества со стороны кассира, поскольку каждая ИНС будет узконаправлена только на один конкретный товар или на класс товаров.

Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.

В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) компьютерной системой, например, такой как компьютер. При этом носитель данных может являться энергонезависимым машиночитаемым носителем данных.

При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.

Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.

Изобретение относится к области вычислительной техники при использовании искусственных нейронных сетей. Технический результат заключается в повышении точности выявления факта потенциального мошенничества со стороны кассира. Технический результат достигается за счет получения данных о считанном товаре из базы данных товаров и получения видеоданных от устройства захвата изображений, при этом при поднесении кассиром товара к устройству считывания штрихкодов выполняется считывание штрихкода, на основании сигнала считывания получают данные о считанном товаре из базы данных товаров, в момент получения сигнала считывания получают изображение поднесенного товара от устройства захвата изображений, сохраняют полученное изображение поднесенного товара к данным о считанном товаре в базе данных товаров, затем повторяют вышеприведенные этапы для каждого товара, подносимого к устройству считывания штрихкодов. 5 н. и 30 з.п. ф-лы, 3 ил.

1. Кассовая система для выявления факта потенциального мошенничества со стороны кассира, содержащая:

устройство считывания штрихкодов;

память, сконфигурированную для хранения базы данных товаров, содержащей выборку изображений товаров;

устройство захвата изображений, сконфигурированное для получения видеоданных из области считывания штрихкодов кассиром; и

по меньшей мере, одно устройство обработки данных, сконфигурированное для:

получения данных о считанном товаре из базы данных товаров на основании сигнала считывания, поступившего от устройства считывания штрихкодов;

получения видеоданных от устройства захвата изображений и выполнения верификации с использованием искусственной нейронной сети,

причем указанная верификация заключается в сравнении изображения товара, полученного от устройства захвата изображения в момент поступления сигнала считывания, с по меньшей мере, одним изображением товара, содержащимся в данных о считанном товаре;

если результат верификации является отрицательным, то, по меньшей мере, одно устройство обработки данных определяет факт потенциального мошенничества со стороны кассира.

2. Кассовая система по п. 1, отличающаяся тем, что дополнительно сконфигурированная для автоматического формирования или пополнения выборки изображений товаров для обучения искусственной нейронной сети, причем упомянутая выборка содержит множество изображений товаров.

3. Кассовая система по п. 1, отличающаяся тем, что товары в базе данных товаров разделены на классы товаров.

4. Кассовая система по п. 3, отличающаяся тем, что для каждого товара или для каждого класса товаров имеется своя искусственная нейронная сеть, используемая при верификации.

5. Кассовая система по п. 1, отличающаяся тем, что данные о каждом товаре включают в себя: наименование товара, стоимость товара, штрихкод товара, выборку изображений товара.

6. Кассовая система по любому из пп. 1-5, отличающаяся тем, что верификация выполняется в режиме реального времени.

7. Кассовая система по п. 6, отличающаяся тем, что при определении факта потенциального мошенничества со стороны кассира выполняется отправка уведомления предварительно определенному пользователю.

8. Кассовая система по любому из пп. 1-5, отличающаяся тем, что верификация выполняется по архивным данным, полученным от устройства считывания штрихкодов и от устройства захвата изображений, сохраненным в памяти.

9. Кассовая система по п. 8, отличающаяся тем, что при верификации, выполняемой по архивным данным, автоматически формируется отчет, содержащий все выявленные факты потенциального мошенничества со стороны кассира.

10. Способ автоматического формирования выборки изображений товаров для обучения искусственной нейронной сети, выполняемый кассовой системой, содержащей, по меньшей мере, одно устройство обработки данных, причем способ содержит этапы, на которых:

(а) при поднесении кассиром товара к устройству считывания штрихкодов выполняется считывание штрихкода, при этом формируется сигнал считывания;

(б) на основании сигнала считывания получают данные о считанном товаре из базы данных товаров, сохраненной в памяти кассовой системы, причем если указанная база данных не содержит данных о считанном товаре, то создается новая запись о таком товаре;

(в) в момент получения сигнала считывания получают изображение поднесенного товара от устройства захвата изображений, сконфигурированного для получения видеоданных из области считывания штрихкодов;

(г) сохраняют полученное изображение поднесенного товара к данным о считанном товаре в базе данных товаров;

(д) повторяют вышеприведенные этапы (а)-(г) для каждого товара, подносимого к устройству считывания штрихкодов, посредством чего автоматически формируется или пополняется выборка изображений товаров для обучения искусственной нейронной сети, используемой для выявления факта потенциального мошенничества со стороны кассира.

11. Способ по п. 10, отличающийся тем, что обучение искусственной нейронной сети выполняется на основании пополняемой базы данных товаров.

12. Способ по п. 10, отличающийся тем, что формирование или пополнение выборки изображений товаров и обучение искусственной нейронной сети являются постоянными процессами, поскольку набор товаров и их внешний вид меняются со временем.

13. Способ по любому из пп. 10-12, отличающийся тем, что процессы формирования или пополнения выборки изображений товаров, обучения искусственной нейронной сети и выявления факта потенциального мошенничества со стороны кассира выполняются параллельно устройством обработки данных.

14. Способ по любому из пп. 10, 11, отличающийся тем, что обучение искусственной нейронной сети выполняется постоянно в определенное заданное пользователем время.

15. Способ по любому из пп. 10-12, отличающийся тем, что обучение искусственной нейронной сети выполняется устройством обработки данных кассовой системы или облачным сервисом кассовой системы.

16. Способ по п. 10, отличающийся тем, что сохраняют полученное изображение поднесенного товара к данным о считанном товаре в базе данных товаров, даже если указанные данные о товаре уже содержат, по меньшей мере, одно изображение.

17. Способ по п. 10 или 16, отличающийся тем, что данные о каждом товаре включают в себя: наименование товара, стоимость товара, штрихкод товара, выборку изображений товара.

18. Способ по п. 17, отличающийся тем, что выборка изображений товара содержит N последних загруженных изображений для этого товара, где N является положительным целым числом, предварительно заданным пользователем.

19. Способ по п. 17, отличающийся тем, что если стоимость товара ниже предварительно заданного порогового значения, то изображение, полученное от устройства захвата изображений, не добавляется в выборку изображений товара.

20. Способ по п. 17, отличающийся тем, что товары в базе данных товаров разделены на классы товаров.

21. Способ по п. 20, отличающийся тем, что для каждого товара или для каждого класса товаров имеется своя искусственная нейронная сеть, используемая при верификации для выявления факта потенциального мошенничества со стороны кассира.

22. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов автоматического формирования выборки изображений товаров для обучения искусственной нейронной сети по любому из пп. 10-21.

23. Способ выявления факта потенциального мошенничества со стороны кассира, выполняемый кассовой системой, содержащей, по меньшей мере, одно устройство обработки данных, причем способ содержит этапы, на которых:

при поднесении кассиром товара к устройству считывания штрихкодов выполняется считывание штрихкода, при этом формируется сигнал считывания;

получают данные о считанном товаре из базы данных товаров на основании сигнала считывания, причем указанная база данных товаров содержит постоянно пополняемую выборку изображений товаров;

получают видеоданные от устройства захвата изображений и выполняют верификацию с использованием искусственной нейронной сети, обучаемой на основании пополняемой базы данных товаров;

причем указанная верификация заключается в сравнении изображения товара, полученного от устройства захвата изображения в момент поступления сигнала считывания, по меньшей мере, с одним изображением товара, содержащимся в данных о считанном товаре;

если результат верификации является отрицательным, то, по меньшей мере, одно устройство обработки данных определяет факт потенциального мошенничества со стороны кассира.

24. Способ по п. 23, отличающийся тем, что дополнительно выполненный с возможностью автоматического формирования или пополнения выборки изображений товаров для обучения искусственной нейронной сети, причем упомянутая выборка содержит множество изображений товаров.

25. Способ по любому из пп. 23, 24, отличающийся тем, что процессы формирования или пополнения выборки изображений товаров, обучения искусственной нейронной сети и выявления факта потенциального мошенничества со стороны кассира выполняются параллельно устройством обработки данных.

26. Способ по п. 23, отличающийся тем, что товары в базе данных товаров разделены на классы товаров.

27. Способ по п. 26, отличающийся тем, что для каждого товара или для каждого класса товаров имеется своя искусственная нейронная сеть, используемая при верификации.

28. Способ по п. 23, отличающийся тем, что данные о каждом товаре включают в себя: наименование товара, стоимость товара, штрихкод товара, выборку изображений товара.

29. Способ по любому из пп. 23, 24, 28, отличающийся тем, что выборка изображений товара содержит N последних загруженных изображений для этого товара, где N является положительным целым числом, предварительно заданным пользователем.

30. Способ по п. 28, отличающийся тем, что если стоимость товара ниже предварительно заданного порогового значения, то верификация этого товара не выполняется.

31. Способ по любому из пп. 23, 24, отличающийся тем, что верификация выполняется в режиме реального времени.

32. Способ по п. 31, отличающийся тем, что при определении факта потенциального мошенничества со стороны кассира выполняется отправка уведомления предварительно определенному пользователю.

33. Способ по любому из пп. 23, 24, отличающийся тем, что верификация выполняется по архивным данным, полученным от устройства считывания штрихкодов и от устройства захвата изображений, сохраненным в памяти.

34. Способ по п. 33, отличающийся тем, что при верификации, выполняемой по архивным данным, автоматически формируется отчет, содержащий все выявленные факты потенциального мошенничества со стороны кассира.

35. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов выявления факта потенциального мошенничества со стороны кассира по любому из пп. 23-34.