СПОСОБ (ВАРИАНТЫ) И УСТРОЙСТВО (ВАРИАНТЫ) АВТОМАТИЗИРОВАННОГО ОБНАРУЖЕНИЯ УМЫШЛЕННЫХ ЛИБО СЛУЧАЙНЫХ НАРУШЕНИЙ ТЕХНОЛОГИЧЕСКОЙ ПРОЦЕДУРЫ ОПЕРАТОРОМ Российский патент 2008 года по МПК G06K9/62 

Изобретение относится к области систем технического зрения, в частности к анализу изображений, полученных оптическим или иным устройством.

Изобретение относится к области автоматического выявления главным образом умышленных, но также и непреднамеренных нарушений человеком или устройством, его заменяющим, рутинно и многократно исполняемой технологической процедуры, состоящей в перемещении объекта одной или двумя руками, а также, возможно, его соединении с другим объектом, и обязательном последующем предъявлении объекта детектору для его регистрации и/или тестирования. Такие процедуры используются, например, при сборке, или регистрации, или техническом контроле объектов. Они характеризуются тем, что человек должен взять объект рукой из одной рабочей зоны ("входного" накопителя 1), затем, если это предусмотрено, соединить его с объектом, взятым другой рукой из другой зоны ("входной" накопитель 2), предъявить объект детектору и в зависимости от его сигнала переместить объект в один из "выходных" накопителей. Выявляемые нарушения порядка исполнения такой процедуры могли бы состоять в перемещении объектов из "входных" накопителей в "выходные" без требуемого предъявления объектов детектору или в их перемещении в "выходной" накопитель, не соответствующий сигналу детектора, если предъявление имело место.

Примером такой процедуры может являться (а) проверка сотрудником ОТК произведенных на предприятии электрических лампочек, (б) поточная сборка человеком изделия из двух компонент, его тестирование предусмотренным средством контроля и последующее перемещение этого изделия по результатам контроля в накопитель годных либо бракованных товаров или же (в) регистрация товаров кассиром POS-терминала с одновременным их перемещением из зоны предъявления покупателем (например, ленты транспортера) в зону упаковки и накопления оплаченных покупок.

Одним из возможных применений заявляемого изобретения является автоматическое выявление злоупотреблений со стороны оператора в точке розничной продажи, состоящих в хищении товаров по сговору с покупателем путем передачи товара без надлежащей регистрации.

Известно устройство и способы предотвращения хищения при розничной продаже путем анализа изображения покупательской тележки (товарной корзины) (патент США №5883968 March 16, 1999 Welch et al.). Недостатком этого способа и устройства является использование в качестве признака окончания операции продажи опустошения покупательской тележки (товарной корзины), к тому же этот способ не рассчитан на контроль действий человека-оператора (оператора), что сильно сужает область применения способа и устройства.

Это устройство и способы выбраны в качестве прототипа.

Технический результат состоит в выявлении указанных выше злоупотреблений оператора при приемлемой частоте ложных срабатываний и ограниченной потребности в вычислительных ресурсах.

Известные способы непригодны для достижения заявленного технического результата.

Заявленный технический результат достигается тем, что наблюдение за выполнением технологической операции - действиями оператора в рабочей области осуществляют с помощью устройства, состоящего из вычислительного средства (на базе компьютера), видеодатчика или видеокамеры (в первом варианте устройства) или датчиков движения и/или присутствия объектов, использующих другие принципы работы (во втором варианте устройства), устройства сопряжения средств видеонаблюдения и/или датчиков с вычислительным средством. Обычно устройство сопряжения выполняют на базе аналого-цифрового преобразователя. Основными функциями, выполняемыми устройством сопряжения, являются преобразования входных и выходных форматов данных сопрягаемых устройств. Для повышения достоверности наблюдения в состав устройства могут быть добавлены один или несколько дополнительных датчиков.

Заявленный технический результат достигается тем, что наблюдение за выполнением технологической операции - действиями оператора в рабочей области точки продажи или рабочих органов машины и/или человека-оператора в другом технологическом процессе - осуществляют несколькими различными способами. Каждый из предлагаемых способов включает ряд предварительных операций и операций, выполняемых в процессе контроля.

Предварительно выполняют следующие действия. Выявляют маршруты движения объектов и области, где они взаимодействуют с другими объектами, например со средствами идентификации завершения операции (например, регистрации покупки). Выделяют компоненты технологической операции, характеризующиеся (а) наличием движения одного или нескольких объектов (рабочих органов машин, рук оператора и/или изделия или товара), и/или (б) присутствием одного или нескольких объектов. Фиксируют маршруты движения и области присутствия на изображении, если используют видеодатчик или видеокамеру, или в рабочей области, если используют датчики другого типа. Выявляют области на маршруте движения, где движения и присутствия относятся к наблюдаемому процессу, например процессу регистрации покупки. Назначают (на изображении, если используют средства видеонаблюдения, или в рабочей области, если используют датчики другого типа) области, в которых происходят движения и/или отмечаются присутствия объектов, относящиеся к наблюдаемому процессу, а движения и/или присутствия объектов, не относящиеся к наблюдаемому процессу, отсутствуют вовсе или присутствуют в наименьшей степени, и эти области принимают в качестве наблюдаемых. Для совокупности наблюдаемых областей назначают сценарии, каждый из которых описывает по крайней мере один вариант выполнения технологической операции (например, регистрации покупки), - последовательности движений и/или событий присутствия объектов, их временные соотношения и/или ограничения, поступление сигналов от дополнительных датчиков регистрации и/или их последовательность и/или длительность.

В процессе наблюдения появление движений и/или событий присутствия объектов одной или более наблюдаемых областей принимают как признак начала выполнения процесса. В этом случае контролируют получение сигналов из других наблюдаемых областей, их набор и последовательность сравнивают с одним или несколькими сценариями.

Появление движений и/или событий присутствия объектов можно выявлять путем анализа кадров видеоданных, например цветового и/или яркостного и временного, использующего один или несколько кадров (изображений), взятых из потока видеоинформации. Причем возможен анализ как путем сравнения последовательных кадров, так и с пропуском одного и более кадров, и с пропуском переменного числа кадров.

Для получения большей достоверности результатов можно использовать сигналы от дополнительных средств регистрации выполнения этапов операции - например, датчика контроля завершения операции регистрации покупки.

Согласно первому варианту предлагаемый для достижения заданного технического результата способ выявления некорректного выполнения технологической операции и, в частности, злоупотреблений оператора в точке розничной продажи в процессе регистрации покупки использует видеоинформацию, отражающую действия оператора, а также сигнал датчика о завершении операции (датчика регистрации покупки) - считывателя штрих-кода.

Предварительно анализируют действия рабочих органов машин, выполняющих операцию, и/или рук оператора, выявляют типичные последовательности и маршруты их перемещений и/или изделий или товара из области начала операции - предъявления товара покупателем - в область окончания операции - регистрации покупки, и далее в область перемещения к следующей операции - выдачи оплаченного товара. Организуют получение видеоданных, представляющих действия рабочих органов машин и/или оператора и движение изделий или товара в ходе завершения операции (регистрации покупки). В качестве источника таких изображений могут использоваться средства видеонаблюдения, видеодатчики разных конструкций и средства преобразования данных для передачи в компьютер или другое вычислительное средство. Обозначают одну или несколько областей, в которых наблюдают движение и/или присутствие рабочих органов машин и/или рук оператора с изделием или товаром или без изделия или товара. Далее последовательности, временные соотношения и/или ограничения и маршруты движений рабочих органов машин и/или рук оператора выражают как сценарии, описывающие события движения, присутствия рабочих органов машин и/или рук оператора в областях наблюдения, их последовательность, временные соотношения и ограничения.

В процессе наблюдения выполняют следующие действия. Анализируя изменения цвета и/или яркости элементов изображения, интервалы времени, в течение которого эти изменения произошли, и/или другие факторы, выявляют наличие движения предметов - рабочих органов машин и/или рук оператора в областях движения, а также присутствие предметов - рабочих органов машин и/или рук оператора в областях присутствия. Формируют последовательность событий движения, присутствия и временные интервалы между ними. Сравнивают полученные последовательности событий с учетом временных характеристик с одним или более сценарием. В случае установления соответствия одному или нескольким сценариям проверяют поступление (наличие) сигнала о завершении технологической операции (регистрации покупки) в тот интервал времени и в той последовательности, как этого требует по крайней мере один из этих сценариев. В случае отсутствия сигнала о завершении операции (регистрации покупки) операцию классифицируют как некорректно выполненную, а действия оператора считаются некорректными (возможным злоупотреблением).

Согласно второму варианту предлагаемый для достижения заданного технического результата способ выявления отклонения от корректного выполнения технологической операции, в т.ч. выявления злоупотреблений оператора при регистрации покупки в точке розничной продажи, использует сигналы о движениях объектов (рабочих органов машин, и/или рук оператора, и/или изделия или товара) в заданных областях, сигналы о присутствии объектов в заданных областях, а также сигнал датчика о завершении операции (регистрации покупки). Сигналы о движении и присутствии рабочих органов машин и/или рук оператора получают от средств выявления движения и/или присутствия, отличных от средств видеонаблюдения.

Предварительно анализируют действия машин и/или оператора, выявляют типичные последовательности и маршруты перемещений их рабочих органов, и/или его рук, и/или изделий или товара из области начала операции - предъявления товара покупателем - в область завершения операции - регистрации покупки, и далее в область перемещения товара к следующей операции - выдачи оплаченного товара. Обозначают одну или несколько областей наблюдения, в которых организуют выявление (наблюдение) движения и/или присутствия рабочих органов машин, и/или рук оператора, и/или изделия или товара. Далее последовательности, временные соотношения и/или ограничения и маршруты движений рабочих органов машин, и/или рук оператора, и/или изделий или товара выражают как сценарии, описывающие движения, присутствия рабочих органов машин, и/или рук оператора, и/или изделий или товара в областях наблюдения, их последовательность, временные соотношения и ограничения.

В процессе наблюдения выполняют следующие действия. Анализируя сигналы датчиков движения и сигналы датчиков присутствия, интервалы времени, в течение которого эти сигналы поступили, выявляют наличие движений рабочих органов машин, и/или рук оператора, и/или изделий или товара в областях движения, а также присутствие рабочих органов машин и/или рук оператора по крайней мере в одной области присутствия. Определяют последовательность событий движения и присутствия и временные интервалы между ними. Сравнивают полученные последовательности с одним или более сценарием с учетом временных характеристик. В случае установления соответствия одному или нескольким сценариям проверяют поступление сигнала о завершении операции (регистрации покупки) в тот интервал времени, как этого требует по крайней мере один из этих сценариев. В случае отсутствия сигнала о завершении операции (регистрации покупки) операцию признают выполненной некорректно, а действия оператора считаются возможным злоупотреблением.

Согласно первому варианту предлагаемое для достижения заданного технического результата устройство выявления отклонения от корректного выполнения технологической операции, в т.ч. злоупотреблений оператора в точке розничной продажи в процессе регистрации покупки использует видеоинформацию, отражающую действия машин и/или оператора, а также сигнал датчика о завершении операции (регистрации покупки). Устройство состоит из вычислительного средства, например, на базе компьютера, датчика завершения операции (регистрации покупки) (в качестве такого датчика может использоваться, например, сканер штрих-кода), видеокамеры, установленной так, чтобы получать изображение наблюдаемой рабочей области оператора, включая область завершения операции (регистрации покупки), устройств для преобразования видеоинформации и сигнала датчика завершения операции (регистрации покупки), к виду, приспособленному для обработки в компьютере. Устройство отличается тем, что видеокамера соединена с компьютером через устройство для преобразования видеоинформации к виду, приспособленному для обработки в компьютере, компьютер соединен с датчиком завершения операции (регистрации покупки) через устройство для преобразования сигнала датчика к виду, приспособленному для обработки в компьютере, назначены и обозначены области, в которых выполняют контроль движения рабочих органов машин и/или рук оператора с/без изделия или товара и контроль завершения операции (регистрации покупки).

Согласно первому варианту предлагаемое для достижения заданного технического результата устройство выявления отклонения от корректного выполнения технологической операции, в т.ч. злоупотреблений оператора в точке розничной продажи в процессе регистрации покупки использует одно устройство или более для выявления движения объектов, одно устройство или более для выявления присутствия объектов, а также сигнал датчика о завершении операции (регистрации покупки). Устройство состоит из вычислительного средства, например, на базе компьютера, датчика завершения операции (регистрации покупки) (в качестве такого датчика может использоваться, например, сканер штрих-кода), одного или более датчиков выявления движения объектов, установленного так, чтобы получать сигналы о движении рабочих органов машин, и/или рук оператора, и/или изделия или товара в назначенных для этого областях, одного или более датчика выявления присутствия объектов, установленного так, чтобы получать сигналы о присутствии рабочих органов машин, и/или рук оператора, и/или изделия или товара в назначенных для этого областях и устройства контроля завершения операции (регистрации покупки), например сканера штрих-кода, а также устройств для преобразования сигналов датчиков к виду, приспособленному для обработки в компьютере.

В первом и втором вариантах устройства может использоваться визуальный индикатор завершения операции (регистрации покупки), установленный в поле зрения видеокамеры.

В первом и втором вариантах устройства может использоваться звуковой индикатор завершения операции (регистрации покупки) вместе с устройством, принимающим звуковой сигнал.

ОПИСАНИЕ ГРАФИЧЕСКОГО МАТЕРИАЛА.

На фиг.1А показаны схема характерных движений рук оператора и товара в процессе регистрации покупки, как они видны на изображениях, создаваемых видеокамерой.

На фиг.1В показаны схема характерных движений рук оператора и перемещения товара в процессе выполнения регистрации покупки, а также области (4), контролируемые датчиками выявления движения (8), и область (4а), контролируемая датчиком выявления присутствия (9).

На фиг.2А показан первый вариант принципиального конструктивного воплощения устройства с использованием видеокамеры или видеодатчика для применения первого варианта заявленного способа.

На фиг.2В показан второй вариант принципиального конструктивного воплощения устройства с использованием датчиков выявления движения (8) и датчика выявления присутствия (9) для применения второго варианта заявленного способа.

На фиг.3А показана логическая схема заявляемого устройства с использованием видеокамеры или видеодатчика.

На фиг.3В показана логическая схема заявляемого устройства с использованием датчиков выявления движения (8) и датчика выявления присутствия (9).

На фиг.4 показана диаграмма, иллюстрирующая заявляемые способы.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Сущность предложения иллюстрируется фиг.1-4.

Процесс выявления отклонения от корректного выполнения технологической операции, в т.ч. злоупотреблений со стороны оператора, с использованием первого варианта заявляемого способа и первого варианта устройства проиллюстрирован на фиг.1А и 2А. Товар (1) перемещают из области приема товара (А) в область регистрации покупки (В) (контроля завершения операции) и далее в область выдачи оплаченного товара (С). Все перемещения рук оператора (6) находятся в поле зрения (5) видеокамеры (или видеодатчика) (7). Предварительно назначены области для выявления движения(4) и выявления присутствия (4а) рук оператора с товаром или без товара. Одновременное перемещение рук оператора по маршруту (А)->(В) (левая рука подносит товар) и (С)->(В) (правая рука забирает товар из левой руки) образует один из вариантов сценария. При этом в положении (В) контролируют поступление сигнала от датчика регистрации покупки (2) (контроля завершения операции). Если сигнал от датчика (2) не поступает в течение заранее заданного времени, то такое действие оператора классифицируют как злоупотребление. В качестве сигнала датчика (2) может быть использован световой индикатор (20), устанавливаемый в поле зрения видеокамеры (7).

Процесс выявления действий, указывающих на злоупотребление со стороны оператора или некорректное выполнение технологической операции, с использованием второго варианта заявляемого способа и второго варианта устройства проиллюстрирован на фиг.1В и 2В. Товар (1) перемещается оператором из области приема товара (А) в область регистрации покупки (В) (контроля завершения операции) и далее в область выдачи оплаченного товара (С). Предварительно назначены области для выявления движения (4) и выявления присутствия (4а) рук оператора с товаром и/или без товара. Одновременное перемещение рук оператора по маршруту (А)->(В) (левая рука подносит товар) и (С)->(В) (правая рука забирает товар из левой руки) образует один из вариантов сценария. При этом в положении (В) контролируют поступление сигнала от датчика регистрации покупки (2). Если сигнал от датчика (2) не поступает в течение заранее заданного времени, то такое действие оператора классифицируют как злоупотребление.

На фиг.2А показан первый вариант принципиального конструктивного исполнения устройства. Видеокамера (7) размещена таким образом, чтобы получаемое изображение (5) отражало наилучшим образом все действия оператора в связи с регистрацией покупки. Выявление движения в областях (4) на этапах (А) и (С) и выявление присутствия рук оператора в области (4а) на этапе (В) при отсутствии сигнала от датчика (2) в заранее заданный промежуток времени считают достаточными для выявления некорректных действий оператора.

На фиг.2В показан второй вариант принципиального конструктивного исполнения устройства. Датчики выявления движения (8) размещены таким образом, чтобы контролировать назначенные области выявления движения (4). Датчик выявления присутствия (9) размещен таким образом, чтобы контролировать назначенную область выявления присутствия (4а). Выявление движения в областях (4) на этапах (А) и (С) и выявление присутствия рук оператора в области (4а) на этапе (В) товара (1) при отсутствии сигнала от датчика (2) в заранее заданный промежуток времени считают достаточными для выявления некорректных действий оператора.

На фиг.3А показана логическая схема заявляемого устройства с использованием видеокамеры.

Принцип работы устройства следующий.

Изображения с видеокамеры (7), преобразованные устройством сопряжения (10), направляют для обработки в компьютер (11). От датчика регистрации покупки (2) (контроля завершения операции) (для примера показан датчик считывателя штрих-кода) поступает сигнал в компьютер (11) и в POS-терминал (12) для идентификации товара и регистрации и оплаты покупки. Сигнал датчика (2) может дублироваться световым индикатором (20), находящимся в поле зрения видеокамеры.

На фиг.3В показана логическая схема заявляемого устройства с использованием датчиков контроля движения и контроля присутствия.

Сигналы датчиков движения (8) и датчика присутствия (9), преобразованные устройствами сопряжения (10), направляют для обработки в компьютер (11). От датчика идентификации товара и регистрации покупки (2) (контроля завершения операции) (для примера показан датчик считывателя штрих-кода) поступает сигнал в компьютер (11) и в POS-терминал (12) для идентификации товара и регистрации и оплаты покупки (завершения операции).

На фиг.4 показана блок-схема, иллюстрирующая заявляемые способы.

Сигналы (13) о наличии движения в областях выявления движения и о присутствии в области выявления присутствия, получаемые от видеокамеры (7) (или сигналы датчиков движения (8) и датчика присутствия (9)), объединяют в последовательность с учетом их очередности поступления и временных соотношений (15). Затем последовательности сигналов сравнивают с одним или несколькими заранее назначенными сценариями регистрации покупки (16). В случае, если последовательность и временные соотношения полученных сигналов из областей (4) и (4а) соответствуют одному из сценариев, проверяют поступление сигнала (14) датчика (2) регистрации покупки (контроля завершения операции) в интервал времени, определяемый этими сценариями. В случае отсутствия сигнала принимают решение (17) об отклонении от корректного выполнения технологической операции и о возможном злоупотреблении со стороны оператора.

Изобретение относится к области техники наблюдения, в частности к анализу изображений, полученных оптическим или иным устройством. Технический результат изобретения заключается в выявлении некорректных действий оператора при допустимой частоте ложных срабатываний. Технический результат достигается за счет того, что в точке продажи используют средства видеонаблюдения или средства выявления движения и выявления присутствия, а также средства регистрации покупки, анализируют маршруты движений рук оператора и/или изделия, соответствующие выполнению технологической операции, выявляют из них наиболее характерные, выбирают области выявления движения и выявления присутствия рук оператора и/или товара. Выявленные маршруты описывают в виде сценариев, представляющих собой набор упорядоченных во времени событий, состоящих в поступлении сигналов из областей контроля присутствия и движения, с учетом их временных соотношений. Выявляют поступление сигналов из наблюдаемых областей. Объединяют их в последовательности и сравнивают с имеющимися сценариями. При совпадении полученной последовательности сигналов с одним сценарием или более проверяют поступление сигнала от датчика завершения операции в интервал времени, определяемый этим сценарием. В случае отсутствия сигнала от датчика завершения операции операцию классифицируют как выполненную некорректно, а действия оператора классифицируют как злоупотребление. 8 н. и 8 з.п. ф-лы, 4 ил.

1. Способ автоматизированного обнаружения отклонения от корректного выполнения технологической операции, характеризующийся использованием видеоданных, использованием сигнала о завершении технологической операции, отличающийся тем, что предварительно выполняют следующие действия: выявляют типичные последовательности и маршруты движений рабочих органов машин, и/или рук оператора, и/или изделия, осуществляемые в процессе корректного выполнения технологической операции,

организуют получение видеоданных о действиях машин и/или оператора, связанных с выполнением технологической операции,

обозначают по крайней мере одну область обнаружения присутствия и/или область обнаружения движения рабочих органов машин и/или рук оператора,

выявленные типичные последовательности и маршруты движений рабочих органов машин, и/или рук оператора, и/или изделия в процессе выполнения технологической операции выражают как по крайней мере один сценарий, описывающий последовательность и временные соотношения движений рабочих органов машин, и/или рук оператора, и/или изделия по крайней мере в одной области контроля движения и/или событий появления рабочих органов машин и/или рук оператора и/или изделия по крайней мере в одной области контроля присутствия;

в процессе наблюдения выполняют следующие действия: на основе цветового и/или яркостного и временного анализа изображений области наблюдения проверяют наличие движения рабочих органов машин и/или рук оператора по крайней мере в одной области контроля движения, на основе цветового и/или яркостного и временного анализа изображений области наблюдения проверяют присутствие рабочих органов машин и/или рук оператора по крайней мере в одной области контроля присутствия, проверяют последовательность обнаруженных событий и временные соотношения между ними на соответствие сценариям, в случае установления соответствия по крайней мере одному сценарию, проверяют поступление сигнала о завершении технологической операции в соответствии с этим сценарием, при отсутствии сигнала о завершении операции выполнение технологической операции классифицируют как некорректное.