СИСТЕМА ИДЕНТИФИКАЦИИ СВЕЖИХ ПРОДУКТОВ ДЛЯ КАССОВОГО ТЕРМИНАЛА РОЗНИЧНОЙ ТОРГОВЛИ Российский патент 2022 года по МПК G06T7/41 

Область техники

[1] Данное изобретение относится к системе идентификации свежих продуктов для кассового терминала розничной торговли, которая, в частности, применяет машинное обучение с использованием набора обучающих данных свежих продуктов для визуальной классификации используемого типа свежих продуктов при предоставлении данных изображений, зафиксированных на терминале. Более того, настоящая система машинного обучения обучается особым образом, чтобы устранить ограничения, характерные для областей розничной торговли свежими продуктами. Принимая во внимание, что настоящая система и методология имеют широкое применение в различных типах кассовых терминалов розничной торговли, ниже будут описаны подобные, главным образом, со ссылкой на кассовые терминалы самообслуживания. Вместе с тем, следует понимать, что изобретение необязательно должно быть ограничено данным частным применением в целевом объеме представленных вариантов осуществления изобретения.

Уровень техники

[2] На сегодняшний день все более распространенным явлением становятся кассы самообслуживания, где покупатели могут сканировать отдельные наименования товаров и осуществлять платеж, главным образом, самостоятельно.

[3] С учетом того, что на упакованных товарах могут быть отсканированы штрих-коды, для свежих продуктов, таких как свежие фрукты, овощи и т.п., пользователям требуется сделать выбор на экране дисплея.

[4] Тем не менее, подобный подход является неточным, поскольку отдельные наименования свежих продуктов часто классифицируются неправильно, непреднамеренно или недобросовестно.

[5] Настоящее изобретение направлено на то, чтобы обеспечить способ, который преодолеет или значительно улучшит, по меньшей мере, некоторые недостатки предшествующего уровня техники или, по крайней мере, предоставит альтернативный вариант.

[6] Следует понимать, что если в данном документе упоминается любая информация предшествующего уровня техники, такая ссылка не означает признания того, что информация составляет часть общеизвестных знаний в данной области техники, в Австралии или любой другой стране.

Краткое описание изобретения

[7] В данном документе предложена система идентификации свежих продуктов для кассового терминала розничной торговли для визуальной идентификации свежих продуктов, где система обучается с использованием машинного обучения. Система может быть интегрирована с известной системой кассовых терминалов, чтобы иметь возможность выводить один или несколько прогнозируемых типов свежих продуктов на кассе на экране дисплея для выбора покупателем.

[8] Компонент системы формирования изображений может содержать механический держатель, который включает средства освещения (как правило, светодиодные средства освещения), при необходимости подходящий однородный фон и камеру видимой области спектра.

[9] Камера захватывает изображение свежих продуктов, представленных для классификации типа продукта.

[10] В вариантах осуществления изобретения, система применяет контролируемое машинное обучение посредством оптимизации нейронной сети.

[11] Как будет более подробно описано ниже, настоящая система обучается особым образом, чтобы устранить определенные ограничения, характерные для систем идентификации свежих продуктов, при сохранении желаемых или подходящих показателей точности определения.

[12] В частности, точность определения может быть повышена с использованием больших наборов данных, чтобы учитывать неконтролируемые внешние условия у большого количества розничных продавцов. Однако, проблематично, что подобные большие наборы данных могут быть недоступны, особенно для розничных продавцов, имеющих в наличии относительно небольшое количество отдельных наименований свежих продуктов.

[13] Кроме того, где доступны большие наборы данных, невозможно в альтернативных решениях обобщить эффективность функционирования для сцен, в которых данные не были собраны. Рассмотренный способ решает данную проблему посредством описания того, как собирать и расширять данные таким образом, чтобы можно было создать модель, которая будет распространяться на широкое разнообразие внешних условий, наблюдаемых при применении кассового терминала.

[14] Более того, настоящая система идеально подходит для минимизации требований к вычислениям с точки зрения обработки и хранения, что позволяет сконструировать систему с низкими затратами. Система дополнительно может решить проблему, связанную с ограничениями разрешения изображений (например, вплоть до 740 x 480 пикселей).

[15] Кроме того, колебания яркости и цвета освещения на кассовых терминалах могут повлиять на формирование изображений отдельных наименований свежих продуктов.

[16] В частности, в одном или предпочтительном варианте осуществления изобретения, настоящая система захватывает и использует два вектора признаков, выделенных из данных изображений свежих продуктов, включающие вектор признаков цветовой гистограммы и текстурные признаки Харалика, которые объединяются, чтобы сформировать полный вектор признаков. Комбинация данных двух векторов признаков и способ их применения были найдены в ходе проведения эксперимента для обеспечения достаточной точности и других преимуществ, учитывая ограничения, характерные для систем идентификации продуктов розничной торговли.

[17] В вариантах осуществления изобретения, гистограмма объединяется в различные полосы большей ширины для снижения длины вектора признаков цветовой гистограммы, чтобы позволить высокопроизводительным моделям обучаться с меньшими наборами обучающих данных. Это важный фактор для мелких и средних продавцов свежих продуктов, где нецелесообразно собирать большие количества обучающих изображений. Таким образом, производительность может быть улучшена на малом, фиксированного размера наборе данных путем уменьшения признаков, доступных для модели обучения. В вариантах осуществления изобретения, количество полос может быть оптимизировано для обеспечения оптимальной точности нейронной сети.

[18] Кроме того, в вариантах осуществления изобретения, используется 14 текстурных признаков Харалика, включающих: второй угловой момент, контраст, корреляцию, сумму квадратов: дисперсию, обратный разностный момент, суммарное среднее, суммарную дисперсию, суммарную энтропию, энтропию, разностную дисперсию, разностную энтропию, первую информационную меру корреляции, вторую информационную меру корреляции, максимальный коэффициент корреляции.

[19] Более того, подвыборка данных текстурных признаков может быть снова произведена при оптимизации точности нейронной сети, чтобы устранить ограничения набора образцов и вычислений.

[20] Нейронная сеть обучается с использованием набора обучающих данных свежих продуктов, который, как упоминается выше, для отдельных продавцов бакалейных товаров может быть ограничен в количестве. Например, обучающие данные для набора образцов могут представлять собой только те отдельные наименования свежих продуктов, которые обычно хранятся определенной розничной торговой точкой.

[21] Полный вектор признаков рассчитывается для каждого изображения, который затем применяется для оптимизации нейронной сети, включая нейронные веса и структуру.

[22] Ранее обученная, система выполняет развертывание для захвата изображений неизвестных входящих отдельных наименований свежих продуктов, относящихся к категории набора обучающих данных, представленных в кассовом терминале. Развернутая система аналогичным образом создает полный вектор признаков из захваченного изображения и генерирует прогноз, используя обученную нейронную модель. Прогноз затем передается на кассу для обработки с применением определенного протокола взаимосвязи.

[23] Соответственно, согласно данной схеме, потребителю нет необходимости совершать выбор среди отдельных наименований свежих продуктов на экране, но он может просто поместить отдельное наименование свежих продуктов перед камерой для идентификации. В вариантах осуществления изобретений, где отдельные наименования свежих продуктов не могут быть определены с определенной степенью точности, развернутая система может передавать множество возможных классификаций кассе, которая затем может представить подвыборку отдельных наименований свежих продуктов на экране для выбора потребителем.

[24] Следует отметить, что конкретная информация о цифровой подписи/цветовых гистограммах каждой категории свежих продуктов не содержится в оптимизированной модели нейронной сети после развертывания в системе развертывания. Соответственно, системе развертывания не требуется большая память или значительная вычислительная мощность для идентификации категории свежих продуктов, предоставляя преимущества в уменьшении объема вычислений и хранения, и следовательно, стоимости.

[25] В EP 0685814 A2 (D1) представлена система распознавания продуктов. Согласно D1, обработанное изображение сравнивается с эталонными изображениями, в которых распознавание объекта осуществляется, когда происходит совпадение. Однако, в противопоставление, настоящая система позволяет избежать развертывания эталонных изображений в развернутых системах, требуя только обеспечения обученной модели нейронной сети, таким образом, снижая вычислительную память развернутых систем.

[26] Кроме того, хотя в D1 упоминаются признаки изображений, включая цвет и текстуру, в D1 не используется полный вектор признаков, содержащий сочетание лишь вектора цветовых признаков и вектора текстурных признаков, как это происходит в настоящей системе.

[27] Более того, в D1 не предпринимаются попытки к снижению вычислительных требований и, следовательно, объединению цветовой гистограммы, как в настоящей системе, не говоря уже об оптимизации количества и ширины полос для обеспечения оптимальной точности, чтобы устранить ограничения набора обучающих данных. Кроме того, D1 не раскрывает подвыборку текстурных признаков для дальнейшего устранения подобных ограничений.

[28] Соответственно, с учетом вышеизложенного, в данном документе представлено множество вариантов осуществления изобретения. Раскрыты способ и система для категоризации изображений, включающие, в предобработке, запуск с первого ряда изображений, создание второго ряда изображений посредством цифровых операций с первым рядом изображений, выделение признаков из второго ряда изображений и создание модели классификации путем обучения нейронной сети на основании второго ряда изображений, где модель классификации обеспечивает процентную вероятность категоризации изображений, реализацию модели классификации в процессоре, принимающем изображение для категоризации, при этом процессор связан с системой кассовых терминалов, процессор использует модель классификации для обеспечения вывода в системе кассовых терминалов процентной вероятности категоризации изображений.

[29] В соответствии с одним вариантом осуществления изобретения представлены способы и системы идентификации свежих продуктов для кассового терминала розничной торговли, включающие: по меньшей мере, одну камеру видимой области спектра; процессор в рабочей связи с камерой видимой области спектра, и запоминающее устройство для хранения цифровых данных, запоминающее устройство в рабочей связи с процессором через системную шину; и интерфейс кассы, в которой, при использовании: система является обучаемой, при этом: процессор выполнен с возможностью получения данных изображений свежих продуктов из набора обучающих данных свежих продуктов с помощью камеры видимой области спектра; запоминающее устройство содержит управляющее устройство для создания вектора признаков, выполненное с возможностью генерирования полного вектора признаков для каждого изображения свежих продуктов, полный вектор признаков, включающий сочетание: вектора признаков цветовой гистограммы; и вектора текстурных признаков; вектора доминирующего цветового сегмента; предварительно обученной сверточной нейронной сети, функционально подключенной к процессору; запоминающее устройство включает управляющее устройство оптимизации нейронной сети для оптимизации модели нейронной сети, управляющее устройство оптимизации нейронной сети выполнено с возможностью оптимизации модели нейронной сети с использованием полного вектора признаков; и оптимизированная модель нейронной сети развертывается в системе, и система является развертываемой для прогнозирования классификаций свежих продуктов, где: процессор выполнен с возможностью получения данных изображений через камеру видимой области спектра; управляющее устройство для создания вектора признаков выполнено с возможностью расчета полного вектора признаков для данных изображений, включающего вектор признаков цветовой гистограммы и вектор текстурных признаков, и ввода полного вектора признаков в нейронную сеть, оптимизированную с моделью нейронной сети, для вывода прогноза классификации свежих продуктов; и система выводит прогноз классификации свежих продуктов через интерфейс кассы.

[30] В другом варианте осуществления изобретения, представлены способы, реализуемые в системах категоризации изображений, включающие запуск с первого ряда изображений, создание второго ряда изображений путем осуществления цифровых операций с первым рядом изображений, выделение признаков из второго ряда изображений в соответствии с:

a. предварительно обученной сверточной нейронной сетью (СНС), обученной на большом наборе данных, применяемой в качестве детектора признаков;

b. гистограммой цветового пространства;

c. текстурными признаками по числовому вектору признаков; и

d. доминирующей цветовой сегментацией

и обучение нейронной сети на основании признаков, выделенных для создания модели классификации, где модель классификации обеспечивает процентную вероятность категоризации изображений.

[31] Также представлены способы и системы для категоризации продуктов, включая загрузку с первого ряда изображений, создание второго ряда изображений посредством цифровых операций с первым рядом изображений, выделение признаков из второго ряда изображений, где выделение признаков включает использование предварительно обученной сверточной нейронной сети (СНС) в качестве выделителя признаков и затем создание модели классификации путем обработки второго ряда изображений с помощью нейронной сети, при этом модель классификации обеспечивает процентную вероятность категоризации изображений.

[32] Более того, представлены способы, реализуемые в системах, внешних относительно системы кассовых терминалов, где внешняя система включает процессор и захватывает изображение, а также применяет модель классификации, реализованную в процессоре, которая обеспечивает в качестве выходных оценок процентную вероятность категории изображения, и внешняя система создает форматированную взаимосвязь в качестве выходных данных, содержащих протокол для системы кассовых терминалов, при этом система кассовых терминалов принимает форматированную взаимосвязь выходных данных посредством модели классификации внешних систем.

[33] Кроме того, представлены способ и система для расширения набора данных изображений, включающие, в предобработке, запуск с первого ряда изображений, сегментацию первого ряда изображений, создание второго ряда изображений посредством цифровых операций с первым рядом изображений, выделение признаков из второго ряда изображений и обработку второго ряда изображений с помощью нейронной сети, и, следовательно, создание модели классификации для развертывания, где сегментация изображения при развертывании не осуществляется.

[34] Дополнительными признаками предусматривается, что вектор признаков цветовой гистограммы может быть нормализован по масштабу.

[35] Масштаб может составлять от 0 до 1.

[36] Управляющее устройство для создания вектора признаков может быть выполнено с возможностью объединения вектора признаков цветовой гистограммы в дискретные полосы.

[37] Управляющее устройство оптимизации нейронной сети может быть выполнено с возможностью оптимизации количества дискретных полос.

[38] Дискретные полосы могут содержать 5-100 полос.

[39] Дискретные полосы могут содержать 10 полос.

[40] Вектор текстурных признаков может включать множество текстурных признаков.

[41] Текстурные признаки могут содержать, по меньшей мере, подмножество, состоящее из второго углового момента, контраста, корреляции, суммы квадратов: дисперсии, обратного разностного момента, суммарного среднего, суммарной дисперсии, суммарной энтропии, энтропии, разностной дисперсии, разностной энтропии, первой информационной меры корреляции, второй информационной меры корреляции, максимального коэффициента корреляции.

[42] Управляющее устройство оптимизации нейронной сети может быть выполнено с возможностью выбора подмножества из множества текстурных признаков для оптимизации точности нейронной сети.

[43] Подмножество из множества текстурных признаков может включать от 8 до 12 текстурных признаков.

[44] Текстурные признаки могут содержать 10 векторов признаков.

[45] Управляющее устройство оптимизации нейронной сети может быть выполнено с возможностью оптимизации количества нейронов скрытого слоя.

[46] Количество нейронов может составлять от 100 до 120.

[47] Количество нейронов может составлять 116.

[48] Также раскрыты другие аспекты изобретения.

Краткое описание чертежей

[49] Несмотря на любые другие формы, которые могут попадать в объем настоящего изобретения, предпочтительные варианты осуществления изобретения в настоящий момент будут описаны только в качестве примера со ссылкой на прилагаемые чертежи, в которых:

[50] Фигура 1 отображает систему идентификации свежих продуктов для кассового терминала розничной торговли 100 в соответствии с вариантом осуществления изобретения;

[51] Фигуры 2-6 отображают приводимые в качестве примера векторы цветовой гистограммы и соответствующую объединенную цветовую гистограмму для различных типов фруктов;

[52] Фигура 7 отображает приводимые в качестве примера векторы признаков Харалика для некоторых фруктов фигур 2-6;

[53] Фигура 8 отображает результаты теста по ней и оптимизацию слоя;

[54] Фигура 9 отображает результаты теста по оптимизации цветовой полосы;

[55] Фигура 10 отображает результаты теста по оптимизации текстурного признака; и

[56] Фигура 11 отображает результат теста показателей точности определения.

[57] Фигура 12 показывает обработку 1-го ряда изображений для создания 2-го ряда изображений.

[58] Фигура 13 показывает выделение признаков 2-го ряда изображений и процесс обучения для создания модели категоризации на основании 2-го ряда изображений.

[59] Фигура 14 показывает развернутую модель категоризации, используемую с системой кассовых терминалов.

Описание вариантов осуществления изобретений

[60] На фигуре 1 показана система идентификации 100 свежих продуктов для кассового терминала розничной торговли, которая обучается с целью прогнозирования классификаций свежих продуктов для терминалов самообслуживания.

[61] Система 102 включает процессор 105 для обработки цифровых данных. Запоминающее устройство 106 находится в рабочей связи с процессором 105 через системную шину. Запоминающее устройство 106 сконфигурировано для хранения цифровых данных, включая инструкции кода компьютерной программы и связанные данные. Соответственно, при использовании, процессор 105 извлекает данные инструкции кода компьютерной программы и связанные данные из запоминающего устройства 106 для их интерпретации и выполнения.

[62] В вариантах осуществления изобретения, показанных на фигуре 1, инструкции кода компьютерной программы запоминающего устройства 106 представлены логически разделенными в различных управляющих устройствах кода компьютерной программы, которые будут более подробно описаны ниже.

[63] При использовании, система 102 обучается с помощью набора обучающих данных свежих продуктов 101.

[64] В этом отношении система 102 может работать как система обучения и развернутая система 114 в соответствующих операциях, которые могут включать совместно используемые или отдельные компоненты. Как упоминалось выше, развернутая система 114 может принимать вид недорогого вычислительного устройства, обладающего низкими требованиями по обработке и хранению.

[65] Система 102 может включать механический держатель 115 для захватывания данных изображений. В этом отношении держатель 115 может включать камеру видимой области спектра 104 и связанные с ней средства освещения, и соответствующую однородную поверхность фона (не показана) для оптимизации процесса захвата изображения. Соответственно, в ходе обучения, использования отдельное наименование свежих продуктов будет размещено перед камерой видимой области спектра 104 для захвата данных изображения из него или, в другом варианте, загружено из базы данных изображений.

[66] В ходе процесса обучения процессор 105 сохраняет набор данных изображения 107, захваченного с помощью камеры 104, из набора обучающих данных свежих продуктов 101 в запоминающем устройстве 106. В вариантах осуществления изобретения, для некоторых продавцов бакалейных товаров, продавец бакалейных товаров может предоставить набор образцов каждого типа продуктов системе для обучения.

[67] Запоминающее устройство 106 может включать управляющее устройство кадрирования и сегментации изображения 108 для кадрирования и сегментации части изображения, содержащего свежие продукты, из однородного фона. В вариантах осуществления изобретения, при сегментации изображения может применяться алгоритм Оцу.

[68] Управляющее устройство кадрирования и сегментации изображения 108 изолирует изображение отдельного наименования свежих продуктов от однородного фона для использования при создании полного вектора признаков, который содержит только отдельное наименование свежих продуктов предпочтительно на черном фоне. Данный процесс сводит к минимуму любую фоновую помеху и сокращает обучение, необходимое модели нейронной сети, позволяя использовать меньший набор обучающих данных 101 для достижения хороших результатов прогнозирования.

[69] После чего, управляющее устройство коррекции яркости 109 может регулировать яркость данных изображения.

[70] Яркость может быть скорректирована как часть процесса сбора данных и прогнозирования путем нормализации средней яркости в оттенках серого данных RGB изображения. RGB изображения могут конвертироваться в эквиваленты в оттенках серого с использованием стандартного преобразования цвета в оттенки серого. Выбирается заданная величина средней яркости изображения в оттенках серого, как правило, половина динамического диапазона, для нормализации всех RGB изображений, чтобы иметь приблизительно равную среднюю яркость в оттенках серого.

[71] Коррекция яркости может включать следующие этапы вычислений:

Пусть представляет изображение пикселей, где представляет каждый цветовой компонент RGB изображения.

Пусть представляет пикселей репрезентации в серых оттенках представляет среднюю яркость

Пусть заданное значение средней яркости в серых оттенках.

Где I_LC представляет собой изображение с откорректированной яркостью:

[72] Запоминающее устройство 106 может дополнительно содержать управляющее устройство для создания вектора признаков, сконфигурированное для создания полного вектора признаков 110, включающего комбинацию вектора признаков цветовой гистограммы 111 и вектора текстурных признаков Харалика 112.

Цветовая гистограмма

[73] Цветовая гистограмма каждого отдельного наименования свежих продуктов применяется в качестве признака вектора цифровой подписи отдельного наименования свежих продуктов. Набор цветовых гистограмм вместе с текстурными признаками используется для обучения модели нейронной сети 113.

[74] На фигурах 2-6 показаны приводимые в качестве примера цветовые RGB гистограммы для различных типов яблок.

[75] Цветовая гистограмма может быть создана путем захвата RGB изображения и формирования гистограммы с использованием всех возможных значений интенсивности цвета в качестве бинов оси х, и сбора частоты появления для каждой интенсивности.

[76] Цветовая гистограмма может быть нормализована путем масштабирования максимальной частоты объединенной цветовой гистограммы до 1. Все другие значения гистограммы линейно уменьшаются с использованием того же коэффициента масштабирования таким образом, что все значения цветовой гистограммы составляют от 0 до 1.

[77] В предпочтительном варианте осуществления изобретения, ширина бина гистограммы увеличивается в процессе ‘объединения’. Данный процесс уменьшает длину вектора признаков цветовой гистограммы, позволяя высокопроизводительной модели обучаться с использованием меньших наборов обучающих данных.

[78] Это важное свойство для мелких и средних продавцов свежих продуктов в случаях, когда нецелесообразно собирать большие ряды изображений. Производительность может быть улучшена на малом, фиксированного размера наборе данных путем уменьшения признаков, доступных для модели обучения. Процесс объединения осуществляется путем уменьшения количества бинов в цветовой гистограмме. Бины в полноцветной гистограмме могут быть размещены последовательно и распределены равномерно относительно каждого большего бина. Частоты большего бина могут быть рассчитаны с помощью усреднения частоты в меньших бинах, отнесенных к нему. Результатом является объединенная цветовая гистограмма, как показано на Фигурах 2В-4В.

[79] В вариантах осуществления изобретения, количество/ширина бинов может быть оптимизирована при оптимизации нейронной сети.

[80] Расчет цветовой гистограммы и объединенной цветовой гистограммы может включать:

Полная гистограмма:

Пусть Ixyz представляет изображение x x y пикселей, где z = {r, g, b} представляет каждый цветовой компонент RGB изображения.

Скобки Айверсона здесь определяются как:

В случаях, когда n представляет собой глубину, бины гистограммы рассчитываются как:

Тогда три компонента вектора гистограммы представляют собой:

Пусть максимально нормализованным вектором цветовой гистограммы является:

Вектор полной гистограммы затем строится как:

FH = ()

Объединенная гистограмма:

В случаях, когда b представляет собой количество полос: ширина полосы рассчитывается как: n =

Бины объединенной гистограммы рассчитываются как:

Примечание: b-1 будет средним из (m – 1) компонентов, если n не является целым числом, кратным b.

Тогда три компонента вектора объединенной гистограммы представляют собой:

BR = ()

BG = ()

BB = ()

Вектор объединенной гистограммы затем строится как:

BH=( , , )

[81] В вариантах осуществления изобретения, используются 14 текстурных признаков (например, текстурные признаки Харалика), включающие: второй угловой момент, контраст, корреляцию, сумму квадратов: дисперсию, обратный разностный момент, суммарное среднее, суммарную дисперсию, суммарную энтропию, энтропию, разностную дисперсию, разностную энтропию, первую информационную меру корреляции, вторую информационную меру корреляции, максимальный коэффициент корреляции. Математический расчет данных признаков является известным уровнем техники.

[82] Данные 14 текстурных признаков объединяются в вектор и используются как набор признаков для обучения нейросетевого предиктора. В частности, на фигуре 7 показан вектор текстурных признаков, собранный для каждой из разновидностей яблок, упомянутых выше.

[83] Полный вектор признаков 110 затем используется для оптимизации модели нейронной сети 113.

[84] Выходные данные прогнозирования системы 100 могут быть отправлены с помощью интерфейса на терминал самообслуживания 119 на экран 120 для отображения на экране прогнозируемых отдельных наименований. Подобное прогнозирование может включать перекрестные ссылки с базой данных продуктов 122 для целей проверки. Как упомянуто выше, в случаях, когда отдельное наименование не может быть спрогнозировано с определенной степенью точности, интерфейс подвыборки 121 может быть представлен на экране 120, включающем вероятных кандидатов из набора отдельных наименований продуктов для выбора пользователем.

Оптимизация нейронной сети – приводимые в качестве примера тестовые результаты

[85] В ходе оптимизации, могут изменяться следующие параметры: количество слоев нейронной сети, количество узлов нейронной сети в каждом слое, количество полос цветовой гистограммы, количество текстурных признаков.

[86] Система может автоматизировать оптимизацию данных параметров для оптимизации точности определения модели нейронной сети 113.

[87] Например, для приводимых в качестве примера тестовых результатов, представленных ниже, для цветовой гистограммы и вектора текстурных признаков, представленного на фигурах 2-7, используется 2866 изображений в 6 категориях, включающих:

[88] 1. Яблоки – Granny Smith

[89] 2. Яблоки – Pink Lady

[90] 3. Яблоки – Red Delicious

[91] 4. Яблоки – Royal Gala

[92] 5. Мандарины - Imperial

[93] 6. Апельсины - Navel

[94] В процессе обучения, как будет более подробно описано ниже, система оптимизировала модель нейронной сети 113 для включения одного скрытого слоя, содержащего 137 нейронов скрытого слоя и использующего все текстурные признаки и 10 полос для объединенной цветовой гистограммы.

[95] Для иллюстрации процесса оптимизации на фигурах 8-10 представлены различные графики производительности.

[96] Для каждой из различных конфигураций модели, разработаны 22 модели с использованием случайного

[97] выбора обучающих, валидационных и тестовых наборов. Производительность затем была проверена с использованием тестового набора, где следующие значения рассчитаны и нанесены на график с применением 22 прогонов:

a. Среднее значение

b. 95% доверительный интервал для среднего значения

c. Минимальное значение.

[98] Выбор лучшей конфигурации модели нейронной сети основывается на данных параметрах

где наиболее эффективная модель характеризуется наибольшим средним значением, наименьшим доверительным интервалом и минимальным значением, близким к нижнему доверительному интервалу. Производительность модели сравнивается на основании данных параметров. Выбор модели на основании данного подхода обеспечивает решение для нахождения оптимальной производительности с небольшим набором данных. Обычным решением для увеличения производительности модели является увеличение размера набора данных, тем не менее, как упоминалось выше, в частности для рынков свежих продуктов, только ограниченный набор обучающих данных свежих продуктов 101 может быть доступен. Соответственно, для настоящей заявки, невозможно адоптировать традиционный подход увеличения размера набора обучающих данных для оптимизации точности.

Оптимизация скрытого слоя

[99] На фигуре 8 показана оптимизация скрытого слоя, при которой, как можно видеть, хотя средняя производительность довольно стабильна и достигает максимума при ~78% при использовании 116 скрытых нейронов, применение приблизительно 140 скрытых нейронов приводит к производительности модели, меняющейся в широком диапазоне.

Оптимизация цветовой полосы

[100] На фигуре 9 дополнительно показано, почему оптимизация цветовой полосы важна для достижения оптимальной производительности с небольшим набором обучающих данных свежих продуктов 101. В частности, при использовании полных 256 цветовых полос, производительность достигает пика со средним значением ~78% при 116 нейронах скрытого слоя. С 10 цветовыми полосами производительность достигает пика в ~87%.

Оптимизация текстурного признака

[101] На фигуре 10 показана оптимизация количества текстурных признаков.

[102] Хотя модели с 5, 10 и 14 текстурными признаками имеют среднюю производительность ~87%, модели с 10 текстурными признаками демонстрируют более постоянную производительность и, следовательно, будут лучшим выбором для данного конкретного применения.

[103] На фигуре 11 показана конечная производительность системы 100 согласно тесту, приводимому в качестве примера.

[104] Как указано выше, представлено множество вариантов осуществления способов и систем для категоризации изображений. Выше подробно рассмотрен один вариант осуществления изобретения, который использует два вектора признаков, выделенных из данных изображения свежих продуктов, включающие вектор признаков цветовой гистограммы и текстурные признаки Харалика, которые объединяются для формирования полного вектора признаков. То есть выше представлены способы и системы, использующие два процесса выделения признаков управляющего устройства для создания вектора признаков. В соответствии с другим вариантом, представлено управляющее устройство для создания вектора признаков, которое обрабатывает набор данных изображения согласно следующим процессам выделения признаков:

a. предварительно обученной сверточной нейронной сети (СНС), обученной на больших несвязанных и/или отдельных наборах данных, применяемой в качестве детектора признаков;

b. гистограмме цветового пространства;

c. текстурным признакам по числовому вектору признаков; и

d. доминирующей цветовой сегментации.

[105] Таким образом, управляющее устройство для создания вектора признаков, влияющее на исполнение модели категоризации, может быть реализовано в процессоре, используемом при развертывании.

[106] Как указано выше, система развертывания 114, включающая камеру для захвата изображения в месте развертывания, может принимать форму недорогого вычислительного устройства с низкими требованиями по обработке и хранению. Система развертывания 114 может быть установлена вне системы кассовых терминалов или интегрирована в систему кассовых терминалов. Как бы то ни было, внешняя или интегрированная, для того, чтобы представленные сейчас системы и способы были актуальны в коммерческой среде, предпочтительным является обеспечение быстрой, надежной и недорогой категоризации изображения в процентной вероятности. Существующие системы кассовых терминалов могут взаимодействовать с представленными сейчас системами и способами внешним образом. Таким образом, рассмотренные сейчас системы и способы разработаны для связи с системами кассовых терминалов посредством представленного протокола процентной вероятности категоризации изображения.

[107] Как указано выше, для того, чтобы обучить нейронную сеть на входящих изображениях, предусматривается набор обучающих данных. На фигуре 1, цифровые операции, включающие кадрирование и сегментацию изображения 108 и коррекцию яркости 109, осуществляются на наборе обучающих данных. Дополнительные детали системы обучения представлены на фигуре 12, где набор данных изображений представляет собой “2-й ряд изображений”, созданный в результате цифровых операций с “1-м рядом изображений”.

[108] На фигуре 12 показана предобработка 1-го ряда изображений для создания 2^ого ряда изображений. 1-й ряд изображений, к примеру, может составлять 100 изображений одного типа фруктов и может быть представлен на этапах 150 и 152. 1-й ряд изображений может быть дополнительно обработан, включая изображения продуктов с удаленным фоном 154 для создания маски изображений продуктов 156. Изображения 152 и 156 затем подвергаются методам аугментации 158, включая переворот, вращение, сдвиг, увеличение и наклон, а также аугментацию, чтобы решить проблемы, связанные с освещением и изменением продукта, включая цвет освещения, смещение яркости и шум отклонения в цвете. Данный процесс аугментации может расширить исходный набор изображений > 10x. Данный расширенный набор изображений продуктов может быть объединен с набором фонов, включая пустые сцены, в которых модель классификации разворачивается путем наложения изображений случайным или неслучайным образом для моделирования сцены 160, чтобы создать 2-й расширенный ряд изображений продуктов 162. Набор фонов может содержать >10 сцен и включать различные условия освещения для обеспечения надежности в дополнение к аугментации. Чтобы максимизировать производительность в ожидаемых внешних условиях развертывания, набор фонов может быть расширен, как описано, включая освещение и отклонение в цвете. Набор фонов может являться исчерпывающим представлением всех сред, ожидаемых при развертывании. Из исходного 1-го ряда изображений, например, 100 изображений, с расширением изображения продукта и моделированием сцены может быть получено > 10000 изображений с достаточной количественной изменчивостью (которые могут являться сегментированными изображениями или несегментированными изображениями) для обучения нейронной сети, таким образом, нейронная сеть является устойчивой к изменению освещения, фона и изменению натурального продукта.

[109] Другие типы изображений также могут быть обработаны, как описано выше, для моделирования условий без использования дорогостоящих процессов сбора данных. Например, может применяться моделирование мультимножества на отдельных наименованиях с использованием изображений текстуры мультимножества, смешанных с маскированными изображениями продуктов, для обеспечения надежной классификации, в ходе которой продукты находятся в полупрозрачной упаковке. Более того, может применяться ручное моделирование, например, с продуктом, используя изображения рук в сочетании с масками. Для продуктов, которые не являются свежими продуктами, таких как сыпучие нерасфасованные продукты, могут применяться те же процессы. Преимущество состоит в том, что отдельные наименования без штрих-кодов могут быть быстро обработаны на месте развертывания, как если бы они имели штрих-код.

[110] Теперь обратимся к фигуре 13, на фигуре 13 изображено выделение признаков 2-го ряда изображений и процесс обучения для создания модели категоризации на основании 2-го ряда изображений. Процесс выделения признаков может включать применение предварительного обучения сверточной нейронной сети 180а, СНС, использование извлечения высокоуровневых признаков. СНС может быть предварительно обучена на большом наборе данных, к примеру, миллионах изображений, и затем усечена для обеспечения выделения/определения общих признаков. Предпочтительно выбрать высокопроизводительную архитектуру с низкой вычислительной мощностью, например, архитектуру MobileNet. Данных подход обеспечивает намного более высокую производительность, поскольку предварительно обученная СНС способна идентифицировать высокоуровневые признаки в различных сценах. В сочетании с более общими признаками, такими как цвет и текстура, может быть достигнут значительный уровень производительности и обобщения. Следует отметить, что данный подход отличается от известного уровня техники для идентификации продукта, в котором, как правило, архитектура СНС явно обучается на доступном наборе данных. Несмотря на то, что данные архитектуры доказали свою эффективность в широком диапазоне применения, без использования значительного ряда изображений на категорию >> 1000 обучение таких моделей оказывается сложной, и модели не обобщаются.

[111] Созданный 2-й расширенный ряд изображений продуктов 162 принимают таким образом, чтобы можно было выделить количественные признаки. Как рассмотрено выше, выделение признаков может включать предварительно обученную нейронную сеть (СНС), обученную на большом наборе данных, отдельном от 1-го набора изображений, используемую в качестве детектора признаков 180b, гистограмму цветового пространства 182, такую как цветовая гистограмма R, G, B (где цветовые полосы могут быть оптимизированы), текстурные признаки по числовому вектору признаков 184, такие как текстурные признаки, использующие текстурные признаки Харалика, и доминирующую цветовую сегментацию 186, такую как доминирующая цветовая сегментация с использованием цветовой сегментации с применением К-средних, и предварительно обученную СНС 180b, которая, как упомянуто выше, представляет собой предварительно обученную сверточную нейронную сеть (СНС), обученную на большом наборе данных.

[112] Полносвязная нейронная сеть прямого распространения 188 обучается на признаках, выделенных из входящих изображений 162. Нейронная сеть прямого распространения может сгенерировать оценку для каждой категории для выходных данных модели классификации 190, которая может работать на управляющем устройстве для создания вектора признаков, чтобы сделать прогнозирования изображений, полученных на месте развертывания. Модель классификации 190 может быть реализована как управляющее устройство для создания вектора признаков и встроена в недорогой процессор 105 на фигуре 1. В соответствии с коммерческими аспектами представленных сейчас систем и процессов, преимуществом использования модели категоризации, полученной посредством описанных процессов, является то, что применение той же модели категоризации требует небольшой вычислительной мощности для быстрого вывода в месте развертывания и не требует хранения изображений или подписей данных.

[113] Обращаясь к фигуре 14, на фигуре 14 изображена развернутая модель категоризации при использовании с системой кассовых терминалов, то есть представленные способы и системы могут включать систему 194, внешнюю относительно системы кассовых терминалов 196 в месте развертывания, где внешняя система включает процессор 105 и захватывает изображение камерой видимой области спектра 198, например, неизвестного отдельного наименования свежих продуктов 200, и использует модель классификации, реализованную в процессоре 105, которая обеспечивает в качестве выходных данных оценки для процентной вероятности категории изображения. В ходе выделения признаков изображения при развертывании системы кассовых терминалов используются те же параметры и конфигурация, что и в процессе обучения. В других случаях, выделение развернутых признаков может включать различные варианты, например, несегментацию, описанную ниже. Данные обучения хранятся в облаке, а не локально. Только небольшая обученная модель категоризации реализована в процессоре 105, следовательно, развернуто управляющее устройство для создания вектора признаков, которое является частью объема данных. Данные обучения для 100 категорий, к примеру, могут составлять > 40 Гбайт, где на развернутую модель и базу исходного кода приходится < 150 Мбайт.

[114] Внешняя система 194 может создавать форматированную взаимосвязь в качестве выходных данных, включающих протокол для системы кассовых терминалов, где система кассовых терминалов 196 принимает форматированную взаимосвязь выходных данных с помощью модели классификации внешних систем. На основании предобработки и запуска с первого ряда изображений, может быть проведена сегментация первого ряда изображений, где сегментация изображения, полученного от камеры видимой области спектра 198, не осуществляется при развертывании. В альтернативном варианте, камера видимой области спектра 198 может представлять собой 3-D камеру, следовательно, сегментация не проводится при развертывании, но вместо этого достигается с помощью определения порогового значения глубины. Могут быть выполнены различные корректировки для ограничения объема обработки, необходимого при развертывании, таким образом, обеспечивая быструю обработку. Настоящие системы и способы предназначены для быстрой работы и недорогих технических средств видеосистемы 194.

[115] Сегментация (выделение только маскированных изображений продуктов на переднем плане без фона), как отмечено, может влиять на эффективность обработки в месте развертывания. Как было упомянуто, прогнозирование может применяться на несегментированных или сегментированных изображениях. Для сегментированных изображений не требуется моделирование фона. Надежность сегментации зависит от подхода: вычитание порогового значения фона: создается модель (например, Guassian, KNN (алгоритм k-ближайщих соседей)) фона с использованием >= 1 изображений. Сравнивается с изображением продуктов для создания маски. Используется стереоскопическое формирование изображения для получения информации глубины и создания маски на основании известной глубины фона. Для несегментированного, для обучения системы распознавания продуктов в различных средах может применяться моделирование сцены.

[116] В другом варианте осуществления изобретения, развернутая система может объединять несколько углов обзора для увеличения статистической дисперсии признаков. Могут быть задействованы несколько камер путем объединения (сшивания) изображений и прохождения через процесс прогнозирования, упомянутый выше. Для увеличения углов обзора могут применяться зеркала, и увеличение дисперсии может использоваться в том же процессе сшивания. Освещение может отсутствовать при автоматическом регулировании выдержки или/и кабеля камеры технологии HDR. Камеру можно откалибровать в режиме реального времени с использованием лазера или внешнего освещения в сканере или специального освещения для калибровки/лазера. Представленные системы и способы могут быть реализованы только для отключения выбора отдельных наименований без штрих-кода, когда не достигается удовлетворительная оценка прогнозирования.

[117] Алгоритмические инструкции для выделения признаков, включающие предварительно обученную СНС вместе с обученной нейронной сетью, могут быть развернуты во внешней системе путем взаимодействия с системой кассовых терминалов, такой как недорогой одноплатный компьютер, или развернуты непосредственно в кассовом терминале, где взаимодействие фактически облегчается.

[118] Как показано на фиг. 13, взаимодействие с системой кассовых терминалов может быть реализовано HTTP-сервером, который отправляет документ в формате JSON для обеспечения процентной вероятности категоризации изображения 200. Используется Ethernet-соединение, но может быть адаптировано для беспроводной локальной сети, последовательного или другого цифрового механизма передачи данных.

[119] Представленные системы и способы могут обеспечить различные варианты прогнозирования. Обнаружение объекта с использованием оценки порогового значения маскированного изображения; инициирование с помощью внешних входных данных (нажата кнопка свежих продуктов, стабильность масштаба); выполнение прогнозирования постоянно, делая результат всегда доступным для внешней системы при необходимости; и/или использование постоянного прогнозирования для оценки наличия продуктов и запуск внешней системы, когда достигается достаточная достоверность результатов. Определенные категории могут не потребоваться, когда они не активны в системе кассовых терминалов. Может быть достигнута минимальная верхняя оценка, таким образом, один или несколько результатов могут отображаться с дополнительным минимально допустимым уровнем показателей для обеспечения ранжированных результатов.

[120] Представленная система включает удобный способ взаимодействия с кассовым терминалом с помощью определенного протокола. Прогнозирования, выполненные устройством, могут храниться в файле в формате нотация объекта JavaScript (JSON), обеспечивая легкую интеграцию в большинство языков программирования. Файл в формате JSON может обслуживаться периодически или по запросу кассового терминала с помощью НТТР-сервера или последовательной связи. Может применяться другая структура данных, например, XML, которая позволяет форматировать следующую информацию.

Таблица 1: Структура JSON Параметр Описание Тип
(type) Тип отклика: Продукт; Нет свежих продуктов; Нет отклика; Низкая оценка; Рука. Полное наименование продукта
(full_name) Полное наименование продукта, например, ‘Apple – Granny Smith’, ‘Tomato – Truss – Cherry’. Категория
(category) Категория верхнего уровня отдельного наименования свежих продуктов, например,
Apple – Granny Smith = “Apple” Вариация 1
(variety_1) Вариация первого уровня.
например, ‘Tomato – Truss – Cherry’ = “Truss” Вариация 2
(variety_2) Вариация второго уровня.
например, ‘Tomato – Truss – Cherry’ = “Cherry” Глобальный уникальный идентификатор Tiliter
(tiliter_id) Идентификатор базы данных Tiliter. PLU-код
(plu) Уникальный номер/а идентификации продукта, связанный с прогнозируемым отдельным наименованием свежих продуктов.
например, Apple – Pink Lady = “[4128, 4130]”
Номера PLU сортируются по соответствующему размеру от наименьшего к наибольшему.
напрмер, Apple – Pink Lady (Small) = 4128; Apple – Pink Lady (Large) = 4130.
Система не различает размер продуктов, поэтому приводятся все возможные номера PLU для типа. Оценка
(score) Оценка прогнозирования 0-100
например, 80 = 80% ▪ Содержит отдельный список "прогнозирований" в формате JSON.
▪ Список сортируется по "оценке" от наибольшей к наименьшей.

Таблица 2: Типы сообщений Тип сообщения Описание Содержания сообщения Нет отклика Отдельное наименование не определено. Оценка = “-1” Низкая оценка Оценка топ-результата составляет < min_score Рука Обнаружена рука. Т.е. категория “Hand” является топ-результатом. Нет свежих продуктов Отдельное наименование определено, но оно не является свежим продуктом, т.е. категория “Non-produce” является топ-результатом. Продукт Общая категория продуктов. Смотри Таблицу 1

[121] Представленные системы и способы обеспечивают масштабируемое решение для идентификации отдельных наименований без штрих-кода, таких как свежие продукты и нерасфасованные отдельные наименования в системе кассовых терминалов с использованием камеры. Представленные решения систем и способов позволяют добавлять новые отдельные наименования. Представленные системы и способы предпочтительно обеспечивают общее решение путем обучения взаимосвязей высокоуровневых признаков, которые могут быть обучены учитывать изменения в освещении, фоне и сезонные изменения. Представленные системы и способы позволяют избежать применения дорогих технических средств и, следовательно, масштабируемы вследствие низкой стоимости реализации. Также, исключается высокая скорость Интернет-соединения и стоимость сервера, которые могут препятствовать использованию облачной службы API.

[122] В вышеприведенном описании, в целях объяснения, использовалась специальная номенклатура для обеспечения полного понимания изобретения. Однако, специалисту в данной области техники будет очевидно, что специфические детали не требуются для практического использования изобретения. Следовательно, приведенные выше описания конкретных вариантов осуществления изобретения представлены с целью иллюстрации и описания. Не подразумевается, что они будут исчерпывающими или ограничивать изобретение описанными конкретными формами; очевидно, что с учетом вышеизложенного возможны многие модификации и вариации. Варианты осуществления изобретения были выбраны и описаны для того, чтобы наилучшим образом объяснить принципы изобретения и его практическое применение, таким образом, они обеспечивают другим специалистам в данной области техники наиболее оптимальное применение изобретения и различных вариантов осуществления изобретения с разными модификациями, которые предусмотрены как наиболее подходящие для конкретного использования. Предполагается, что следующие пункты формулы изобретения и их эквиваленты определяют объем изобретения.

Изобретение относится к системе идентификации продуктов для кассового терминала розничной торговли, которая, в частности, применяет машинное обучение с использованием набора обучающих данных продуктов для визуальной классификации используемого типа продуктов при предоставлении данных изображений, зафиксированных на терминале. Технический результат заключается в категоризации изображений продуктов с использованием машинного обучения. Представлены системы и способы, включающие запуск с первого ряда изображений, создание второго ряда изображений посредством цифровых операций с первым рядом изображений, выделение признаков из второго ряда изображений и создание модели классификации путем обучения нейронной сети на втором ряде изображений, где модель классификации обеспечивает процентную вероятность категоризации изображения, реализацию модели классификации в процессоре и получение изображения для категоризации, где процессор связан с системой кассовых терминалов, при этом процессор использует модель классификации для обеспечения выходных данных процентной вероятности категоризации изображения для системы кассовых терминалов. 5 н. и 17 з.п. ф-лы, 17 ил., 2 табл.

1. Способ категоризации изображений, включающий:

в предобработке

получение множества изображений фонов, на которых должны быть определены товары, в качестве набора фоновых изображений,

получение исходного ряда изображений товара, которые должны быть определены в исходном наборе изображений товара,

маскирование фона изображений в исходном наборе изображений товара для создания набора маскированных изображений товара,

цифровую аугментацию набора маскированных изображений товара для создания расширенного набора маскированных изображений товара, который включает больший ряд изображений маскированных продуктов, чем набор маскированных изображений товара,

наложение каждого изображения расширенного набора изображений товара на каждое из изображений набора фоновых изображений для создания множества новых обучающих изображений как части набора обучающих изображений, набор обучающих изображений, таким образом, обеспечивает количественную изменчивость для обучения нейронной сети,

выделение признаков из набора обучающих изображений и

создание модели классификации путем обучения нейронной сети на наборе обучающих изображений, где модель классификации обеспечивает прогнозирование категоризации изображения;

реализацию модели классификации в процессоре и

получение изображения для категоризации, где процессор связан с системой кассовых терминалов, процессор использует модель классификации на полученном изображении для обеспечения выходных данных прогнозирования категоризации изображения для системы кассовых терминалов.

2. Способ по п. 1, отличающийся тем, что в предобработке предварительно обученная сверточная нейронная сеть (СНС), обученная на больших несвязанных или отдельных наборах данных, применяется в качестве детектора признаков.

3. Способ по п. 1, отличающийся тем, что нейронная сеть включает полносвязную нейронную сеть.

4. Способ по п. 2, отличающийся тем, что выделение признаков включает один или более шагов, выбранных из:

использование предварительно обученного СНС для категоризации изображений;

вычисление гистограммы цветового пространства;

определение текстурных признаков и

выполнение доминирующей цветовой сегментации.

5. Внешняя система обработки и классификации изображений для создания модели классификации и классифицирования изображений, внешних по отношению к системе кассовых терминалов, в которой система обработки и классификации изображений включает процессор, выполненный с возможностью

в предобработке

получения множества изображений фонов, на которых должны быть определены товары, в качестве набора фоновых изображений,

получения исходного ряда изображений товаров, которые должны быть определены в исходном наборе изображений товара,

маскирования фона изображений в исходном наборе изображений товара для создания набора маскированных изображений товара,

цифровой аугментации набора маскированных изображений товара для создания расширенного набора маскированных изображений товара, который включает больший ряд изображений маскированных товаров, чем набор отдельных маскированных изображений товара,

наложения каждого изображения расширенного набора изображений товара на каждое из изображений набора фоновых изображений для создания множества новых обучающих изображений как части набора обучающих изображений, набор обучающих изображений, таким образом, обеспечивает количественную изменчивость для обучения нейронной сети;

выделения признаков из расширенного набора изображений для создания модели классификации путем обучения нейронной сети на расширенном наборе изображений; и

применения модели классификации, реализованной в процессе, для обеспечения в качестве выходных данных прогнозирования категории изображения; и

создания форматированной взаимосвязи в качестве выходных данных, включающих протокол для системы кассовых терминалов, где система кассовых терминалов принимает форматированную взаимосвязь выходных данных посредством модели классификации внешней системы.

6. Система по п. 5, отличающаяся тем, что модель классификации обеспечивает процентную вероятность категоризации изображения.

7. Система по п. 6, отличающаяся тем, что в предобработке нейронная сеть включает предварительно обученную сверточную нейронную сеть (СНС), обученную на больших несвязанных или отдельных наборах данных, используемую в качестве детектора формы и контура.

8. Система по п. 6, отличающаяся тем, что нейронная сеть включает полносвязную нейронную сеть.

9. Система по п. 8, отличающаяся тем, что выделение признаков включает один или более шагов, выбранных из:

использование предварительно обученного СНС для категоризации изображений;

вычисление гистограммы цветового пространства;

определение текстурных признаков и

выполнение доминирующей цветовой сегментации.

10. Способ обработки изображений для создания модели классификации изображений для категоризации изображений продуктов, включающий:

получение множества изображений фонов, на которых должны быть определены товары, в качестве набора фоновых изображений;

получение исходного ряда изображений товаров, которые должны быть определены в исходном наборе изображений товара;

маскирование фона изображений в исходном наборе изображений товара для создания набора маскированных изображений товара;

цифровую аугментацию набора маскированных изображений товара для создания расширенного маскированного набора изображений товара, который включает больший ряд изображений маскированных товаров, чем набор маскированных изображений товара;

наложение каждого изображения расширенного набора изображений товара на каждое из изображений набора фоновых изображений для создания множества новых обучающих изображений как части набора обучающих изображений, чтобы, таким образом, обеспечить количественную изменчивость для обучения нейронной сети;

выделение признаков из набора обучающих изображений, где выделение признаков включает использование предварительно обученной сверточной нейронной сети (СНС) в качестве высокоуровневого идентификатора контура и формы и

создание модели классификации путем обработки второго ряда изображений с помощью нейронной сети, где модель классификации обеспечивает прогнозирование категоризации изображения.

11. Способ по п. 10, отличающийся тем, что создание модели классификации дополнительно включает выделение предварительно обработанных признаков изображений в наборе обучающих изображений.

12. Способ по п. 10, отличающийся тем, что выделение признаков включает один или более шагов, выбранных из:

использование предварительно обученного СНС для категоризации изображений;

вычисление гистограммы цветового пространства;

определение текстурных признаков и

выполнение доминирующей цветовой сегментации.

13. Способ по п. 10, отличающийся тем, что нейронная сеть включает полносвязную нейронную сеть.

14. Способ по п. 10, отличающийся тем, что модель классификации реализуется в процессоре, который является внешним относительно системы кассовых терминалов и который связан с системой кассовых терминалов.

15. Способ обработки набора обучающих изображений для создания модели классификации изображений, включающий:

в предобработке

получение множества изображений сцен, в которых должны быть определены товары, в качестве набора фоновых изображений;

получение исходного ряда изображений товаров, которые должны быть определены в исходном наборе изображений товара;

маскирование фона изображений в исходном наборе изображений товара для создания набора маскированных изображений товара;

цифровую аугментацию набора маскированных изображений товара для создания расширенного набора маскированных изображений товара, который содержит больший ряд маскированных изображений товаров, чем набор маскированных изображений товара;

наложение каждого из изображений расширенного набора изображений товара на каждое из изображений набора фоновых изображений для создания множества новых обучающих изображений как части набора обучающих изображений, набор обучающих изображений, таким образом, обеспечивает количественную изменчивость для обучения нейронной сети;

выделение признаков из расширенного набора изображений и

обработку набора обучающих изображений с помощью нейронной сети для создания модели классификации для развертывания;

где сегментация изображения не осуществляется при развертывании.

16. Способ по п. 15, отличающийся тем, что при развертывании способ включает

захват изображения,

выделение по меньшей мере одного признака из изображения и

применение выделенного признака к нейронной сети модели классификации для создания прогнозирования категоризации изображения.

17. Способ по п. 15, отличающийся тем, что в предобработке выделение признаков осуществляется предварительно обученной сверточной нейронной сетью (СНС), обученной на больших несвязанных или отдельных наборах данных, используемой в качестве детектора формы и контура.

18. Способ по п. 15, отличающийся тем, что нейронная сеть включает полносвязную нейронную сеть.

19. Способ по п. 17, отличающийся тем, что выделение признаков включает один или более шагов, выбранных из:

использование предварительно обученного СНС для категоризации изображений;

вычисление гистограммы цветового пространства;

определение текстурных признаков и

выполнение доминирующей цветовой сегментации.

20. Способ по п. 15, отличающийся тем, что для развертывания модель классификации реализуется в процессоре, который является внешним относительно системы кассовых терминалов и который связан с системой кассовых терминалов.

21. Способ категоризации изображений, включающий:

получение множества изображений сцен, в которых должны быть определены товары, в качестве набора фоновых изображений;

получение исходного ряда изображений товаров, которые должны быть определены в исходном наборе изображений товара;

маскирование фона изображений в исходном наборе изображений товара для создания набора маскированных изображений товара;

цифровую аугментацию набора маскированных изображений товара для создания расширенного набора маскированных изображений товара, который включает больший ряд изображений маскированных товаров, чем набор маскированных изображений товаров;

наложение каждого изображения расширенного набора изображений товара на каждое из изображений набора фоновых изображений для создания множества новых обучающих изображений как части набора обучающих изображений, чтобы, таким образом, обеспечить достаточную количественную изменчивость для обучения нейронной сети;

выделение признаков из изображений во втором наборе изображений в соответствии с одним или более шагами, выбранными из:

использование предварительно обученного СНС для категоризации изображений;

вычисление гистограммы цветового пространства;

определение текстурных признаков и

выполнение доминирующей цветовой сегментации,

и обучение нейронной сети на выделенных признаках для создания модели классификации, где модель классификации обеспечивает прогнозирование категоризации изображения.

22. Способ по п. 21, отличающийся тем, что дополнительно включает:

реализацию модели классификации в процессоре и

получение изображения для категоризации, где процессор связан с системой кассовых терминалов, процессор, использующий модель классификации для обеспечения выходных данных процентной вероятности категоризации изображения для системы кассовых терминалов.