УСТРОЙСТВО И СПОСОБ ПЕРСОНАЛИЗИРОВАННОГО ПОИСКА НА ОСНОВЕ ПРИЗНАКОВ ИЗОБРАЖЕНИЯ ПРОДУКТА Российский патент 2019 года по МПК G06F16/00 G06K9/46 G06N3/02 

ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ

Эта заявка заявляет приоритет заявки на патент Китая № 201510303163,1, поданной 5 июня 2015 г. под названием «PERSONALIZED SEARCH DEVICE AND METHOD BASED ON PRODUCT IMAGE FEATURES», которая посредством ссылки включена в данный документ во всей своей полноте.

Область техники

Настоящее изобретение относится к устройству и способу персонализированного поиска, который основан на признаках изображения продукта, в отрасли электронной торговли.

Предпосылки изобретения

Существующий способ персонализированного поиска в целом выполняет извлечение таких признаков как пользователи, продукты, семантика места действия, статистика и тексты, и затем получает окончательный результат согласно различным алгоритмам поиска и ранжирования. Среди существующих способов поиска не существует такого способа персонализированного поиска, который основан на поведении пользователей, осуществляющих просмотр изображений продуктов.

Сущность изобретения

Настоящее изобретение предусматривает устройство персонализированного поиска и способ персонализированного поиска на основе признаков изображения продукта, которые используют нейронную сеть для извлечения векторов глубоких абстрактных семантических признаков изображений продукта согласно изображениям продукта в отрасли электронной торговли, классифицируют поведение пользователя при просмотре в категориях, вычисляют вес заинтересованности пользователя для каждой категории согласно извлеченным векторам глубоких абстрактных семантических признаков и получают результат ранжирования пользователя для каждой категории в соответствии с весом заинтересованности пользователя для этой категории, который используют для персонализированного поиска и, таким образом, улучшают впечатление пользователя во многих измерениях.

Настоящее изобретение предусматривает устройство персонализированного поиска на основе признаков изображения продукта, содержащее:

модуль извлечения признаков, выполненный с возможностью извлечения, с применением модели нейронной сети, вектора абстрактных семантических признаков изображения по категории,

который извлекает признак гистограммы направленных градиентов (HOG) из изображения посредством перевода изображения в оттенки серого, вычисления градиента каждого пикселя в изображении, разделения изображения на блоки 8 × 8, вычисления гистограммы градиентов каждого блока с формированием дескриптора блока и соединения блоков 2 × 2 блоков изображения последовательно с получением 16 фрагментов, причем дескриптор каждого фрагмента представляет собой соединение дескрипторов блоков, и признак HOG всего изображения представляет собой соединение дескрипторов 16 фрагментов; и при этом признак HOG используется как входной сигнал нейронной сети, и выходной сигнал выхода нейронной сети используется как вектор признаков изображения;

модуль вычисления изображения категории, выполненный с возможностью приема вектора абстрактных семантических признаков изображения с модуля извлечения признаков, вычисления среднего значения и дисперсии вектора абстрактных семантических признаков соответственно для каждого измерения и выполнения процесса нормирования в каждом измерении на векторе абстрактных семантических признаков;

модуль вычисления веса поведения пользователя при просмотре, выполненный с возможностью сложения нормированных векторов абстрактных семантических признаков, извлеченных по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;

модуль ранжирования, выполненный с возможностью нахождения, согласно весовому вектору заинтересованности каждого пользователя для категории из модуля вычисления веса поведения пользователя при просмотре, скалярного произведения на векторах признака изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжирования изображений согласно полученным балльным оценкам; и выбора предопределенного количества изображений с наивысшими балльными оценками для хранения; и

модуль задействования поиска, выполненный с возможностью осуществления персонализированного поиска на основе результата ранжирования модуля ранжирования.

Настоящее изобретение предусматривает способ персонализированного поиска на основе признаков изображения продукта, включающий:

этап извлечения признака, на котором извлекают с применением модели нейронной сети вектор абстрактных семантических признаков изображения по категории,

этап вычисления изображения категории, на котором вычисляют среднее значение и дисперсию вектора абстрактных семантических признаков соответственно для каждого измерения и выполняют процесс нормирования, в каждом измерении, на векторе абстрактных семантических признаков;

этап вычисления веса поведения пользователя при просмотре, на котором складывают нормированные векторы абстрактных семантических признаков, извлеченные по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;

этап ранжирования, на котором находят, согласно весовому вектору заинтересованности каждого пользователя для категории, скалярное произведение на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжируют изображения согласно полученным балльным оценкам; и выбирают предопределенное количество изображений с наивысшими балльными оценками для хранения; и

этап задействования поиска, на котором выполняют персонализированный поиск на основе результата ранжирования этапа ранжирования.

Эффект изобретения

Настоящее изобретение направлено на изображения продуктов в отрасли электронной торговли. В настоящем изобретении предлагается персонализированный поиск, выполняемый с учетом поведения пользователя при просмотре в сочетании с глубокими семантическими признаками изображения, таким образом, улучшающий впечатления пользователя во многих измерениях.

Краткое описание графических материалов

Фиг. 1 представляет собой структурную схему устройства персонализированного поиска, основанного на признаках изображения продукта, согласно одному варианту осуществления настоящего изобретения.

Фиг. 2 представляет собой блок-схему способа персонализированного поиска на основе признаков изображения продукта, основанного на признаках изображения продукта, согласно одному варианту осуществления настоящего изобретения.

Подробное описание

Для прояснения целей, технических решений и преимуществ настоящего изобретения настоящее изобретение далее описано более подробно со ссылкой на сопутствующие графические материалы.

Согласно настоящему изобретению вектор абстрактных семантических признаков изображения извлекают с применением нейронной сети, вычисляют среднее значение и дисперсию векторов признаков всех изображений для каждой категории в каждом измерении и извлеченные векторы признаков изображений, просмотренных пользователем, нормируют и суммируют с получением веса заинтересованности пользователя, который используют для получения скалярного произведения на векторах признаков каждого изображения для категории с целью получения балльной оценки изображения. Балльные оценки изображений ранжируют, и результат ранжирования используют для персонализированного поиска.

Фиг. 1 представляет собой структурную схему устройства 1 персонализированного поиска, основанного на признаках изображения продукта, согласно одному варианту осуществления настоящего изобретения.

Устройство 1 персонализированного поиска, основанного на признаках изображения продукта, согласно настоящему изобретению может включать модуль 2 извлечения признаков, модуль 3 вычисления изображения категории, модуль 4 вычисления веса поведения пользователя при просмотре, модуль 5 ранжирования и модуль 6 задействования поиска.

Модуль 2 извлечения признаков выполнен с возможностью извлечения, с применением модели нейронной сети, вектора абстрактных семантических признаков изображения по категориям и передачи вектора абстрактных семантических признаков в модуль 3 вычисления изображения категории.

Поскольку вектор абстрактных семантических признаков, извлеченный из изображений, имеет большую неравномерность в многомерных распределениях, выполнение процесса нормирования необходимо на каждом из многомерных распределений для исключения влияний, вызванных слишком большими деталями смещений. С этой целью модуль 3 вычисления изображения категории выполнен с возможностью приема вектора абстрактных семантических признаков изображения, переданного с модуля 2 извлечения признаков, вычисления среднего значения и дисперсии вектора абстрактных семантических признаков соответственно для каждого измерения и выполнения процесса нормирования, в каждом измерении, на векторе абстрактных семантических признаков, согласно формуле:

,

где i обозначает измерение признака.

Модуль 4 вычисления веса поведения пользователя при просмотре выполнен с возможностью удаления повторений поведения при просмотре, т. е. с восприятием многократного просмотра одного и того же изображения как одного и того же поведения при просмотре, с целью устранения влияния ошибочного нажатия пользователем. Кроме того, модуль 4 вычисления веса поведения пользователя при просмотре выполнен с возможностью сложения нормированных векторов абстрактных семантических значений, извлеченных по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории и передачи полученного весового вектора заинтересованности пользователя для каждой категории на модуль 5 ранжирования.

Модуль 5 ранжирования выполнен с возможностью получения согласно весовому вектору заинтересованности каждого пользователя для категории, переданных с модуля 4 вычисления веса поведения пользователя при просмотре, скалярного произведения на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем, где x_i обозначает вектор признаков в измерении i, w_i обозначает вес заинтересованности в измерении i и весовой вектор заинтересованности обозначает весовой вектор заинтересованности с n-мерными весами заинтересованности; ранжирования изображений согласно полученным балльным оценкам; и выбора предопределенного количества N изображений с наивысшими балльными оценками (Top-N) для хранения. Вышеописанный процесс повторяют для каждой из всех категорий.

Модуль 6 задействования поиска может быть выполнен с возможностью осуществления поиска согласно одной из следующих стратегий:

(1) проверки балльной оценки изображения, соответствующего каждому продукту, в существующем результате поиска и ранжирования и выдачи балльных оценок в результате поиска; или

(2) проведения семантического анализа на объекте поиска пользователя, отображения объекта поиска пользователя на категорию и взятия продукта, соответствующего предопределенному количеству N изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.

Устройство 1 персонализированного поиска на основе признаков изображения продукта согласно настоящему изобретению выполняет персонализированный поиск с учетом поведения пользователя при просмотре в сочетании с глубокими семантическими признаками изображения, таким образом улучшая впечатления пользователя во многих измерениях.

Далее способ персонализированного поиска на основе признаков изображения продукта согласно настоящему изобретению будет описан со ссылкой на фиг. 2.

Фиг. 2 представляет собой блок-схему способа персонализированного поиска на основе признаков изображения продукта согласно настоящему изобретению.

Как представлено на фиг. 2, этап S1 извлечения признаков включает два подэтапа:

(1) извлечение, с применением модели нейронной сети, вектора абстрактных семантических признаков изображения по категории;

(2) передача извлеченного вектора абстрактных семантических признаков на этап вычисления изображения категории.

Поскольку вектор абстрактных семантических признаков, извлеченный из изображений, имеет большую неравномерность в многомерных распределениях, выполнение процесса нормирования необходимо на каждом из многомерных распределений для исключения влияний, вызванных слишком большими деталями смещений.

С этой целью этап S2 вычисления изображения категории включает два подэтапа:

(1) вычисление среднего значения и дисперсии вектора абстрактных семантических признаков соответственно для каждого измерения;

(2) выполнения процесса нормирования, в каждом измерении, на векторе абстрактных семантических признаков согласно формуле

.

Затем этап S3 вычисления веса поведения пользователя при просмотре в основном включает три подэтапа:

(1) удаление повторения поведения просмотра с целью устранения влияния ошибочного нажатия пользователем;

(2) сложение нормированных векторов абстрактных семантических признаков, извлеченных по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;

(3) передачу полученного весового вектора заинтересованности пользователя для каждой категории на этап ранжирования.

Затем этап S4 ранжирования включает нахождение, согласно весовому вектору заинтересованности каждого пользователя для категории, скалярного произведения на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжирование полученных балльных оценок; и выбор предопределенного количества N изображений с наивысшими балльными оценками для хранения. Вышеописанный процесс повторяют для каждой из всех категорий.

На этапе S5 задействования поиска можно выполнить поиск согласно одной из следующих стратегий:

(1) проверки балльной оценки изображения, соответствующего каждому продукту, в существующем результате поиска и ранжирования и выдачи балльных оценок в результате поиска;

(2) проведения семантического анализа на объекте поиска пользователя, отображения объекта поиска пользователя на категорию и взятия продукта, соответствующего предопределенному количеству N изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.

Способ персонализированного поиска на основе признаков изображения продукта согласно настоящему изобретению выполняет персонализированный поиск с учетом поведения пользователя при просмотре в сочетании с глубокими семантическими признаками изображения, таким образом, улучшая впечатления пользователя во многих измерениях.

Кроме того, вычисление вектора веса заинтересованности будет оказывать влияние на окончательный результат. Также на окончательный результат будут влиять цикл просмотра пользователя и ослабление желания пользователя приобрести продукт.

В приведенных выше конкретных вариантах осуществления цели, технические решения и выгодные эффекты настоящего изобретения описаны более подробно. Следует понимать, что выше представлены только конкретные варианты осуществления настоящего изобретения, и они не предназначены для ограничения настоящего изобретения. Любые модификации, эквивалентные замены, усовершенствования и т. п., сделанные в рамках идеи и принципов настоящего изобретения, следует включать в объем защиты настоящего изобретения.

Изобретение относится к способу персонализированного поиска на основе признаков изображения продукта. Технический результат заключается в повышении релевантности персонализированного поиска. Способ включает извлечение с применением модели нейронной сети вектора абстрактных семантических признаков изображения по категории, вычисление среднего значения и дисперсии вектора абстрактных семантических признаков соответственно для каждого измерения и выполнение процесса нормирования в каждом измерении на векторе абстрактных семантических признаков, вычисление веса поведения пользователя при просмотре, при этом складывают нормированные векторы абстрактных семантических признаков, извлеченные по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории, нахождение скалярного произведения на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем, ранжирование изображения согласно полученным балльным оценкам, выбор предопределенного количества изображений с наивысшими балльными оценками для хранения, персонализированный поиск на основе результата ранжирования этапа ранжирования. 2 н. и 8 з.п. ф-лы, 2 ил.

1. Устройство персонализированного поиска на основе признаков изображения продукта, содержащее:

модуль извлечения признаков, выполненный с возможностью извлечения, с применением модели нейронной сети, вектора абстрактных семантических признаков изображения по категории,

причем модуль извлечения признаков дополнительно выполнен с возможностью извлечения признака гистограммы направленных градиентов (HOG) из изображения посредством перевода изображения в оттенки серого, вычисления градиента каждого пикселя в изображении, разделения изображения на блоки 8 x 8, вычисления гистограммы градиентов каждого блока с формированием дескриптора блока и соединения блоков 2 x 2 последовательно с получением 16 фрагментов, причем дескриптор каждого фрагмента представляет собой соединение дескрипторов блоков, и признак HOG всего изображения представляет собой соединение дескрипторов 16 фрагментов; и при этом признак HOG используется как входной сигнал нейронной сети, и выходной сигнал выхода нейронной сети используется как вектор признаков изображения;

модуль вычисления изображения категории, выполненный с возможностью приема вектора абстрактных семантических признаков изображения с модуля извлечения признаков, вычисления среднего значения и дисперсии вектора абстрактных семантических признаков соответственно для каждого измерения и выполнения процесса нормирования, в каждом измерении, на векторе абстрактных семантических признаков;

модуль вычисления веса поведения пользователя при просмотре, выполненный с возможностью сложения нормированных векторов абстрактных семантических признаков, извлеченных по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;

модуль ранжирования, выполненный с возможностью нахождения, согласно весовому вектору заинтересованности каждого пользователя для категории из модуля вычисления веса поведения пользователя при просмотре, скалярного произведения на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжирования изображений согласно полученным балльным оценкам; и выбора предопределенного количества изображений с наивысшими балльными оценками для хранения; и

модуль задействования поиска, выполненный с возможностью осуществления персонализированного поиска на основе результата ранжирования модуля ранжирования.

2. Устройство персонализированного поиска на основе признаков изображения продукта по п. 1, отличающееся тем, что модуль задействования поиска выполнен с возможностью проверки балльной оценки изображения, соответствующего каждому продукту в существующем результате поиска, и ранжирования, и выдачи балльных оценок в результате поиска.

3. Устройство персонализированного поиска на основе признаков изображения продукта по п. 1, отличающееся тем, что модуль задействования поиска выполнен с возможностью, после проведения семантического анализа на объекте поиска пользователя, отображения объекта поиска пользователя на категорию и взятия продукта, соответствующего предопределенному количеству изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.

4. Устройство персонализированного поиска на основе признаков изображения продукта по любому из пп. 1-3, отличающееся тем, что принимая, что среднее значение равно , а дисперсия равна , результат процесса нормирования представляет собой

,

где i обозначает измерение признака.

5. Устройство персонализированного поиска на основе признаков изображения продукта по любому из пп. 1-3, отличающееся тем, что модуль вычисления веса поведения пользователя при просмотре выполнен с возможностью удаления повторения поведения при просмотре.

6. Способ персонализированного поиска на основе признаков изображения продукта, реализуемый устройством по п. 1 формулы, включающий:

этап извлечения признака, на котором извлекают с применением модели нейронной сети вектор абстрактных семантических признаков изображения по категории,

этап вычисления изображения категории, на котором вычисляют среднее значение и дисперсию вектора абстрактных семантических признаков соответственно для каждого измерения и выполняют процесс нормирования, в каждом измерении, на векторе абстрактных семантических признаков;

этап вычисления веса поведения пользователя при просмотре, на котором складывают нормированные векторы абстрактных семантических признаков, извлеченные по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;

этап ранжирования, на котором находят, согласно весовому вектору заинтересованности каждого пользователя для категории, скалярное произведение на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжируют изображения согласно полученным балльным оценкам; и выбирают предопределенное количество изображений с наивысшими балльными оценками для хранения; и

этап задействования поиска, на котором выполняют персонализированный поиск на основе результата ранжирования этапа ранжирования.

7. Способ персонализированного поиска на основе признаков изображения продукта по п. 6, отличающийся тем, что этап задействования поиска включает проверку балльной оценки изображения, соответствующего каждому продукту, в существующем результате поиска и ранжирование, и выдачу балльных оценок в результате поиска.

8. Способ персонализированного поиска на основе признаков изображения продукта по п. 6, отличающийся тем, что этап задействования поиска включает проведение семантического анализа на объекте поиска пользователя, отображение объекта поиска пользователя на категорию и взятие продукта, соответствующего предопределенному количеству изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.

9. Способ персонализированного поиска на основе признаков изображения продукта по любому из пп. 6-8, отличающийся тем, что принимая, что среднее значение равно , а дисперсия равна , результат процесса нормирования представляет собой

,

где i обозначает измерение признака.

10. Способ персонализированного поиска на основе признаков изображения продукта по любому из пп. 6-8, отличающийся тем, что этап вычисления веса поведения пользователя при просмотре включает удаление повторения поведения при просмотре.