Способ подбора и предоставления рекомендуемых элементов музыкального контента Российский патент 2024 года по МПК G06F16/9535 

Область техники

Изобретение относится к области информационных технологий, а именно к способу подбора и предоставления рекомендуемых элементов музыкального контента, и может быть использовано для потоковой передачи адаптивного музыкального контента пользователю на основе его предпочтений или выбранных характеристик.

Уровень техники

В современном мире с помощью мобильного телефона или другого устройства воспроизведения мультимедиа пользователь может получить доступ к большим каталогам музыкального контента. Например, пользователь может получить доступ к практически безграничному каталогу музыкального контента через различные потоковые сервисы. Однако практически неограниченный доступ к музыкальному контенту создает ряд проблем для пользователей, например, вкусы и настроение пользователя могут меняться очень быстро, а поиск или выбор необходимого музыкального контента под определенное настроение может оказаться трудоемким и времязатратным. В частности, определение элементов музыкального контента для воспроизведения с нуля занимает много времени, особенно если пользователь не обладает конкретным запросом для поиска.

В связи с вышеизложенным возникла необходимость в предоставлении музыкального контента (треков) пользователю на основе его настроения и предпочтений, тем самым автоматически адаптироваться под пользователя и непрерывно воспроизводить рекомендованный музыкальный контент, учитывая в том числе, его предыдущие взаимодействия с теми или иными треками.

Для решения поставленных задач были разработаны различные рекомендательные системы, объединившие в себе как искусственный интеллект, так и классическое матричное разложение взаимодействий пользователь-элемент.

Из патентной документации - в частности, из патента на изобретение РФ №2731335 известен компьютерный способ формирования рекомендаций цифрового контента для отображения на электронном устройстве, связанном с пользователем, выполняемый соединенным с электронным устройством через сеть связи сервером рекомендательной системы, выполняющей алгоритм ранжирования, и включающий в себя: прием запроса, формирование в ответ на этот запрос набора элементов-кандидатов цифрового контента путем ранжирования алгоритмом ранжирования, определение оценки популярности элемента цифрового контента в системе, определение значения веб-популярности, определение коэффициента корректировки популярности, формирование скорректированного набора ранжированных элементов-кандидатов контента путем корректировки первой рейтинговой оценки первого элемента цифрового контента, по меньшей мере частично, на основе коэффициента корректировки популярности, и передачу сервером скорректированного набора элементов-кандидатов цифрового контента в электронное устройство для отображения на нем.

Из US 11645301 B2 известен способ межмедийных рекомендаций (междоменных рекомендаций), основанный на сохранении множества вкусовых профилей пользователя, соответствующих первому домену, и множества векторов медиа-элементов, соответствующих второму домену. Профиль оценки вкуса в первой области применяется к множеству моделей, которые были сгенерированы на основе взаимосвязи между множеством вкусовых профилей и множеством векторов медиа-элементов, в результате чего получают множество итоговых кодов, соответствующих по меньшей мере одному из множества векторов медиа-элементов во втором домене.

Недостатком вышеуказанных решений является ограниченный набор доступных для выбора пользователем характеристик элементов музыкального контента или же отсутствие такого выбора, что негативно влияет на точность итоговых рекомендаций. Вместе с тем данные способы ограничены в масштабировании.

Раскрытие сущности изобретения

Настоящее изобретение направлено на достижение технического результата, заключающегося в повышении точности подбора и предоставления рекомендуемых элементов музыкального контента, а также в расширении функциональных возможностей способа подбора и предоставления рекомендуемых элементов музыкального контента.

Краткое описание чертежей

Заявляемое изобретение поясняется изображениями:

Фиг. 1 - схематичное изображение области пользовательского интерфейса в виде квадрата, предназначенной для выбора характеристик настроения и энергичности элементов музыкального контента;

Фиг. 2 - схематичное расположение различных характеристик настроения элементов музыкального контента в различных положениях индикатора на области. Осуществление изобретения.

Данное изобретение представляет из себя способ подбора и предоставления рекомендуемых элементов музыкального контента, для отображения на электронном устройстве, связанном с пользователем, выполняемый соединенным с электронным устройством через сеть связи сервером рекомендательной системы.

В качестве электронного устройства могут использоваться персональные компьютеры, смартфоны, мобильные телефоны, планшеты и т.д. Электронное устройство содержит аппаратное и/или прикладное программное, и/или системное программное обеспечение (или их комбинацию), способное выполнять настоящий способ внутри соответствующего приложения, имеющего пользовательский интерфейс для отображения и взаимодействия с рекомендуемыми элементами музыкального контента.

Одним из примеров выполнения приложения является его реализация в качестве веб-сайта, в котором реализован настоящий способ. Или же приложение может быть скачанным из магазина приложений, например, RuStore™, и установленным/используемым на электронном устройстве. В целом, приложение может быть вызвано с помощью любых других средств.

Электронное устройство через сеть связи взаимодействует с сервером рекомендательной системы, который выполняет обработку данных и формирует индивидуальные рекомендации для пользователя. Сервер рекомендательной системы является мощным вычислительным узлом, который включает в себя базы данных векторов пользователей и элементов музыкального контента, а также аналитические инструменты для обработки запросов на подбор и предоставление рекомендации.

Сервер оснащен программным обеспечением для выполнения алгоритмов машинного обучения и матричных преобразований, что позволяет выявлять сложные закономерности в предпочтениях пользователей и соответствующим образом ранжировать музыкальный контент.

Запрос на подбор и предоставление рекомендуемых элементов музыкального контента формируется пользователем с помощью пользовательского интерфейса электронного устройства, при этом пользователь осуществляет выбор характеристик элементов музыкального контента - например, популярность, редкость, степень знакомства с элементом музыкального контента, энергичность и языковые предпочтения. После чего происходит присвоение и включение в запрос уникального идентификатора пользователя.

Как видно из Фиг. 1, выбор характеристик настроения и энергичности элементов музыкального контента осуществляется с помощью пользовательского интерфейса, который содержит область в виде геометрической фигуры, например, квадрата, круга, треугольника и т.д., где пользователь осуществляет перемещение индикатора (1) по данной области (2) с целью выбора соответствующей характеристики. В частности, на Фиг. 1 область выполнена в виде квадрата (2). В некоторых вариантах осуществления способа перемещение индикатора (1) реализовано с использованием одного из следующего: управления мышью, управления клавиатурой, жестового управления, сенсорного управления или голосового управления.

В качестве характеристики настроения могут использоваться два параметра, один из которых описывает меру энергичности (energy), второй - меру веселья (fun). Каждый из параметров принимает значения с плавающей запятой в диапазоне [0; 1]. Определяется направление возрастания значения параметра (тренд). В приведенном случае для параметров были выбраны диагональные тренды: тренд энергичности (3) и тренд веселья (4).

Значения параметров настроения, лежащие вне области движения (2) индикатора (1), проецируются на нее. В приведенном случае это область квадратной формы (2) со стороной длины N.

Точка положения индикатора (1) характеризуется реальными координатами x и y внутри области движения (2) индикатора (1), которые преобразуются в соответствующие характеристики настроения и энергичности и передаются на сервер рекомендательной системы вместе с запросом.

На Фиг. 2 представлен пример характеристик настроения в различных положениях индикатора (1) на области (2). Например, грустное (5), спокойно-грустное (6), спокойное (7), энергично-грустное (8), сбалансированное (9), спокойно-веселое (10), энергичное (11), энергично-веселое (12), веселое (13).

Данный подход позволяет осуществлять тонкий подбор пользователем характеристик настроения и энергичности элементов музыкального контента, что напрямую влияет на повышение точности подбора и предоставления рекомендуемых элементов музыкального контента.

Энергичность и настроение элемента музыкального контента рекомендательная система получает из внешних источников с использованием веб-технологий. Степень знакомства с элементом музыкального контента оценивается на основе статистики взаимодействия пользователя (лайк, дизлайк, прослушивание и т.д.) со всеми элементами музыкального контента за весь период использования сервиса. Степень популярности или редкости элементов музыкального контента определяется на основе статистических данных и отражает взаимодействие всех пользователей рекомендательной системы со всеми элементами музыкального контента. Язык исполнения передается поставщиком (правообладателем) вместе элементом музыкального контента.

От электронного устройства по сети связи соответствующий запрос на подбор и предоставление рекомендуемых элементов музыкального контента и идентификатор пользователя передаются серверу рекомендательной системы. Сервер идентифицирует пользователя по уникальному идентификатору, который включен в запрос, и из базы данных векторов пользователей и элементов музыкального контента извлекается вектор пользователя, который представляет интересы и предпочтения данного пользователя, основанные на его предыдущих взаимодействиях с музыкальным контентом.

Вектор пользователя формируется путем создания таблицы взаимодействий пользователей с элементами музыкального контента, в которой строки соответствуют идентификаторам пользователей, а столбцы - идентификаторам элементов музыкального контента, после чего производится матричное разложение таблицы взаимодействий пользователей с элементами музыкального контента на две меньшие матрицы, преобразуя таблицу взаимодействий пользователей с элементами музыкального контента в векторы пользователей и векторы элементов музыкального контента, после чего полученные векторы записываются в базу данных векторов пользователей и элементов музыкального контента.

Одним из способов матричного разложения является использования алгоритма ALS Apache Spark, где производится матричное разложение большой таблицы на две меньшие матрицы, преобразуя таблицу взаимодействий пользователей с элементами музыкального контента в векторы пользователей и векторы музыкального контента.

В ответ на запрос на подбор и предоставление рекомендуемых элементов музыкального контента формируется набор кандидатов элементов музыкального контента с помощью выполнения векторных перемножений вектора пользователя с векторами элементов музыкального контента, с учетом характеристик, переданных в рекомендательную систему в виде числовых значений, что позволяет присвоить каждому элементу контента рейтинговую оценку релевантности. Набор элементов музыкального контента ранжируется в соответствии с рейтинговыми оценками, полученными в результате векторных перемножений, и формируется скорректированный набор ранжированных элементов-кандидатов музыкального контента.

Скорректированный набор элементов-кандидатов музыкального контента передается на электронное устройство пользователя и отображается с помощью пользовательского интерфейса.

Также с помощью модели нейронной сети возможно получить векторы пользователей, векторы элементов музыкального контента, а также агрегированные за сутки действия пользователя с элементом музыкального контента и по меньшей мере одну из характеристик данного элемента музыкального контента: энергичность, настроение, популярность, редкость или язык элемента музыкального контента, с дальнейшей обработкой данных векторов моделью нейронной сети и получение на выходе обновленного вектора пользователя, отражающего его взаимодействия с элементами музыкального контента за последние сутки. Обновленный вектор пользователя сохраняется в базу данных векторов пользователей. На основании обновленного вектора пользователя модель нейронной сети предсказывает следующий элемент музыкального контента, который может понравиться пользователю.

Модель нейронной сети может быть реализована на структуре GPT4Rec, предназначенной для персонализированных рекомендаций и интерпретации интересов пользователей.

Обучение модели нейронной сети происходит следующим образом:

- берутся все возможные прослушивания элементов музыкального контента пользователями рекомендательной системы и представляются в виде последовательностей параметров, например, длина этой последовательности, правила отбора элементов музыкального контента и т.д. Параметры закладываются перед обучением модели нейронной сети и могут варьироваться;

- из последовательности параметров удаляется последний элемент музыкального контента, и задача модели нейронной сети сводится к восстановлению (предсказыванию) исключенного элемента музыкального контента в последовательности на основании доступных данных;

- после выполнения определенного количества этапов обучения и на основании ML метрик обучение останавливается. По итогу получается модель нейронной сети, которая умеет предсказывать следующий элемент музыкального контента на основании уже имеющейся последовательности.

Данный способ подбора и предоставления рекомендуемых элементов музыкального контента можно разделить на следующие этапы:

1) Формирование пользователем запроса на подбор и предоставление рекомендуемых элементов музыкального контента с помощью электронного устройства, который включает в себя выбор характеристик элементов музыкального контента с помощью пользовательского интерфейса, содержащего область, где пользователь осуществляет перемещение индикатора по данной области с целью выбора соответствующей характеристики, при этом точка положения индикатора характеризуется реальными координатами внутри области движения индикатора, которые преобразуются в соответствующие значения характеристики элементов музыкального контента, а также присвоение и включение в запрос уникального идентификатора пользователя;

2) Получение сервером рекомендательной системы от электронного устройства по сети связи запроса на подбор и предоставление рекомендуемых элементов музыкального контента и идентификация пользователя;

3) Получение сервером рекомендательной системы вектора пользователя из базы данных векторов пользователей и элементов музыкального контента, при этом вектор пользователя формируется путем создания таблицы взаимодействий пользователей с элементами музыкального контента, после чего производится матричное разложение таблицы взаимодействий пользователей с элементами музыкального контента, преобразуя таблицу взаимодействий пользователей с элементами музыкального контента в векторы пользователей и векторы элементов музыкального контента, после чего полученные векторы записываются в базу данных векторов пользователей и элементов музыкального контента;

4) Формирование в ответ на запрос на подбор и предоставление рекомендуемых элементов музыкального контента набора кандидатов элементов музыкального контента с помощью выполнения векторных перемножений вектора пользователя с векторами элементов музыкального контента, с учетом характеристик, переданных в систему в виде числовых значений, что позволяет присвоить каждому элементу контента рейтинговую оценку релевантности;

5) Ранжирование набора элементов музыкального контента в соответствии с рейтинговыми оценками релевантности, полученными в результате векторных перемножений, и формирование скорректированного набора ранжированных элементов-кандидатов музыкального контента;

6) Передача скорректированного набора элементов-кандидатов музыкального контента на электронное устройство пользователя для отображения на нем с помощью пользовательского интерфейса.

Изобретение относится к области информационных технологий, а именно к способу подбора и предоставления рекомендуемых элементов музыкального контента, и может быть использовано для потоковой передачи адаптивного музыкального контента пользователю на основе его предпочтений или выбранных характеристик. Изобретение направлено на достижение технического результата, заключающегося в повышении точности подбора и предоставления рекомендуемых элементов музыкального контента, а также в расширении функциональных возможностей способа подбора и предоставления рекомендуемых элементов музыкального контента. Сущность изобретения состоит в том, что выбор характеристик элементов музыкального контента происходит с помощью пользовательского интерфейса, содержащего область, где пользователь осуществляет перемещение индикатора по данной области с целью выбора соответствующей характеристики, при этом точка положения индикатора характеризуется реальными координатами внутри области движения индикатора, которые преобразуются в соответствующие значения характеристики элементов музыкального контента. 3 з.п. ф-лы, 2 ил.

1. Способ подбора и предоставления рекомендуемых элементов музыкального контента для отображения на электронном устройстве, связанном с пользователем, выполняемый соединенным с электронным устройством через сеть связи сервером рекомендательной системы и включающий в себя:

1) Формирование пользователем запроса на подбор и предоставление рекомендуемых элементов музыкального контента с помощью электронного устройства, который включает в себя выбор характеристик элементов музыкального контента с помощью пользовательского интерфейса, содержащего область, где пользователь осуществляет перемещение индикатора по данной области с целью выбора соответствующей характеристики, при этом характеристика состоит минимум из двух параметров, которые принимают значения с плавающей запятой в диапазоне [0; 1] в соответствии с направлением возрастания таких значений, а значения параметров, лежащие вне области движения индикатора, проецируются на неё, при этом точка положения индикатора характеризуется реальными координатами внутри области движения индикатора, которые преобразуются в соответствующие значения характеристики элементов музыкального контента, а также присвоение и включение в запрос уникального идентификатора пользователя;

2) Получение сервером рекомендательной системы от электронного устройства по сети связи запроса на подбор и предоставление рекомендуемых элементов музыкального контента и идентификация пользователя;

3) Получение сервером рекомендательной системы вектора пользователя из базы данных векторов пользователей и элементов музыкального контента, после чего полученные векторы записываются в базу данных векторов пользователей и элементов музыкального контента;

4) Формирование в ответ на запрос на подбор и предоставление рекомендуемых элементов музыкального контента набора кандидатов элементов музыкального контента с помощью выполнения векторных перемножений вектора пользователя с векторами элементов музыкального контента с учетом характеристик, переданных в систему в виде числовых значений, что позволяет присвоить каждому элементу контента рейтинговую оценку релевантности;

5) Ранжирование набора элементов музыкального контента в соответствии с рейтинговыми оценками релевантности, полученными в результате векторных перемножений, и формирование скорректированного набора ранжированных элементов-кандидатов музыкального контента;

6) Передача скорректированного набора элементов-кандидатов музыкального контента на электронное устройство пользователя для отображения на нем с помощью пользовательского интерфейса.

2. Способ подбора и предоставления рекомендуемых элементов музыкального контента по п.1, отличающийся тем, что перемещение индикатора реализовано с использованием одного из следующего: управления мышью, управления клавиатурой, жестового управления, сенсорного управления или голосового управления.

3. Способ подбора и предоставления рекомендуемых элементов музыкального контента по п.1, отличающийся тем, что пользователь перед запросом на подбор и предоставление рекомендуемых элементов музыкального контента может выбрать по крайней мере одну из перечисленных характеристик элементов музыкального контента: популярность, редкость, узнаваемость, язык, тип настроения, энергичность.

4. Способ подбора и предоставления рекомендуемых элементов музыкального контента по п.1, отличающийся тем, что вектор пользователя, отражающий его взаимодействия с элементами музыкального контента за последние сутки, формируется с помощью нейронной сети и сохраняется в базу данных векторов пользователей, что позволяет модели нейронной сети на основании обновленного вектора пользователя предсказывать следующий элемент музыкального контента, который может понравиться пользователю.