СПОСОБ И СИСТЕМА РЕКОМЕНДАЦИЙ КОНТЕНТА НА ОСНОВАНИИ ИНФОРМАЦИИ ПОВЕДЕНИЯ ПОЛЬЗОВАТЕЛЯ Российский патент 2019 года по МПК G06F16/2457 G06F16/248 H04M1/725 

Область техники, к которой относится изобретение

Настоящее изобретение в целом относится к управлению мультимедийным контентом и в конкретных вариантах осуществления к технологиям и механизмам предсказания наиболее значимого мультимедийного контента для пользователя.

Уровень техники

В настоящее время стоимость хранения информации значительно снижена, что позволяет хранить огромное количество мультимедийного контента (например, фотографии, видео, музыку) в устройстве пользователя (UE). В результате, в последнее время организация мультимедийного контента в UEs представляет собой сложную задачу. Пользователи должны часто сортировать сотни или тысячи мультимедийных файлов, чтобы найти один файл, который они хотят использовать.

Было предложено несколько подходов к оказанию помощи пользователю в поиске мультимедийного контента. С целью поиска изображений для обнаружения объектов в мультимедийном контенте использовались традиционные способы. Например, в мультимедийном контенте могут находиться объекты, такие как лица, ориентиры, животные и т.д., и мультимедийный контент затем группируют в соответствии с распознанными объектами. Другие подходы могут также учитывать метаданные мультимедийного контента, такие как время и местоположение захвата изображения.

К сожалению, мультимедийный контент обычно группируют и организовывают произвольно с использованием традиционных подходов. Большинству пользователей по-прежнему необходимо искать контент, который они хотят использовать. Кроме того, традиционные подходы часто требуют огромного объема обработки и хранения данных для анализа мультимедийного контента.

Раскрытие сущности изобретения

Технические преимущества получают в соответствии с вариантами осуществления настоящего изобретения, которые описывают способ и систему для предсказания наиболее значимого мультимедийного контента для пользователя.

В соответствии с вариантом осуществления предлагают способ. Способ включает в себя этапы, на которых: активируют устройство ввода, используемое пользователем для запроса мультимедийной операции, осуществляют записи поведенческих и интерактивных команд пользователя посредством устройства ввода во время выполнения мультимедийной операции, осуществляют ранжирование поведенческих и интерактивных команд в соответствии с моделью для формирования первого критерия рекомендаций мультимедийного контента для пользователя и осуществляют рекомендацию множества мультимедийных файлов пользователю в соответствии с первым критерием рекомендаций мультимедийного контента.

В соответствии с другим вариантом осуществления предлагают способ. Способ включает в себя этапы, на которых: активируют переднюю камеру устройства, используемого пользователем для просмотра мультимедийного файла, осуществляют запись поведенческих и интерактивных действий пользователя с помощью передней камеры, осуществляют анализ поведенческих и интерактивных действий для формирования мультимедийных команд, назначение весовых коэффициентов каждой из мультимедийных команд, осуществляют регулировку весовых коэффициентов для каждой из мультимедийных команд в соответствии с поведенческими и интерактивными действиями пользователя, и генерируют оценочные значения изображений для множества мультимедийных файлов в соответствии с весовыми коэффициентами.

В соответствии с еще одним вариантом осуществления предусмотрено устройство. Устройство включает в себя устройство ввода, процессор и машиночитаемый носитель данных, хранящий программу, включающую в себя инструкции, исполняемые процессором, причем процессор при выполнении инструкций выполнен с возможностью осуществления способа, содержащего этапы, на которых: активируют устройство ввода, используемое пользователем для просмотра мультимедийного файла, осуществляют запись поведенческих и интерактивных команд пользователя посредством устройства ввода во время отображения мультимедийного файла, осуществляют ранжирование поведенческих и интерактивных команд в соответствии с моделью для формирования первого критерия рекомендаций мультимедийного контента для пользователя и осуществляют рекомендацию множества мультимедийных файлов пользователю в соответствии с первым критерием рекомендаций мультимедиа.

В соответствии с еще одним вариантом осуществления предусмотрено устройство. Устройство включает в себя устройство датчика, память, хранящую множество мультимедийных данных, процессор и машиночитаемый носитель данных, хранящий программу, подлежащую выполнению процессором. Программа включает в себя инструкции для приема запроса от пользователя для выполнения мультимедийной операции, выполнения мультимедийной операции при извлечении данных с помощью устройства датчика, обновления рекомендации подмножества мультимедийного контента в соответствии с запросом и извлеченными данными, и представление обновленной рекомендации пользователю.

Краткое описание чертежей

С целью более полного понимания настоящего изобретения и его преимуществ, далее приведено описание со ссылкой на сопроводительные чертежи, в которых:

Фиг.1A иллюстрирует блок-схему, иллюстрирующую примерную систему обработки;

Фиг.1B иллюстрирует блок-схему, иллюстрирующую примерную систему рекомендаций;

Фиг.2 иллюстрирует примерный пользовательский интерфейс, включающий в себя мультимедийную галерею;

Фиг.3 иллюстрирует примерный процесс выполнения операций мультимедийных рекомендаций;

Фиг.4 иллюстрирует примерный процесс доступа к профилю пользователя;

Фиг. 5A-5B иллюстрируют различные иллюстративные процессы для идентификации и записи команд, представляющих действия пользователя, взаимодействие и обратную связь;

Фиг.6 иллюстрирует примерный процесс записи команд, представляющих действия пользователя;

Фиг.7 иллюстрирует примерный процесс классификации команд, представляющих выражения лица пользователя;

Фиг.8 иллюстрирует примерный процесс идентификации и отслеживания команд взгляда пользователя;

Фиг.9 иллюстрирует примерный процесс идентификации и записи взаимодействий пользователя с устройством, которое выполняет мультимедийную операцию, согласно варианту осуществления настоящего изобретения;

Фиг. 10А-10D иллюстрируют различные примерные процессы обнаружения подкоманд для фотографий;

Фиг.11 иллюстрирует примерный процесс идентификации команд, представляющих обратную связь пользователя для мультимедийных рекомендаций;

Фиг.12 иллюстрирует примерный процесс конфигурирования механизма рекомендации в соответствии с обратными связями пользователя в одном варианте осуществления настоящего изобретения;

Фиг.13 иллюстрирует примерный процесс регулировки весовых коэффициентов в механизме рекомендаций в одном варианте осуществления настоящего изобретения; и

Фиг.14 иллюстрирует примерный процесс генерирования оценочных значений ранжирования в одном варианте осуществления настоящего изобретения.

Соответствующие цифры и символы на разных чертежах, как правило, относятся к соответствующим частям, если не указано иное. Чертежи приведены с целью четкой иллюстрации соответствующих аспектов вариантов осуществления и не обязательно выполнены в масштабе.

Осуществление изобретения

Далее приведено подробное описание способов реализаций и использования вариантов осуществления настоящего изобретения. Следует, однако, понимать, что описанные в настоящем документе концепции могут быть воплощены в широком спектре конкретных контекстов и что описанные конкретные варианты осуществления являются только иллюстративными и не служат для ограничения объема формулы изобретения. Дополнительно, следует понимать, что в настоящем описании могут быть сделаны различные изменения, замены и модификации без отхода от сущности и объема настоящего изобретения, как определено прилагаемой формулой изобретения.

Далее приведено описание системы и способа предсказания наиболее значимого мультимедийного контента пользователя. Благодаря распространению недорогого хранилища, устройства пользователя теперь могут хранить тысячи фотографий, видео и песен. Пользователям будет сложно найти наиболее значимый мультимедийный контент в этих обширных коллекциях контента. Таким образом, необходим способ для локального и автоматического предоставления значимого контента пользователям.

Варианты осуществления обеспечивают системы и способы для автоматического предсказания и предложения (или определения, рекомендации и т.д.) значимого или релевантного мультимедийного контента для конкретных устройств пользователя. Поведенческие и интерактивные пользовательские вводы захватываются датчиком и анализируются в качестве команд, поскольку пользователь просматривает или захватывает мультимедийный контент с помощью устройства пользователя. Эти вводы анализируют в качестве команд для предоставления информации в устройство пользователя, какой мультимедийный контент является наиболее значимым для пользователя. Поведенческие и интерактивные пользовательские вводы также могут быть объединены с традиционной схемой обнаружения-распознавания-классификации для дополнительного уточнения предсказания и рекомендации мультимедийного контента для пользователя. Захват поведенческих и интерактивных вводов и анализ в качестве команд возможен, потому что современные устройства пользователя часто имеют несколько датчиков, такие как передние и задние камеры и микрофоны, встроенные в них.

Различные варианты осуществления могут обеспечить преимущества. Автоматическое предсказание и предоставление значимого мультимедийного контента пользователю позволяет пользователю сохранять и легко получать доступ к своему желаемому контенту в устройстве пользователя. Например, коллекция, содержащая тысячи мультимедийных файлов, может быть сокращена до рекомендации только нескольких десятков предпочтительных мультимедийных файлов, которые являются наиболее предпочтительными для пользователя. Обратная связь пользователя с этими рекомендациями может быть использована в качестве входных данных машинного обучения для устройства пользователя, что позволяет дополнительно уточнить мультимедийные рекомендации. Таким образом, устройства пользователя могут быть более персонализированы для предпочтений конкретных пользователей. Такой подход к обучению может быть реализован более простыми способами, чем традиционные подходы обнаружения-распознавания-классификации, позволяющие осуществлять локальную реализацию на устройствах пользователя и избегая зависимости от облачных вычислений для обработки или хранения.

На фиг.1А показана блок-схема системы 100 обработки согласно вариантам осуществления для реализации описанных в настоящем документе способов, которая может быть установлена на главном устройстве. Как показано, система 100 обработки включает в себя процессор 102, память 104 и интерфейсы 106-110, которые могут (или не могут) быть расположены так, как показано на фиг.1. Процессором 102 может быть любой компонент или совокупность адаптированных компонентов для выполнения вычислений и/или других задач, относящихся к процессу обработки, и память 104 может представлять собой любой компонент или набор компонентов, предназначенных для хранения программ и/или команд для выполнения процессором 102. В варианте осуществления память 104 включает в себя непереходной считываемый компьютером носитель информации. Интерфейсы 106, 108, 110 могут представлять собой любой компонент или набор компонентов, которые позволяют системе 100 обработки взаимодействовать с другими устройствами/компонентами и/или пользователем. Например, один или несколько интерфейсов 106, 108, 110 могут быть выполнены с возможностью передавать данные, сообщения управления или контроля из процессора 102 в приложения, установленные на главном устройстве и/или удаленном устройстве. В качестве другого примера, один или несколько интерфейсов 106, 108, 110 могут быть выполнены с возможностью позволять пользователю или устройству пользователя (например, персональному компьютеру (РС) и т.д.) взаимодействовать/устанавливать связь с системой 100 обработки. Система 100 обработки может включать в себя дополнительные компоненты, не изображенные на фиг.1, такое как долговременное хранилище (например, энергонезависимая память и т.д.).

На фиг.1В показана блок-схема системы 150 мультимедийных рекомендаций. Система 150 мультимедийных рекомендаций включает в себя основной модуль 152, хранилище 154 контента, хранилище 156 команд, хранилище 158 предпочтений пользователя, модель 162 ранжирования (или механизм 160 рекомендаций) и пользовательский интерфейс 162. Основной модуль 152 выполняет ранжирование мультимедийного контента, хранящегося в хранилище 154 контента, посредством модели 160 ранжирования и представляет мультимедийный контент пользователю через пользовательский интерфейс 162. Основной модуль 152 может быть подключен к контроллеру датчика для приема данных датчика и/или управления (запуск, остановка, открытие, закрытие и т. д.) подключенных датчиков.

Мультимедийный контент оценивают на основании команд, ассоциированных с мультимедийным контентом, и в соответствии с предпочтениями пользователя. Команды могут быть сохранены в хранилище 156 команд и ассоциированы с мультимедийным контентом в хранилище 154 контента. Например, элементы или признаки, представляющие команды, ассоциированные с мультимедийным контентом (например, изображение или видео), могут генерировать в ответ (или, по существу, когда) на формирование соответствующего мультимедийного контента (например, при съемке камерой или при съемке видео через устройство записи видео или камеру) до того, как соответствующий мультимедийный контент будет полностью сгенерирован. В некоторых вариантах осуществления хранилище 154 контента, хранилище 156 команд и хранилище 158 предпочтений пользователя могут быть совместно расположены в одном хранилище, таком как база данных. Модель 160 ранжирования может периодически обновляться в соответствии с командами и предпочтениями пользователя.

На фиг.2 показана мультимедийная галерея 200 варианта осуществления. В мультимедийной галерее 200 отображают фотографии, видео и музыку. Мультимедийная галерея 200 разделена на несколько видов и включает в себя вид 202 всех фотографий и вид 204 автоматического предпочтительного просмотра. Вид 202 всех фотографий содержит все фотографии, которые пользователь захватил с помощью устройства. Хотя мультимедийная галерея 200 иллюстрирует четыре вида для фотографий, должно быть понятно, что мультимедийная галерея 200 может содержать другие виды и быть способной отображать и автоматически рекомендовать много типов мультимедийного контента.

Вид 204 автоматического предпочтительного просмотра содержит фотографии, которые мультимедийная галерея 200 рекомендует пользователю, как наиболее значимый для пользователя контент, на основании поведенческих и интерактивных вводов пользователя. Таким образом, вид 202 всех фотографий, как правило, содержит больше фотографий, чем вид 204 автоматического предпочтительного просмотра. Например, в иллюстрированном варианте осуществления мультимедийная галерея 200 имеет 5 508 фотографий в виде 202 всех фотографий, но только 89 из этих фотографий были автоматически рекомендованы пользователю в виде 204 автоматического предпочтительного просмотра. Пока мультимедийная галерея 200 проиллюстрирована как приложение на мобильном устройстве пользователя, должно быть понятно, что мультимедийная галерея 200 и выполненные способы, могут быть интегрированы в широкий спектр изделий, таких как смартфоны, планшеты, камеры и программное обеспечение для управления фотографиями.

Вид 204 автоматического предпочтительного просмотра может быть загружен путем анализа поведенческих и интерактивных вводов пользователя для команд. Поведенческие команды, такие как выражение лица пользователя или взгляд, могут анализировать при просмотре пользователем или захвате мультимедийного контента. Например, обнаружение улыбки или хмурого выражения лица пользователя при просмотре мультимедийного файла, может стать важной командой, указывающей, что мультимедийный файл важен для пользователя. Аналогично, взгляд пользователя может быть проанализирован при просмотре мультимедийного контента для определения «места наивысшего интереса», например, привлекательные люди или объекты, на фотографиях.

Интерактивные команды пользователя также могут быть проанализированы при просмотре мультимедийного контента. Например, общее количество времени, которое пользователь тратит на просмотр конкретного мультимедийного контента, может быть подсчитано и проанализировано, чтобы определить, является ли этот мультимедийный контент предпочтительным для пользователя. Другие интерактивные показатели также могут быть рассмотрены и проанализированы для подкоманд. Такие показатели могут включать в себя определение, использовал ли пользователь следующие действия: совместный просмотр, редактирование, зум или изменение ориентации изображения мультимедийного контента.

Ситуационные вводы пользователя или данные об окружающей среде также могут быть проанализированы для команд, когда они захватывают мультимедийный контент, например, снимают фото или видео. Анализ информации для получения команд, основанных на информации об окружающей среде, может включать в себя захват и распознавание голосов и фонового шума для идентификации событий, происходящих при съемке фотографии или видео. Например, обнаружение песни в день рождения в фоновом режиме, когда пользователь делает снимок, может быть командой, основанной на информации об окружающей среде, указывающей, что фотография является относительно более значимой для пользователя. Также можно использовать распознавание лица для обнаружения объектов фото или видео, которые пользователь знает. Например, может быть выполнено распознавание лица захваченного снимка и затем сопоставлено с изображениями профиля в списке контактов или адресной книге пользователя. В таком примере обнаружение на фотографии близкого члена семьи может быть командой, основанной на информации об окружающей среде, которая более явно указывает, что фотография является предпочтительной для пользователя.

Мультимедийная галерея 200 может также поддерживать несколько пользователей, так что наиболее значимый мультимедийный контент может быть рекомендован конкретным пользователям. Например, может быть определен пользователь, работающий с мультимедийной галереей 200, и вид 204 автоматического предпочтительного просмотра заполнен рекомендацией, персонализированной для этого пользователя. Пользователи могут быть обнаружены, например, посредством распознавания лица или голоса при управлении мультимедийной галереей 200.

На фиг.3 показан способ 300 мультимедийных рекомендаций варианта осуществления. Способ 300 мультимедийных рекомендаций выполняют устройством, когда пользователь просматривает или захватывает мультимедийный контент с помощью устройства. Например, способ 300 мультимедийных рекомендаций может быть выполнен, когда пользователь управляет мультимедийной галереей 200.

Способ 300 мультимедийных рекомендаций начинают выполнять с момента получения информации о статусе устройств датчиков на устройстве пользователя (этап 302). В некоторых вариантах осуществления доступ к датчикам на устройстве может быть отключен при представлении мультимедийной галереи 200. Например, на устройстве может быть отключен доступ к микрофону. Затем идентифицируют режим работы (этап 304). Устройство пользователя может работать в режиме захвата, в котором захватывают мультимедийный контент, или может работать в режиме просмотра, в котором просматривают мультимедийный контент. Пользователь может выбрать режим работы; например, пользователь может выбрать, просматривать или захватывать мультимедийный контент. В некоторых вариантах осуществления режим работы могут автоматически выбирать или ограничивать в соответствии с обнаруженным статусом устройства датчика. Например, на устройстве доступ к передней или задней камерам может быть отключен. В таких вариантах осуществления режим работы может быть ограничен режимом просмотра. В некоторых вариантах осуществления доступ к устройствам может быть отключен в определенных режимах работы. Например, пользователь может отключить переднюю камеру устройства в режиме съемки, но включить переднюю камеру устройства в режиме просмотра.

Затем формируют и/или открывают профиль пользователя (этап 306). Для пользователя, который в первый раз использует данное приложение, перед его открытием может быть сначала сформирован профиль, при его отсутствии. Профиль пользователя может содержать предпочтения и результаты анализа команд, которые позволяют рекомендовать мультимедийный контент пользователю на основании критерия, который является предпочтительным для пользователя (например, в соответствии с полученной информацией обратной связи от пользователя). Соответственно, для составления индивидуальных мультимедийных рекомендаций для каждого пользователя может быть установлен критерий рекомендации.

Затем во время мультимедийной операции получают информацию о действиях, взаимодействии и/или обратной связи пользователя (этап 308). Мультимедийная операция может включать в себя взаимодействие с пользовательскими интерфейсами (например, представление, выбор, просмотр) мультимедийного контента и/или захват (например, формирование или генерирование) мультимедийного контента, по меньшей мере, посредством одного воспринимающего устройства, такого как камера, микрофон или другие применимые датчики. Поведенческие и интерактивные вводы могут быть захвачены путем приема данных от датчика на устройстве, когда пользователь захватывает или просматривает мультимедийный контент, и может быть идентифицирован на основании взаимодействия пользователя с конкретным мультимедийным контентом. Информация обратной связи может быть получена путем представления мультимедийных рекомендаций пользователю и предоставления им обратной связи, когда пользователь просматривает мультимедийный контент. Информация о действиях, взаимодействии и/или обратной связи может быть получена в фоновом режиме периодически или непрерывно, пока пользователь захватывает или просматривает мультимедийный контент. В некоторых вариантах осуществления необработанные данные полученной информации о действиях, взаимодействии и/или обратной связи могут быть сохранены и проанализированы позже. В некоторых вариантах осуществления данные могут анализировать в реальном времени.

Далее, идентифицируют команды в полученной информации о действиях, взаимодействиях и/или обратной связи пользователя (этап 310). Команды могут включать в себя, например, указания, что пользователь улыбнулся или нахмурился при просмотре или захвате мультимедийного контента. Команды поведения и взаимодействия идентифицируют в входной информации, полученной датчиком на устройстве. Например, Команды поведения могут включать в себя указания, что пользователь улыбнулся или нахмурился при просмотре или захвате конкретного мультимедийного контента. Аналогично, команды взаимодействия могут включать в себя указания, что пользователь, например, просматривает конкретный мультимедийный контент несколько раз, совместно с другими пользователями просматривает мультимедийный контент, редактирует мультимедийный контент и т.д. Аналогично, команды обратной связи могут включать в себя указания, что пользователь согласился или не согласился с мультимедийными рекомендациями. Хотя различные варианты осуществления были описаны в отношении конкретных типов поведенческих и интерактивных команд, следует принимать во внимание, что можно получать и идентифицировать множество различных команд.

Наконец, рекомендации мультимедийного контента предоставляют пользователю в соответствии с идентифицированными командами (этап 312). Мультимедийные рекомендации могут предоставлять в соответствии с моделью, которая построена для профиля пользователя и включает в себя идентифицированные команды. Модель может быть обновлена с помощью обратной связи с машиной, поскольку пользователь управляет устройством. Например, обновление модели может включать в себя регулировку весовых коэффициентов различных команд на основании шаблонов использования устройства пользователем.

На фиг.4 показан способ 400 доступа к профилю пользователя согласно варианту осуществления. Способ 400 доступа к профилю пользователя может быть более подробной иллюстрацией операций, возникающих при формировании или открытии профиля пользователя, на этапе 306 способа 300 мультимедийных рекомендаций.

Способ 400 доступа к профилю пользователя начинается с определения, является ли лицо пользователя распознаваемым (этап 402). Распознавание лица могут использовать для распознавания лица пользователя и сопоставления его с базой данных известных лиц. Если лицо пользователя не распознают, то для пользователя формируют новый профиль (этап 404). Как только распознают пользователя или формируют профиль пользователя, открывают профиль пользователя, соответствующий распознанному пользователю (этап 406). После того, как профиль пользователя был открыт, завершают способ 400 доступа к профилю пользователя.

Фиг.5A иллюстрирует способ 510 записи информации поведения и взаимодействия согласно варианту осуществления. Способ 510 записи информации поведения и взаимодействия может быть более подробной иллюстрацией операций, возникающих при получении информации поведения пользователя, взаимодействий и обратной связи на этапе 308 способа мультимедийных рекомендаций 300. Способ 510 записи информации поведения и взаимодействия может выполняться, когда пользователь захватывает мультимедийный контент.

Способ 510 записи информации поведения и взаимодействия начинают с получения команд об окружающей обстановке при захвате мультимедийного контента (этап 512). Распознавание окружающей обстановки может выполняться на основании команд об окружающей обстановке для определения, будет ли захваченный мультимедийный контент иметь важное значение для пользователя. Например, если пользователь осуществляет съемку на вечеринке по случаю дня рождения, то распознавание звука может использоваться для определения песни дня рождения в команде об окружающей обстановке, что указывает на относительно высокую вероятность того, что захваченное фото будет более значимым для пользователя, чем другие фотографии. Аналогично, лицевые выражения пользователя могут быть захвачены передней камерой, когда пользователь фиксирует фотографию с помощью задней камеры. Распознавание выражений лица пользователя может выполняться для обнаружения определенных выражений лица пользователя, например, улыбающегося или смеющегося. Некоторые реакции на лице могут указывать на относительно высокую вероятность того, что захваченное фото будет более значимым для пользователя, чем другие фотографии.

После захвата команд об окружающей обстановке оценивают мультимедийный контент в соответствии с моделью и командами об окружающей обстановке (этап 514). Модель окружающей обстановки ранжируют и суммируют различные команды об окружающей обстановке для формирования оценочного значения захваченного фото или видео. После того как мультимедийный контент был ранжирован с помощью команд об окружающей обстановки завершают выполнение способа 510 записи информации поведения и взаимодействия.

Фиг.5B иллюстрирует способ 530 записи информации поведения и взаимодействия согласно варианту осуществления. Способ 530 записи информации поведения и взаимодействия может быть более подробной иллюстрацией операций, возникающих при получении информации поведения пользователя, взаимодействия и обратной связи на этапе 308 способа 300 мультимедийных рекомендаций. Способ 530 записи информации поведения и взаимодействия выполняют при просмотре или захвате пользователем мультимедийного контента.

Способ 530 записи информации поведения и взаимодействия начинают с определения, была ли собрана достаточная информация для формирования рекомендаций для значимого мультимедиа (этап 532).

Если достаточная информация не была собрана, то захватывают информацию поведения пользователя для обнаружения поведенческих команд, когда пользователь просматривает мультимедийный контент (этап 534). Затем мультимедийный контент оценивают с помощью модели поведения и поведенческих команд (этап 536). Модель поведения может генерировать оценочное значение захваченного фото или видео на основании комбинации различных поведенческих команд (например, посредством взвешенной суммы операций).

Кроме того захватывают информацию взаимодействия пользователя для обнаружения команд взаимодействия, когда пользователь просматривает мультимедийный контент (этап 538). Затем ранжируют мультимедийный контент с помощью модели взаимодействия и команд взаимодействия (этап 540). Модель взаимодействия может объединять (например, ранг и сумму) различные команды взаимодействия для формирования оценочного значения захваченного фото или видео.

Если было получено достаточно информации, то генерируют и предоставляют мультимедийные рекомендации конечному пользователю для обратной связи (этап 542). Мультимедийный контент может быть представлен пользователю, и пользователю может быть предложено сохранить или отказаться от рекомендаций. Затем ранжируют мультимедийный контент с помощью модели последующей обработки и обратной связи (этап 544). Модель последующей обработки может ранжировать и суммировать различные пользовательские данные обратные связи для генерирования оценочного значения другого мультимедийного контента, который может быть представлен пользователю. Таким образом, пользовательская обратная связь может быть использована для процесса машинного обучения. После того, как захватывают пользовательские данные обратной связи, поведенческие и/или интерактивные команды и формируют рекомендации посредством различных моделей, завершают способ 530 записи информации поведения и взаимодействия.

Фиг.6 иллюстрирует способ 600 записи информации поведения пользователя согласно варианту осуществления. Способ 600 записи информации поведения пользователя может быть более подробной иллюстрацией операций, возникающих при захвате поведенческой информации пользователя, который просматривает мультимедийный контент, на этапе 534 выполнения способа 530 записи информации поведения и взаимодействия.

Способ 600 записи информации поведения пользователя начинают выполнять с определения, выполнил ли пользователь операцию прокрутки для просмотра следующего мультимедийного файла (этап 602). Если пользователь выполнил операцию прокрутки к следующему мультимедийному файлу, то захватывают выражение лица пользователя и распознают по мере выполнения операции прокрутки (этап 604). Если мультимедийный файл является видео, то выражение лица пользователя может быть захвачено во время воспроизведения видео. После того, как было захвачено и распознано выражение лица пользователя, затем классифицируют выражения лица и маркируют временной отметкой (этап 606). Например, выражение пользователя при прокрутке на новую фотографию может быть классифицировано как улыбка или раздражение, и эта информация об улыбке или раздражении может быть сохранена с временной отметкой, указывающей, когда пользователь улыбался или разражался при просмотре фотографии.

Если пользователь еще не выполнил операцию прокрутки на следующий мультимедийный файл, тогда способ 600 записи информации поведения пользователя определяет, просматривает ли пользователь текущий мультимедийный файл более чем заданный временной интервал t_s (этап 608). В некоторых вариантах осуществления t_s составляет около 2 секунд. Если пользователь просматривает фотографию или видео более, чем заданный временной интервал t_s, то определяют точку пристального внимания на экране и соответствующий мультимедийный контент (этап 610). Способ 600 записи информации поведения пользователя завершают, как были определены точки пристального внимания пользователя при просмотре мультимедийного контента, или после распознавания и классификации выражения лица пользователя. Полученные поведенческие команды после выполнения способа 600 записи информации поведения пользователя затем могут быть ранжированы по модели поведения на этапе 536 способа 530 записи информации поведения и взаимодействия.

На фиг.7 показан способ 700 классификации выражения лица согласно варианту осуществления. Способ 700 классификации выражения лица может быть более подробной иллюстрацией операций, происходящих при классификации выражений лица на этапе 606 способа 600 записи информации поведения пользователя.

Способ 700 классификации выражения лица начинают выполнять с определения, имеет ли лицо пользователя положительную реакцию (этап 702). Положительные реакции на лице могут быть, например, выражением улыбающегося лица, захваченным при просмотре пользователем фотографий или видео. Если обнаружена положительная реакция, то соответствующая сохраняется как положительная реакция лица вместе с временной отметкой (этап 704). Положительная реакция и временная отместка ассоциированы с мультимедийным контентом, который пользователь просматривает в данный момент времени.

Если не обнаружена положительная реакция, то продолжают выполнять способ 700 классификации выражения лица, определяя, имеет ли лицо пользователя отрицательную реакцию (этап 706). Отрицательные реакции лица могут быть, например, похожим на хмурое выражение лица, захваченным при просмотре пользователем фотографии или видео. Если обнаружена отрицательная реакция, то соответствующая информация сохраняется как негативная реакция реакции лица вместе с временной отместкой (этап 708). Если ни одна из положительная или отрицательная реакция не обнаружены при просмотре пользователем мультимедийного контента, то команду «без реакции лица» сохраняют вместе с временной отметкой (этап 710). Сохраненная информация о выражении может быть ассоциирована с мультимедийным контентом, который просматривает пользователь. После того, как команда выражения лица или ее отсутствие сохранены и имеют временные метки, завершают способ 700 классификации выражений лица. Результирующие команды выражения лица могут быть добавлены к поведенческими командам, ранжированным моделью поведения, на этапе 536 способа 530 записи информации поведения и взаимодействия.

На фиг.8 показан способ 800 отслеживания взгляда согласно варианту осуществления. Способ 800 отслеживания взгляда может быть более подробной иллюстрацией операций, возникающих при определении точки пристального внимания на экране и соответствующих фотографий, на этапе 610 способа 600 записи информации поведения пользователя.

Способ 800 отслеживания взгляда начинают с поиска точки пристального внимания в мультимедийном файле (этап 802). Точка пристального внимания может быть местом в мультимедийном файле, на которое смотрит пользователь. Например, пользователь может смотреть на конкретного человека на фотографии, на которой запечатлены несколько человек. Взгляд пользователя отслеживают до тех пор, пока не будет обнаружена точка пристального внимания на экране устройства. После обнаружения точки пристального внимания, согласовывают мультимедийный файл с местоположением точки пристального внимания на экране устройства (этап 804). Например, если пользователь смотрит под определенным углом на экран устройства, то изображение может быть согласовано с экраном устройства для определения конкретного объекта или объекта на изображении, на который смотрел пользователь. Как только фото или видео согласовано, распознают точку пристального внимания (этап 806). Распознавание точки пристального внимания может включать в себя, например, выполнение распознавания лица для определения, что пользователь смотрел на точку пристального внимания. Как только распознан и определен объект в точке пристального внимания, сохраняют команду точки пристального внимания для мультимедийного файла (этап 808). После сохранения команды точки пристального внимания завершают способ 800 отслеживания взгляда. Результирующие команды точки пристального внимания могут быть добавлены в поведенческие команды, ранжированные по модели поведения, на этапе 536 способа 530 записи информации поведения и взаимодействия.

Фиг.9 иллюстрирует способ 900 записи информации взаимодействия пользователя. Способ 900 записи информации взаимодействия пользователя может быть более подробной иллюстрацией операций, возникающих при получении информации взаимодействия или команд пользователя, который просматривает мультимедийный контент, на этапе 538 способа 500 записи информации взаимодействия и поведения. Способ 900 записи информации взаимодействия пользователя может выполняться, например, когда пользователь просматривает на устройстве фотографии или видео.

Способ 900 записи информации взаимодействия пользователя начинают с определения, выполнил ли пользователь операцию прокрутки к новой фотографии (этап 902). Если пользователь выполнил операцию прокрутки к новой фотографии, тогда будут прочитаны метаданные фотографии (этап 904). После считывания метаданных фотографии количество и время, которое пользователь проводит для просмотра фотографии, отмечают и сохраняют (этап 906). Как только время просмотра сохранено, выполняют поиск пользовательского взаимодействия с фотографией для положительных подкоманд (этап 908). Положительные подкоманды для фотографии могут включать в себя указание, что пользователь отредактировал, опубликовал, поделился или изменил ориентацию просмотра фотографии, как будет описано более подробно ниже. После обнаружения положительных подкоманд эти подкоманды могут затем быть сохранены (этап 910).

Если пользователь не выполнил операцию прокрутки к новой фотографии, то тогда посредством способа 900 записи информации взаимодействия пользователя определяют, выполнил ли пользователь операцию прокрутки к новому видео (этап 912). После того, как пользователь выполнил операцию прокрутки на новое видео, осуществляют поиск информации взаимодействия пользователя с видео для положительных подкоманд (этап 914). Положительные подкоманды для видео могут включать в себя записи, которые пользователь приостанавливал просматривать или перематывал видео. После того, как найдены положительные подкоманды для видео, эти положительные подкоманды для видео сохраняют (этап 916).

После сохранения положительных подкоманд фото или видео, завершают выполнение способа 900 записи информации взаимодействия пользователя. Полученные в результате команды взаимодействия из способа 900 записи информации взаимодействия пользователя затем могут быть ранжированы по модели взаимодействия на этапе 540 способа 530 записи информации взаимодействия и поведения.

На фиг.10А показан способ 1010 обнаружения подкоманды для фото согласно варианту осуществления. Способ 1010 обнаружения подкоманды для фото может быть более подробной иллюстрацией операций, возникающих при поиске положительных подкоманд для взаимодействия пользователя с фотографией на этапе 908 способа 900 записи информации взаимодействия пользователя. Способ 1010 обнаружения подкоманды для фото может определять, обменивается ли пользователь фотографией с другими пользователями.

Способ 1010 обнаружения подкоманды для фото начинают с обнаружения, отредактировал ли пользователь фотографию (этап 1012). Редактирование фотографии может включать в себя такие действия, как обрезка фотографии или манипулирование ею при обработке изображений. Редактирование фотографии может быть обнаружено, если, например, метаданные фотографии указывают, что оно было захвачено устройством, кроме задней камеры устройства пользователя. Если пользователь отредактировал фотографию, тогда будет сохранена положительная команда на реакцию редакции фотографии (этап 1014). Если пользователь не отредактировал фотографию, то не будет сохранена команда на реакцию редактирования. После сохранения команды на реакцию редакции фотографии, завершают выполнение способа 1010 обнаружения подкоманды для фото. Посредством определения, отредактировал ли пользователь фотографию, способ 1010 обнаружения подкоманды для фото, таким образом, измеряет, обладает ли фото достаточными признаками, вызывающими повышенный интерес для пользователя, которую они хотели бы сохранить для последующего использования.

На фиг.10В показан способ 1030 обнаружения подкоманды для фото согласно варианту осуществления. Способ 1030 обнаружения подкоманды для фото может быть более подробной иллюстрацией операций, возникающих при поиске положительных подкоманд во взаимодействиях пользователя с фотографией на этапе 908 способа 900 записи информации взаимодействия пользователя. Способ 1030 обнаружения подкоманды для фото может определять, просматривал ли пользователь фото с другими пользователями.

Способ 1030 обнаружения подкоманды для фото начинают с определения, поделился ли пользователь фотографией (этап 1032). Совместное использование фотографии может включать такие действия, как отправка по электронной почте фотографии, отправка ее с помощью SMS или публикация ее на веб-сайте социальных сетей. Если пользователь поделился фотографией, то сохраняют положительную команду реакции обмена (этап 1034). Если пользователь не поделился фотографией, то команда реакции обмена не будет сохранена. После сохранения команды реакции обмена завершают способ 1030 обнаружения подкоманды для фото. Посредством определения, поделился ли пользователь фотографией, способ 1030 обнаружения подкоманды для фото, таким образом, оценивает, достаточно ли важна для пользователя фотография, чтобы поделиться фотографией, например, с членами семьи или друзьями.

На фиг.10С показан способ 1050 обнаружения подкоманды для фото по варианту осуществления. Способ 1050 обнаружения подкоманды для фото может быть более подробной иллюстрацией операций, возникающих при поиске положительных подкоманд во взаимодействиях пользователя с фотографией на этапе 908 способа 900 записи информации пользовательского взаимодействия. Способ 1050 обнаружения подкоманды для фото может определять, использовал ли пользователь зум для фотографии.

Способ 1050 обнаружения подкоманды для фото начинается с определения, использовал ли пользователь зум для фотографии (этап 1052). Зуммирование фотографии может быть выполнено, например, посредством захвата отображения на экране устройства для увеличения масштаба в точке захвата. Если пользователь увеличил масштаб изображения, то сохраняют положительную команду реакции на изменение масштаба отображения фотографии (этап 1054). Если пользователь не увеличил масштаб изображения, то положительную команду реакции на изменение масштаба отображения фотографии не сохраняют. После сохранения положительной команды реакции на изменение масштаба отображения фотографии завершают выполнение способа 1050 обнаружения подкоманды для фото. Посредством определения, выполнил ли пользователь зуммирование фотографии, способ 1050 обнаружения подкоманды для фото, таким образом, оценивает, достаточно ли важна фотография для просмотра пользователем.

На фиг.10D показан способ 1070 обнаружения подкоманды для фото по варианту осуществления. Способ 1070 обнаружения подкоманды для фото может быть более подробной иллюстрацией операций, возникающих при поиске положительных подкоманд во взаимодействиях пользователя с фотографией на этапе 908 способа 900 записи информации пользовательского взаимодействия. Способ 1070 обнаружения подкоманды для фото может определять, изменил ли пользователь ориентацию просмотра фотографии.

Способ 1070 обнаружения подкоманды для фото начинают посредством отметки ориентации фотографии при первоначальном просмотре фотографии (этап 1072). Например, фотография может иметь портретную или альбомную ориентацию. Фотографии, имеющие ориентацию, отличную от ориентации экрана устройства, могут быть повернуты при отображении на устройстве. Как только начальная ориентация фотографии отмечена, ее сравнивают с текущей ориентацией экрана устройства пользователя, чтобы определить, имела ли фотография другую ориентацию, чем фотография на экране устройства пользователя (этап 1074). Если начальная ориентация фотографии и ориентации экрана устройства пользователя одинакова, то завершают выполнение способа 1070 обнаружения подкоманды для фото.

Если начальная ориентация фотографии и ориентация экрана устройства пользователя различна, то способ 1070 обнаружения подкоманды для фото продолжают выполнять путем определения, изменял ли пользователь ориентацию посредством поворота экрана устройства пользователя (этап 1076). Определение изменения ориентации посредством поворота может быть выполнено, например, путем изменения показаний акселерометра, встроенного в устройство пользователя. Если пользователь не повернул устройство для изменения ориентации экрана, то способ 1070 обнаружения подкоманды для фото завершают.

Если пользователь повернул устройство для изменения ориентации экрана, тогда способ 1070 обнаружения подкоманды для фото продолжают выполнять, сохраняя положительную команду реакции поворота фото (этап 1078). При сохранении положительной команды реакции поворота фото, способ 1070 обнаружения подкоманды для фото завершают. Посредством определения поворота пользователем устройства в соответствии с исходной ориентацией фотографии, способ 1070 обнаружения подкоманды для фото оценивает, достаточно ли важна фотография для лучшего просмотра пользователем.

На фиг.11 показан способ 1100 предсказания и обратной связи пользователя. Способ 1100 предсказания и обратной связи пользователя может быть более подробной иллюстрацией операций, возникающих при генерировании и представлении рекомендаций пользователю для обратной связи на этапе 542 способа 530 записи информации поведения и взаимодействия пользователя.

Способ 1100 предсказания и обратной связи пользователя начинают с представления предлагаемого мультимедийного контента пользователю (этап 1102). Как только предоставляют мультимедийный контент пользователю, запрашивают информацию обратной связи у пользователя и анализируют информацию обратной связи, чтобы определить, согласен ли пользователь с предложением или не согласен с этим предложением (этап 1104). Пользовательская обратная связь может быть, например, представлена предоставлением информации «нравиться» или «не нравится», наложенной на мультимедийный контент, при представлении пользователю. Если пользователь согласен с этим предложением, то сохраняют положительную команду обратной связи для предложения (этап 1106). Однако, если пользователь не согласен с этим предложением, тогда сохраняют отрицательную команду обратной связью для предложения (этап 1108). После того, как была сохранена команда обратной связи для мультимедийного контента, способ 1100 предсказания и обратной связи пользователя заканчивают.

Как обсуждалось выше со ссылкой на фиг.2, вид 204 автоматического предпочтительного просмотра может представлять рекомендации в соответствии с предсказанной значимостью для конкретного пользователя. Различные команды ввода могут быть более значимыми для конкретных пользователей. Представляя мультимедийные предложения пользователю и принимая информацию обратной связи, пользователем, способ 1100 предсказания и обратной связи пользователя позволяет устройству пользователя определять, какие команды являются относительно более значимыми для конкретных пользователей. Например, подкоманды редактирования или совместного использования фотографий (обсуждаемые со ссылкой на фиг.10А-10В) могут быть более значимыми для первого типа пользователя, тогда как подкоманды зума и ориентации фото (обсуждаемые со ссылкой на фиг.10С -10D) могут быть более значимым для второго типа пользователей. Таким образом, способ 1100 предсказания и обратной связи пользователя может быть частью процесса машинного обучения, в котором предоставляют информацию, какие команды являются более значимые для конкретных пользователей. Информация о значимости команд и подкоманд для каждого пользователя могут хранить в профиле, ассоциированном с каждым пользователем, и затем загружают в профиль пользователя, когда этот пользователь управляет устройством (описано со ссылкой на фиг.4).

На фиг.12 показан способ 1200 ранжирования команд по варианту осуществления. Способ 1200 ранжирования команд может быть более подробной иллюстрацией операций, происходящих при ранжировании команд или подкоманд в соответствии с различными моделями, рассмотренными выше, такими как, этап 514 на фиг. 5А или этапы 536, 540 или 544 на фиг.5В.

Способ 1200 ранжирования команд начинается с определения наличия достаточных выборок данных для ранжирования команд или подкоманд для пользователя (этап 1202). Достаточность выборок данных может быть определена, например, путем сравнения количества выборок данных с пороговым количеством. Если имеется достаточное количество выборок данных, то нормализуют весовые коэффициенты команд (этап 1204). После нормализации весовых коэффициентов команд анализируют мультимедийные файлы на устройстве и генерируют оценочные значения для каждого мультимедийного файла (этап 1206). После генерирования оценочных значений каждого мультимедийного файла, выбирают верхние 5% оценочного мультимедийного контента для рекомендации и добавляют к виду 204 автоматического предпочтительного просмотра (этап 1208). После представления вида автоматического предпочтительного просмотра с помощью рекомендованного мультимедийного контента, пользователю представляют рекомендованный мультимедийный контент и предлагают выполнить обратную связь (этап 1210). Предложение выполнить обратную связь пользователю может включать в себя, например, предоставление кнопки «нравится» или «не нравится». Как только пользователю представлен рекомендованный мультимедийный контент, способ 1200 ранжирования команд определяет, предоставил ли пользователь обратную связь для рекомендуемого мультимедийного контента (этап 1212). Если пользователь не предоставил информацию обратной связи, то завершают способ 1200 ранжирования команд.

Если пользователь отправил информацию обратной связи, тогда способ 1200 ранжирования команд продолжают выполнять с использованием обратной связи в качестве ввода обучения и повторения этапов способа 1200 ранжирования команд (этап 1212). Как обсуждалось выше со ссылкой на фиг.11, различные команды ввода могут быть более значимыми для конкретных пользователей. Использование обратной связи в качестве ввода обучения может включать в себя определение того, какие команды или подкоманды являются более значимые для конкретного пользователя, на основании обратной связи, предоставленной пользователем в ответ на рекомендуемый мультимедийный контент, представленный на этапе 1210. Вводы обучения могут быть уточнены путем повторения этапов способа 1200 ранжирования команд несколько раз, каждый раз с более новыми вводами обучения. Повторение этого процесса может более точно определять команды и подкоманды, которые более значимы для конкретных пользователей.

Фиг.13 иллюстрирует способ 1300 нормализации весового коэффициента команды по варианту осуществления. Способ 1300 нормализации весового коэффициента команды может быть более подробной иллюстрацией операций, происходящих при нормализации весовых коэффициентов команд на этапе 1204 способа 1200 ранжирования команд.

Способ 1300 нормализации весового коэффициента команды начинают с чтения стандартной таблицы веса (этап 1302). Стандартная таблица весового коэффициента может быть задана или сохранена на устройстве пользователя и может служить отправной точкой для уточнения информации обратной связи, используемой для генерации вводов обучения. Стандартная таблица весового коэффициента включает в себя весовые коэффициенты информации поведения и взаимодействия, которые ожидают от обычного пользователя, например, «модель поведения пользователя». После того, как стандартная таблица весового коэффициента была прочитана, вычисляют процент положительной информации обратной связи из всей доступной информации обратной связи в командах ввода (этап 1304). После вычисления процента положительной обратной связи его сравнивают с пороговым значением t_f1, чтобы определить, превышает ли процент положительной обратной связи t_f1 (этап 1306). В некоторых вариантах осуществления пороговое значение t_f1 составляет около 60% от объема положительной информации обратной связи в командах ввода.

Если процент положительной обратной связи в командах ввода превышает пороговое значение t_f1, понижают весовой коэффициент команды (этап 1308). Весовые коэффициенты команд могут быть уменьшены путем уменьшения веса каждой команды на заданный шаг. Заданный шаг для каждой команды может быть определен в соответствии с процентилем веса этой команды. Например, команды в верхних 10% весовых коэффициентов могут быть понижены на более большой шаг, чем команды в верхних 50% весовых коэффициентах. Вес команд может быть снижен до тех пор, пока вес каждой команды не будет приблизительно равен шагу, ассоциированному со следующим уменьшением весового коэффициента для этой команды.

После того, как весовые коэффициенты команд будут снижены или, если процент положительной обратной связи в командах ввода меньше порогового значения t_f1, тогда вновь вычисляют процент положительной обратной связи и сравнивают с пороговым значением t_f2, чтобы определить, меньше ли процент положительной обратной связи меньше этого порогового значения (этап 1310). В некоторых вариантах осуществления пороговое значение t_f2 составляет около 30% объема положительной обратной связи в командах ввода. Если процент положительной обратной связи в командах ввода меньше порогового значения t_f2, тогда повышают весовые коэффициенты команд (этап 1312). Весовые коэффициенты команд могут быть повышены путем увеличения весового коэффициента каждой команды на заданный шаг. Заданный шаг для каждой команды может быть определен в соответствии с процентилем для весового коэффициента этой команды. Например, сигналы в нижней части 10% весовых коэффициентов могут быть увеличены на более большой шаг, чем команды в нижней части 50% весовых коэффициентов.

После регулировки весовых коэффициентов команд, затем нормализуют весовые коэффициенты команд (этап 1314). Весовые коэффициенты команд могут быть нормализованы путем суммирования всех весовых коэффициентов и затем деления каждого весового коэффициента на эту сумму. После регулировки весовых коэффициентов команд, затем используют команды в качестве обратной связи для обновления или изменения весовых коэффициентов в таблице стандартного веса (этап 1316). Поведение конкретного пользователя, скорее всего, не будет точно следовать модели поведения пользователя из стандартной таблицы весового коэффициента. Таким образом, различия между поведением конкретного пользователя и моделью поведения пользователя могут приводить к предсказаниям величины смещения. Отрегулированные весовые коэффициенты из стандартной таблицы весового коэффициента могут уменьшить величину данного смещения. При выполнении регулировки стандартного весового коэффициента способ 1300 нормализации весового коэффициента команды завершают.

Фиг.14 иллюстрирует способ 1400 генерирования оценочного значения по варианту осуществления. Способ 1400 генерирования оценочного значения может быть более подробной иллюстрацией операций, возникающих при генерировании оценочного значения для каждой фотографии или видео, на этапе 1206 способа 1200 ранжирования команд.

Способ 1400 генерирования оценочного значения начинают с определения, является ли команда двоичным значением или словом (этап 1402). Команда может быть двоичным значением, когда команда просто указывает значение «верно» или «ложное», что коррелирует с наличием или отсутствием положительной или отрицательной реакции. Бинарные команды могут включать в себя такие сигналы, как улыбка или раздражение при распознавании выражения лица пользователя. Если команда представляет собой двоичное значение, то для получения положительных результатов команде присваивают оценочное значение 1 и оценочное значение 0 для отрицательных результатов (этап 1404).

Если команда не является двоичным значением, то команда является значением слова. Команда может быть значением слова, когда команда измеряет дискретную метрику. Команда слово может включать в себя такие команды, как время просмотра, количество просмотров, количество совместных просмотров в социальных сетях и т.д. Если команда является значением слова, тогда вычисляют максимальное значение для команды (этап 1406). Максимальное значение для команды вычисляют путем определения максимального значения для команды во всех рассмотренных изображениях. Например, максимальное значение для команды времени просмотра определяют путем измерения времени просмотра для каждого рассмотренного изображения, и затем, принимая максимальное значение этих измерений в качестве максимального значения. В некоторых вариантах осуществления вместо вычисления максимального значения каждый раз, максимальное значение для конкретных команд может быть вычислено и храниться периодически, и затем извлекаться, когда это необходимо. После вычисления или извлечения максимального значения для команды, нормализуют значение команды путем деления текущего значения команды на максимальное значение для команды (этап 1408). Например, если одна из рассмотренных команд представляет собой время просмотра и определяют максимальное значение для времени просмотра как 60 секунд, то для фотографии со временем просмотра 45 секунд нормализованное значение для команды времени просмотра этой фотографии будет рассчитано как: 45 ÷ 60 = 0,75.

Как только оценочное значение было назначено каждой команде для каждой фотографии или видео, вычисляют исходное оценочное значение путем умножения нормализованного значения каждой команды на весовой коэффициент этой команды (этап 1410). Продолжая описание примера вышеприведенной фотографии, если весовой коэффициент команды времени просмотра определяют равным 0,5, то тогда исходное оценочное значение команды времени просмотра фотографии будет рассчитано как: 0,5 × 0,75 = 0,375.

Как только исходное оценочное значение было рассчитано каждой команды для каждого изображения, вычисляют коэффициент корреляции для фотографии или видео (этап 1412). Коэффициент корреляции вычисляют путем сравнения одной или нескольких команд для фотографии или видео с опорной фотографией или видео. Коэффициенты корреляции помогают повысить точность предсказания, распознавая шаблоны в предсказаниях с более высокой достоверностью или обратной связи пользователя. Затем вычисляют коэффициент обучения для каждой команды на основании информации обратной связи пользователя (этап 1414). Информация обратной связи пользователя может быть информацией обратной связи, полученной, например, с помощью способа 1100 предсказания и обратной связи пользователя. Наконец, вычисляют оценочное значение изображения путем суммирования исходных оценочных значений, коэффициентов корреляции и коэффициента обучения (этап 1414). Таким образом, вычисляют оценочное значение изображения по формуле:

при этом, s_img является оценочным значением изображения, t представляет собой общее количество команд, w_n является весовым коэффициентом команды, p_n является значением для команды, w_c является весовым коэффициентом корреляции команды, p_c является значением корреляции команды и f является коэффициентом обучения. После вычисления оценочного значения изображения завершают выполнение способа 1400 генерирования оценочного значения. Затем могут сравнивать оценочные значения изображений, и пользователю рекомендуют изображения, имеющие наиболее высокие оценочные значения.

Таблица 1, показанная ниже, иллюстрирует результаты оценочных значений двух примерных изображений с использованием вариантов осуществления.

Таблица 1

Фотография 1 Фотография 2 Команда Весовой коэффициент Определенный показатель данных Оценка Определенный показатель данных Оценка Общее время просмотра 0.50 60 секунд 0.50 5 секунд 0 Количество просмотров 0.1 10 просмотров 0.1 2 просмотра 0 Количество совместных просмотров 0.15 3 раза 0.15 0 раз 0 Сопоставление ориентации 0.05 8 раз 0.05 1 раз 0 Захвачено внешней камерой 0.02 Да 0.02 Нет 0 Редактирование 0.05 Да 0.05 Нет 0 Реакция пользователя 0.10 Улыбка 0.10 Нет реакции 0 Зум 0.02 3 раза 0.02 1 рах 0.02 Общая оценка 0.99 Общая оценка 0.02

Как можно видеть выше в таблице 1, были ранжированы два примера фотографий в соответствии с весовым коэффициентом и значениями их команд. Фотография 1 имеет высокое время просмотра и высокое значение количества совместного просмотра, изменения ориентации просмотра и использования зуммирования. Соответственно, было вычислено оценочное значение фотографии 1 равное 0,99, что указывает на относительно высокую вероятность того, что эта фотография будет значимой для пользователя. Напротив, фотография 2 имеет относительно низкое время просмотра и значение количества совместного просмотра, изменения ориентации просмотра и использования зуммирования. Соответственно, было вычислено оценочное значение фотографии 2 равное 0,02, что указывает на относительно низкую вероятность того, что эта фотография будет значимой для пользователя. Таким образом, фотография 1 будет рекомендована пользователю, и фотография 2 не будет рекомендована пользователю.

Несмотря на то, что было приведено подробное описание изобретения, следует понимать, что могут быть сделаны различные изменения, замены и изменения без отклонения от сущности и объема настоящего изобретения, как определено прилагаемой формулой изобретения. Кроме того, объем настоящего изобретения не огранивают конкретными вариантами осуществления, описанными в настоящем документе, так как для специалиста в данной области очевидно, что способы, машины, производство, композиции, средство, способы или этапы, применяемые в настоящее время, или потенциально возможные в будущем, могут выполнять, по существу, одну и ту же функцию или достигать, по существу, того же результата, что и соответствующие описанные в настоящем документе варианты осуществления. Соответственно, прилагаемая формула изобретения определяет объем таких процессов, машин, процесса изготовления, композиции, средств, способов или этапов.

Изобретение относится к области управления мультимедийным контентом, а именно к предоставлению пользователю наиболее значимого для него мультимедийного контента на основании поведенческих и интерактивных команд пользователя. Техническим результатом является обеспечение возможности автоматического предоставления значимого контента пользователям. Для этого с целью рекомендации контента на основании поведения пользователя активируют устройства датчика на устройстве пользователя в ответ на запрос пользователя на мультимедийную операцию, выполняют мультимедийную операцию для мультимедийного контента, осуществляют идентификацию, в ответ на мультимедийную операцию, поведенческих и интерактивных команд пользователя посредством устройства датчика непосредственно при выполнении мультимедийной операции, и обновляют рекомендации из набора мультимедийного контента, включающего в себя мультимедийный контент, представленного идентифицируемыми поведенческими и интерактивными командами. Затем представляют пользователю обновленную рекомендацию, запрашивают обратную связь от пользователя в ответ на представление обновленной рекомендации, осуществляют классификацию данных обратной связи от пользователя на положительную реакцию или отрицательную реакцию на формирование команд обратной связи и осуществляют дополнительное обновление рекомендации из набора мультимедийного контента в соответствии с командами обратной связи. 4 н. и 22 з.п. ф-лы, 19 ил., 1 табл.

1. Способ рекомендации контента на основании поведения пользователя, содержащий этапы, на которых:

активируют устройства датчика на устройстве пользователя в ответ на запрос пользователя на мультимедийную операцию;

выполняют мультимедийную операцию для мультимедийного контента;

осуществляют идентификацию, в ответ на мультимедийную операцию, поведенческих и интерактивных команд пользователя посредством устройства датчика непосредственно при выполнении мультимедийной операции;

обновляют рекомендации из набора мультимедийного контента, включающего в себя мультимедийный контент, представленного идентифицируемыми поведенческими и интерактивными командами;

представляют обновленную рекомендацию пользователю;

запрашивают обратную связь от пользователя в ответ на представление обновленной рекомендации;

осуществляют классификацию данных обратной связи от пользователя на положительную реакцию или отрицательную реакцию на формирование команд обратной связи; и

осуществляют дополнительное обновление рекомендации из набора мультимедийного контента в соответствии с командами обратной связи.

2. Способ по п. 1, в котором этап идентификации поведенческих и интерактивных команд пользователя содержит подэтапы, на которых:

осуществляют поиск мультимедийных подкоманд в поведенческих и интерактивных командах; и

осуществляют классификацию мультимедийных подкоманд на положительные реакции или отрицательные реакции.

3. Способ по п. 2, в котором этап поиска мультимедийных подкоманд содержит подэтап, на котором формируют мультимедийные подкоманды в ответ на период времени просмотра мультимедийного контента.

4. Способ по п. 2, в котором этап поиска мультимедийных подкоманд содержит подэтап, на котором формируют мультимедийные подкоманды в ответ совместное использование мультимедийного контента пользователем.

5. Способ по п. 2, в котором этап поиска мультимедийных подкоманд содержит подэтап, на котором формируют мультимедийные подкоманды в ответ на редактирование мультимедийного контента пользователем.

6. Способ по п. 2, в котором этап поиска мультимедийных подкоманд содержит подэтап, на котором формируют мультимедийные подкоманды в ответ на применение масштабирования мультимедийного контента пользователем.

7. Способ по п. 2, в котором этап поиска мультимедийных подкоманд содержит подэтап, на котором формируют мультимедийные подкоманды в ответ на поворот пользователем устройства пользователя, с целью приведения в соответствие ориентации устройства пользователя с ориентацией мультимедийного контента.

8. Способ по п. 1, в котором этап идентификации поведенческих и интерактивных команд пользователя содержит подэтапы, на которых:

осуществляют захват изображения выражения лица пользователя с помощью устройства датчика; и

осуществляют распознавание выражения лица пользователя для формирования поведенческих и интерактивных команд.

9. Способ по п. 8, в котором этап распознавания выражений лица содержит подэтап, на котором осуществляют классификацию изображения выражения лица пользователя на положительную реакцию выражения лица, отрицательную реакцию выражения лица или отсутствие реакции выражения лица.

10. Способ по п. 8, в котором этап распознавания выражений лица содержит подэтап, на котором осуществляют распознавание взгляда пользователя, когда пользователь смотрит на точку пристального внимания на экране устройства пользователя.

11. Способ по п. 1, в котором этап идентификации поведенческих и интерактивных команд пользователя содержит подэтапы, на которых:

осуществляют захват данных об окружающей обстановке с помощью устройства датчика; и

осуществляют анализ данных об окружающей обстановке для формирования поведенческих и интерактивных команд.

12. Способ по п. 11, в котором этап захвата данных об окружающей обстановке содержит подэтап, на котором осуществляют захват звука с помощью воспринимающего устройства во время выполнения мультимедийной операции.

13. Способ по п. 11, в котором этап захвата данных об окружающей обстановке содержит подэтапы, на которых:

осуществляют захват видео с помощью устройства датчика;

осуществляют распознавание лиц для обнаружения объектов в видео; и

осуществляют корреляцию объектов в видео с записями в списке контактов в устройстве пользователя.

14. Способ по п. 1, в котором мультимедийная операция содержит захват фотографии или видео.

15. Способ по п. 1, в котором мультимедийная операция содержит отображение фотографии или видео.

16. Способ рекомендации контента на основании поведения пользователя, содержащий этапы, на которых:

предоставляют множество мультимедийных данных на устройстве пользователя;

осуществляют захват поведенческих и интерактивных действий пользователя посредством устройства датчика при обращении пользователя к мультимедийному контенту;

осуществляют анализ поведенческих и интерактивных действий для формирования мультимедийных команд;

назначают весовые коэффициенты каждой из мультимедийных команд;

генерируют оценочное значение для каждого из множества мультимедийных контентов в соответствии с весовыми коэффициентами и мультимедийными командами;

представляют рекомендации мультимедийного контента пользователю в соответствии с оценочными значениями;

запрашивают данные обратной связи от пользователя в ответ на представление обновленной рекомендации; и

обновляют рекомендации подмножества мультимедийного контента в соответствии с данными обратной связи.

17. Способ по п. 16, дополнительно содержащий этапы, на которых:

регулируют весовые коэффициенты для каждой из мультимедийных команд в соответствии с поведенческими и интерактивными действиями пользователя; и

осуществляют нормирование весовых коэффициентов.

18. Способ по п. 16, в котором этап генерирования оценочных значений для каждого из множества мультимедийных контентов содержит подэтапы, на которых:

вычисляют и суммируют исходные оценочные значения для каждой из мультимедийных команд в соответствии с весовыми коэффициентами;

вычисляют и применяют коэффициенты корреляции к исходным оценочным значениям; и

применяют коэффициенты обучения к исходным оценочным значениям для формирования оценочных значений.

19. Способ по п. 18, в котором этап формирования оценочных значений содержит вычисление оценочных значений по формуле:

при этом t представляет собой общее количество мультимедийных команд, w_n является весовым коэффициентом мультимедийной команды, p_n является значением мультимедийной команды, w_c является весовым коэффициентом корреляции, p_c является значением коэффициента корреляции и f является коэффициентом обучения.

20. Устройство рекомендации контента на основании поведения пользователя, содержащее:

устройство датчика;

процессор; и

машиночитаемый носитель данных, хранящий программу, подлежащую выполнению процессором, причем программа содержит инструкции, вызывающие выполнение способа, содержащего этапы, на которых:

активируют устройство датчика в ответ на запрос пользователя на мультимедийную операцию;

осуществляют идентификацию поведенческих и интерактивных команд пользователя посредством устройства датчика, при выполнении мультимедийной операции;

ассоциируют поведенческие и интерактивные команды с мультимедийной операцией;

осуществляют ранжирование мультимедийного контента в соответствии с моделью, при этом модель включает в себя поведенческие и интерактивные команды; и

предоставляют рекомендации подмножества мультимедийного контента пользователю в соответствии с рангом мультимедийного контента;

предоставляют мультимедийный контент пользователю;

запрашивают обратную связь от пользователя в ответ на предоставление мультимедийного контента;

осуществляют классификацию данных обратной связи от пользователя на положительную реакцию или отрицательную реакцию на формирование команд обратной связи; и

осуществляют дополнительное ранжирование мультимедийного контента в соответствии с моделью, при этом модель включает в себя команды обратной связи и поведенческие и интерактивные команды.

21. Устройство по п. 20, в котором инструкции для идентификации поведенческих и интерактивных команд дополнительно содержат инструкции, вызывающие захват и анализ звуков окружающей обстановки для формирования поведенческих и интерактивных команд.

22. Устройство по п. 20, в котором инструкции для идентификации поведенческих и интерактивных команд дополнительно содержат команды, вызывающие захват и распознавание выражений лица пользователя для формирования поведенческих и интерактивных команд.

23. Устройство по п. 20, в котором инструкции для идентификации поведенческих и интерактивных команд дополнительно содержат инструкции, вызывающие поиск подкоманд для фотографий в мультимедийном контенте и классификации подкоманд для фотографии в качестве положительных реакций или отрицательных реакций для формирования поведенческих и интерактивных команд.

24. Устройство рекомендации контента на основании поведения пользователя, содержащее:

устройство датчика;

память, хранящую множество мультимедийных данных;

процессор; и

машиночитаемый носитель данных, хранящий программу, подлежащую выполнению процессором, причем программа содержит инструкции, вызывающие:

прием запроса от пользователя на выполнение мультимедийной операции;

выполнение мультимедийной операции при извлечении данных с помощью воспринимающего устройства;

обновление рекомендации подмножества мультимедийного контента в соответствии с запросом и извлеченными данными;

представление обновленной рекомендации пользователю;

запрос данных обратной связи от пользователя в ответ на представление обновленной рекомендации; и

дополнительное обновление рекомендации подмножества мультимедийного контента в соответствии с данными обратной связи.

25. Устройство по п. 24, в котором инструкции для извлечения данных устройством датчика дополнительно содержат инструкции, вызывающие определение поведения пользователя с помощью устройства датчика.

26. Устройство по п. 24, в котором устройство датчика является микрофоном или фронтальной камерой.