СПОСОБ ЭЛЕКТРОННОЙ КОММЕРЦИИ ЧЕРЕЗ ОБЩЕСТВЕННУЮ ВЕЩАТЕЛЬНУЮ СРЕДУ Российский патент 2021 года по МПК G06Q30/06 G06Q50/10 H04N21/254 H04N21/431 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области электронной коммерции и, более конкретно, к способу электронной коммерции через общественную вещательную среду. Кроме того, изобретение также относится к соответствующей системе электронной коммерции, реализуемой различными сочетаниями аппаратных и программных компонентов.

Уровень техники

Развитие технологий и средств электросвязи и доступа ко всемирным сетям хранения, обработки и передачи информации, таким как сеть Интернет, привело с существенному расширению возможностей электронной коммерции с использованием средств электросвязи и информационных сетей. Этому способствуют различные технологии, которые, в частности, позволяют потребителю с лёгкостью получать информацию об интересующих товарах и услугах, а также дистанционно приобретать заинтересовавшие товары и услуги.

В то же время, значительный вклад в коммерцию продолжает вносить общественная вещательная среда посредством информирования потребителей о товарах и услугах различными способами. Вклад в коммерцию также вносит кинематографическая индустрия, где широко используется такой приём привлечения внимания потребителя к товару или услуге, как размещение товара («продакт-плейсмент») в одной или более сценах видеофильма, телевизионного фильма, телевизионного шоу, потокового видео и т.п., что может мотивировать потребителя приобрести товар или услугу. Однако в течение долгого времени недостатком общественной вещательной среды как средства коммерции оставалась невозможность извлечения потребителем дополнительной информации о заинтересовавшем товаре или услуге из потока вещания. То есть, в типичной ситуации, потребитель может получить информацию, которая поможет ему приобрести товар или услугу, по существу только из теле- или радиорекламы, в которой сообщаются контактные данные, по которым потребитель может сделать заказ или получить дополнительную информацию. Однако и в этом случае для совершения покупки потребителю необходимо выполнить дополнительные действия, в частности по меньшей мере каким-то образом сохранить эти контактные данные, после чего прибегнуть к соответствующим средствам связи для заказа товара или услуги. Необходимость таких дополнительных действий затрудняет приобретение товаров и услуг и снижает эффективность общественной вещательной среды как средства коммерции.

В случае с кинематографическими произведениями, потребителю по понятным причинам не сообщается и такая контактная информация, что заставляет его искать информацию о заинтересовавшем товаре или услуге и возможности его приобретения совершенно иными средствами. Это делает продвижение товара и услуги при помощи общественной вещательной среды и, соответственно, приобретение товара или услуги затруднительным и неудобным, в связи с чем общественная вещательная среда явно уступает информационным сетям в плане возможностей для коммерции.

В недавние годы появились средства, позволяющие извлекать некоторую дополнительную информацию из потока вещания общественной вещательной среды. В качестве примера таких средств можно привести кроссплатформенный проект Shazam (см., например, https://www.shazam.com/ru/company), который позволяет пользователю мобильного устройства определить по меньшей мере название и исполнителя музыкальной композиции, проигрываемой в данный момент в радио- или телетрансляции, в кинофильме или в клубе. Пользователь записывает фрагмент проигрываемой музыкальной композиции посредством микрофона своего мобильного устройства. Затем приложение сравнивает записанный фрагмент с аудиозаписями, сохранёнными в центральной базе данных, и при успешном сравнении выдаёт пользователю информацию о музыкальной композиции. Кроме того, приложение также может выдавать пользователю ссылку на онлайн-ресурс, где пользователь может прослушать композицию, посмотреть видеоклип и т.п., а также на ресурс, где пользователь может приобрести аудиофайл с музыкальной композицией на своё мобильное устройство или получить доступ к нему для прослушивания на платной основе. Недостатком данного решения с точки зрения электронной коммерции является то, что реализуемые продукты сводятся по существу к музыкальным композициям, которые можно предоставлять для прослушивания или приобретения на платной основе.

Известен способ электронной коммерции через общественную вещательную среду, раскрытый в патенте РФ №2637461 (Моро-Годри Жан Мишель, Розелли Кристофер Майкл, опубликован 04.12.2017, МПК G06Q 30/02, G06Q 30/06, H04N 21/00). Известный способ обеспечивает пользователю возможность одновременного совершения операции покупки и просмотра контента медийного источника развлечений. Для этого показываемый пользователю контент снабжается метаданными о контенте и гиперметаданными о продуктах и услугах, размещённых в сцене медийного источника развлечений. Способ предусматривает первоначальную регистрацию пользователя в системе и дальнейшие вход в эту систему и просмотр контента, который представляет собой, например, конкретный фильм, шоу и т.п. В процессе просмотра пользователь, используя пульт дистанционного управления, компьютерную мышь, голосовую команду, команду жестом или другое переключающее устройство, имеет возможность поставить воспроизводимый контент на паузу, выбрать из сцены заинтересовавший его объект, например – предмет одежды, носимый в конкретной сцене персонажем видеоконтента, и переместить этот объект в «корзину», попутно определив размер, цвет платья и т.п. информацию об указанном предмете. Пользователь оплачивает продукт и, завершая паузу, продолжает просмотр видеконтента, в том числе, до следующей покупки по вышеописанному сценарию. К недостаткам прототипа можно отнести, во-первых, необходимость остановки просмотра видеоконтента для совершения покупки и, во-вторых, ограниченность контента, который может быть использован для совершения покупки, тем, который проигрывается в системе, что исключает возможность использования для этой цели контента из широкого круга источников.

Известен способ электронной коммерции, раскрытый в источнике US 2019052925 (KUBE IT INC., опубликован 14.02.2019), который позволяет пользователю просматривать видеоконтент и выбирать товары, демонстрируемые в видеоконтенте, для последующего приобретения, или получать дополнительную информацию о видеоконтенте, без необходимости прерывания просмотра видеоконтента. В известном способе генерируют посредством клиентского устройства образец сигнала на основании по меньшей мере одного из аудио- или видеосигнала, выдаваемого устройством воспроизведения, которое воспроизводит записанный видеоконтент, содержащий звуковую дорожку, причём устройство воспроизведения отлично от клиентского устройства. Клиентское устройство получает информацию, относящуюся к товару, изображённому в воспроизводимом видеоконтенте, из которого сформирован образец сигнала, на основании этого образца сигнала при его передаче на соответствующий сервер. Получаемая клиентским устройством информация выдаётся сервером в виде объекта данных, содержащего информацию об одном или более товарах, изображённых в воспроизводимом видеоконтенте, ссылку на веб-сайт, где можно приобрести упомянутые один или более товаров. К недостаткам данного известного решения можно отнести низкое качество идентификации объектов в воспроизводимом видеоконтенте вследствие формирования объектов данных на основании только автоматического распознавания товаров в кадрах воспроизводимого видеоконтента, что приводит к необходимости коррекции результатов распознавания с использованием ввода от пользователей, просматривающих видеоконтент и, как следствие, к высокой сложности и ненадёжности идентификации товаров. Кроме того, известное решение не позволяет отображать пользователю данные об услугах, которые могут быть ассоциированы с демонстрируемыми в кадрах видеоконтента объектами.

Раскрытие изобретения

С учётом вышеуказанных недостатков известного уровня техники, техническая проблема, решаемая настоящим изобретением, состоит в создании способа электронной коммерции, который позволял бы пользователю приобретать товар и/или услугу, демонстрируемые в одной или более сценах видеоконтента из потока вещания общественной вещательной среды. Технический результат, достигаемый при использовании заявляемого изобретения, заключается в обеспечении идентификации товаров и/или услуг, представленных в кадрах видеоконтента, транслируемого общественной вещательной средой. Это, в частности, позволяет упростить для пользователя приобретение заинтересовавшего товара и/или услуги на основании потока вещания общественной вещательной среды.

В первом аспекте изобретения данная задача решается способом электронной торговли через общественную вещательную среду, причём общественная вещательная среда выполнена с возможностью трансляции видеоконтента, содержащего поток аудиоданных, синхронизированный с потоком видеоданных, при этом способ содержит этапы, на которых:

- воспроизводят видеоконтент, транслируемый общественной вещательной средой, на устройстве воспроизведения видеоконтента;

- выполняют посредством пользовательского устройства запись по меньшей мере одного фрагмента аудиоданных, соответствующего воспроизводимому видеоконтенту;

- передают по меньшей мере один записанный фрагмент аудиоданных с пользовательского устройства на сервер посредством сети передачи данных;

- сопоставляют на сервере принятый по меньшей мере один фрагмент аудиоданных с по меньшей мере одним кадром из потока видеоданных, причём упомянутый поток видеоданных соответствует видеоконтенту, транслируемому общественной вещательной средой;

- идентифицируют товары и/или услуги, представленные в упомянутых одном или более кадрах потока видеоданных;

- формируют одну или более ссылок на сетевые ресурсы, соответствующие идентифицированным товарам и/или услугам; и

- передают сформированные одну или более ссылок в пользовательское устройство посредством сети передачи данных.

Во втором аспекте изобретения данная задача решается системой электронной торговли через общественную вещательную среду, причём общественная вещательная среда выполнена с возможностью трансляции видеоконтента, содержащего поток аудиоданных, синхронизированный с потоком видеоданных, при этом система содержит:

- устройство воспроизведения видеоконтента, соединённое с общественной вещательной средой и выполненное с возможностью воспроизведения видеоконтента, транслируемого общественной вещательной средой;

- пользовательское устройство, соединённое с сетью передачи данных, выполненное с возможностью:

записи по меньшей мере одного фрагмента аудиоданных, соответствующего воспроизводимому видеоконтенту;

передачи по меньшей мере одного фрагмента аудиоданных на сервер посредством сети передачи данных;

приёма одной или более ссылок посредством сети передачи данных;

- сервер, соединённый с одной или более базами данных, причём сервер выполнен с возможностью:

приёма по меньшей мере одного записанного фрагмента аудиоданных от пользовательского устройства посредством сети передачи данных;

сопоставления принятого по меньшей мере одного фрагмента аудиоданных с потоком видеоданных, причём упомянутый поток видеоданных соответствует видеоконтенту, транслируемому общественной вещательной средой;

идентификации на основании упомянутого сопоставления одного или более кадров потока видеоданных;

идентификации товаров и/или услуг, представленных на упомянутых одном или более кадрах потока видеоданных;

формирования одной или более ссылок на сетевые ресурсы, соответствующие идентифицированным товарам и/или услугам; и

передачи сформированных одной или более ссылок в пользовательское устройство посредством сети передачи данных.

Кроме того, специалистам в данной области техники будет очевидно, что изобретательский замысел технического решения, раскрытого в настоящей заявке, может быть реализован в виде других объектов, таких как, в качестве неограничивающего примера, одно или более устройств, компьютерный программный продукт и машиночитаемый носитель, на котором сохранён упомянутый компьютерный программный продукт.

Краткое описание чертежей

На Фиг. 1 представлена блок-схема способа электронной торговли через общественную вещательную среду в соответствии с вариантом выполнения изобретения.

На Фиг. 2 представлена принципиальная блок-схема системы электронной торговли в соответствии с настоящим изобретением.

Осуществление изобретения

Предлагаемое изобретение относится к способу электронной торговли (далее также называется электронной коммерцией) через общественную вещательную среду. Под понятием «электронная коммерция» в контексте настоящего изобретения понимается реализация товаров и/или услуг, и/или стимулирование спроса на товары и/или услуги. Объектом «электронной торговли (коммерции)» в заявляемом изобретении являются товары и/или услуги, представленные в одной или более сценах видеоконтента, транслируемого общественной вещательной средой, либо их визуально сходные аналоги. Под товаром и/или услугой в контексте настоящего изобретения следует понимать любой визуальный образ, демонстрируемый в конкретной сцене, содержащейся в видеоконтенте, в частности любые товары: одежда, в том числе одежда на персонажах, аксессуары, косметика, предметы утвари, интерьера, персональные транспортные средства и т.п., а также образы, для которых существует очевидная и применимая в рекламе ассоциативная связь (например, Эйфелева башня - авиабилеты и бронь отеля в Париже). Под термином «услуга» следует также понимать определенные коммерческие услуги, которые могут демонстрироваться в сцене видеоконтента, такие как, в качестве неограничивающего примера, услуги гостиниц, ресторанов, объектов индустрии развлечений и т.п.

В результате работы способа и системы согласно изобретению пользователь (например, телезритель) может получить ссылку на объект, который он видит в конкретной сцене просматриваемого контента, или аналог такого объекта, указанный вручную или подобранный при посредстве подсистемы автоматической разметки контента, использующей технологии компьютерного зрения и нейронных сетей для распознавания образов объектов, присутствующих на изображении одного или более кадров сцены видеоконтента. Под ссылкой подразумевается URL товара в интернет-магазине, выдаваемый пользователю (по его выбору) непосредственно в момент просмотра или сохраняемый в личном кабинете пользователя в системе.

В наиболее предпочтительном варианте выполнения изобретения работа способа и, в частности, этапы, обеспечивающие вышеупомянутый подбор объекта или его аналога основан на метаданных, которые предварительно получены с помощью баланса автоматического распознавания (посредством подсистемы автоматической разметки контента) и полуавтоматического редактирования файлов с метаданными, указывающими на соответствующий объект или его аналог.

Первый аспект настоящего изобретения относится к способу электронной коммерции через общественную вещательную среду, причём общественная вещательная среда выполнена с возможностью трансляции видеоконтента, содержащего поток аудиоданных, синхронизированный с потоком видеоданных. В качестве неограничивающего примера, общественная вещательная среда может представлять собой сеть телевизионного вещания, кабельную сеть телевизионного вещания или систему распространения контента с использованием сети Интернет. Кроме того, настоящее изобретение может быть реализовано и в иной общественной среде просмотра видеоконтента, такой как, например, кинотеатр.

В соответствии со способом согласно изобретению, проиллюстрированным на Фиг. 1, на этапе S1 общественная вещательная среда транслирует видеоконтент, который воспроизводится на устройстве воспроизведения видеоконтента, которое может быть специализированным устройством, таким как, в качестве неограничивающего примера, телевизор, либо неспециализированным устройством, снабжённым специализированным программным обеспечением, таким как, в качестве неограничивающего примера, смартфон, компьютер общего назначения и т.п.

На этапе S2 пользователь выполняет запись по меньшей мере одного фрагмента аудиоданных, соответствующего воспроизводимому видеоконтенту, посредством принадлежащего ему пользовательского устройства. В контексте настоящего изобретения, пользовательское устройство может представлять собой, в качестве неограничивающего примера, мобильный телефон, смартфон, планшетный компьютер, смарт-часы. Данный перечень не является исчерпывающим – по существу, в качестве пользовательского устройства согласно изобретению может использоваться любое устройство, содержащее микрофон, программные средства и память для записи аудиоданных, и средства соединения с сетью передачи данных для передачи записанного фрагмента аудиоданных.

Записываемый фрагмент аудиоданных может иметь произвольную длину, однако в общем случае он является небольшим, например длиной 1-3 секунды. В предпочтительном варианте выполнения изобретения фрагмент аудиоданных имеет длину в 5 секунд. Записанный фрагмент аудиоданных может сохраняться в памяти пользовательского устройства в любом формате, общеизвестном в данной области техники, в зависимости от типа конкретного пользовательского устройства и установленной на нём операционной системы, в качестве неограничивающего примера – в формате .wav.

На этапе S3 по меньшей мере один записанный фрагмент аудиоданных передаётся с пользовательского устройства на сервер системы электронной коммерции посредством сети передачи данных. В качестве сети передачи данных может использоваться любая известная беспроводная или проводная сеть передачи данных. В качестве неограничивающего примера, это может быть, например, глобальная система мобильной связи (GSM), система множественного доступа с кодовым разделением (CDMA), система широкополосного множественного доступа с кодовым разделением (WCDMA), система долгосрочного развития (LTE), универсальная система мобильной связи (UMTS) или будущая система 5G и т.п., либо, например, любая известная сеть широкополосного доступа в Интернет.

На этапе S4 принятый сервером по меньшей мере один фрагмент аудиоданных сопоставляется с по меньшей мере одним кадром потока видеоданных. Поток видеоданных соответствует видеоконтенту, транслируемому общественной вещательной средой. Как и в случае с видеоконтентом, транслируемым общественной вещательной средой, поток видеоданных может быть синхронизирован с потоком аудиоданных, который сохраняется на сервере системы электронной коммерции. Соответственно, упомянутое сопоставление может представлять собой поиск корреляции записанного фрагмента аудиоданных, принятого сервером, с упомянутым потоком аудиоданных.

Сам поток видеоданных, с которым сопоставляется записанный фрагмент аудиоданных, заранее выдается системе электронной коммерции правообладателем видеоконтента. Система электронной коммерции извлекает из потока видеоданных по нескольку кадров в секунду, в качестве неограничивающего примера – по меньшей мере по 1 кадру на секунду, и сохраняет извлечённые кадры на сервере. Сервер соединён с базой данных, в которой хранятся идентификаторы извлечённых кадров. На основании упомянутых идентификаторов извлечённые кадры получаются с сервера пользовательским устройством.

В результате упомянутого сопоставления сервер идентифицирует один или более кадров потока видеоданных, которые предположительно соответствуют сцене из транслируемого видеоконтента, в которой представлен заинтересовавший пользователя товар и/или услуга. Для идентификации одного или более кадров используются их идентификаторы, сохранённые в базе данных, соединённой с сервером, как указано выше.

На этапе S5 сервер идентифицирует товары и/или услуги, представленные в идентифицированных одном или более кадрах. В различных вариантах выполнения способа согласно изобретению идентификация товаров и/или услуг в кадрах может выполняться двумя различными способами.

В одном варианте выполнения изобретения, система электронной коммерции осуществляет предварительную подготовку потока видеоданных, полученного от правообладателя, в процессе которой она снабжает кадры, извлечённые из потока видеоданных, метаданными, идентифицирующими товары и/или услуги. Эти метаданные используются для идентификации товаров и/или услуг в кадрах. Для этого кадры, извлечённые системой из видеопотока, размечаются метками объектов, содержащими координаты объекта и по меньшей мере одну ссылку (URL) и изображение объекта. Эти метки и представляют собой упомянутые метаданные. Координаты (x,y) каждого объекта, присутствующего в кадре, представляют собой координаты в пикселях изображения кадра. За точку отсчёта координат могут быть приняты разные части кадра, в качестве неограничивающего примера это может быть верхний левый угол кадра, однако возможные точки отсчёта не ограничены верхним левым углом, и в различных вариантах выполнения изобретения возможны и другие точки отсчёта.

Для записи метаданных может использоваться любой подходящий формат. В частности, метаданные представляют собой набор полей в одной или более записях в соответствующей базе данных, с которой соединена система электронной коммерции согласно изобретению.

Снабжение потока видеоданных метаданными производится на основании данных, полученных от правообладателя потока видеоданных и/или иных лиц, товары и/или услуги которых представлены в соответствующих кадрах потока видеоданных.

В другом варианте выполнения изобретения, при отсутствии метаданных, кадры, извлечённые из потока видеоданных как указано выше, могут анализироваться подсистемой автоматической разметки контента, использующей технологии компьютерного зрения и нейронных сетей для распознавания образов объектов, присутствующих на изображении одного или более кадров сцены видеоконтента. В частности, подсистема автоматической разметки контента выполнена с возможностью идентификации присутствующих на изображении кадра объектов и/или характеристик объектов (размер, цвет, форма и т.п.), оптического распознавания символов для идентификации символов и/или надписей, присутствующих на изображении, поиска информации о товарах и/или услугах в одной или более информационных сетях на основании изображений объектов и/или надписей, идентифицированных на изображении. Подсистема автоматической разметки контента обеспечивает возможность определения категорий и основных свойств (например - цвета и фасона для одежды) присутствующих в кадре товаров. Поиск информации о товарах и/или услугах в одной или более информационных сетях на основании изображений объектов и/или надписей, идентифицированных на изображении, позволяет подобрать наиболее релевантные аналоги присутствующих в кадре товаров, предлагаемых к продаже на различных сетевых ресурсах, в частности в онлайн-магазинах партнеров.

На этапе S6 сервер формирует одну или более ссылок на сетевые ресурсы, соответствующие идентифицированным товарам и/или услугам. Ссылки на сетевые ресурсы имеют формат единого указателя ресурса (URL) на страницу соответствующих товаров и/или услуг в сети Интернет. Однако следует понимать, что формат ссылок не ограничивается вышеуказанным, и в конкретных вариантах выполнения изобретения ссылки могут иметь и иной формат в зависимости от конкретной реализации, как известно специалистам в данной области техники.

По существу, в варианте выполнения, в котором кадры видеопотока снабжены метаданными, ссылки (URL), соответствующие товарам и/или услугам, уже присутствуют в метаданных. В варианте выполнения, где используется подсистема распознавания образов, ссылки (URL) на онлайн-ресурсы, где пользователь может выполнить заказ или получить информацию о заинтересовавшем товаре и/или услуге, могут формироваться в результате поиска информации о товарах и/или услугах на основании изображений, как указано выше.

На этапе S7 сервер передаёт сформированные одну или более ссылок в пользовательское устройство посредством сети передачи данных. Принятая пользовательским устройством ссылка может быть выбрана пользователем для непосредственного выполнения заказа или перехода по ней на онлайн-ресурс, где пользователь может получить больше информации о товаре и/или услуге или оформить заказ.

Обращаясь к Фиг. 2, во втором аспекте изобретение относится к системе 100 электронной коммерции. В общем случае, система 100 содержит: устройство 110 воспроизведения видеоконтента, соединённое с общественной вещательной средой 190 и выполненное с возможностью воспроизведения видеоконтента, транслируемого общественной вещательной средой 190; пользовательское устройство 120, соединённое с сетью 200 передачи данных, и сервер 130, соединённый с одной или более базами 170, 180 данных, а также соединённый с сетью 200 передачи данных.

Пользовательское устройство 120 для функционирования в системе 100 электронной коммерции выполнено с возможностью: записи по меньшей мере одного фрагмента аудиоданных, соответствующего видеоконтенту, воспроизводимому устройством 110 воспроизведения видеоконтента; передачи по меньшей мере одного фрагмента аудиоданных на сервер 130 посредством сети 200 передачи данных; приёма одной или более ссылок посредством сети 200 передачи данных.

В одном или более вариантах выполнения, для функционирования в системе 100 электронной коммерции пользовательское устройство 120 содержит предварительно установленное программное приложение, которое позволяет пользователю по меньшей мере записывать фрагмент аудиоданных, передавать его на сервер 130 и принимать от сервера 130 ссылку на товары и/или услуги, идентифицированные в одном или более кадрах воспроизводимого видеоконтента. Кроме того, приложение позволяет сохранять принятые ссылки в «личном кабинете» пользователя, чтобы при желании пользователь мог перейти по полученным ссылкам в другое время. Одно из преимуществ использования приложения состоит, в частности, в том, что фрагмент аудиоданных записывается в формате, подходящем для использования в системе 100 электронной коммерции, и может сразу передаваться на сервер 130 без дополнительных действий со стороны пользователя, связанных, например, с поиском в памяти пользовательского устройства 120 и указанием конкретного аудиофайла, который необходимо отправить в систему 100.

Понятие «сервер», используемое в контексте настоящей заявки, по существу подразумевает программно-аппаратный комплекс. Конкретные формы реализации такого программно-аппаратного комплекса очевидны специалистам в данной области техники и не ограничивают изобретение. Сервер 130 может представлять собой по существу достаточно мощный компьютер, содержащий один или более процессоров, память и другие компоненты, хорошо известные в данной области техники. Упомянутые один или более процессоров могут выполнять обработку данных для реализации соответствующих функций согласно изобретению под управлением компьютерного программного обеспечения, которое может быть сохранено в памяти компьютера и/или загружено из других источников посредством одной или более сетей передачи данных. Программное обеспечение может быть реализовано в виде компьютерного программного продукта, программного кода и т.п., сохранённых на машиночитаемом носителе. Примеры машиночитаемых носителей хорошо известны специалистам в данной области техники, и изобретение не ограничено каким-либо конкретным видом машиночитаемого носителя.

Сервер 130 системы 100 электронной коммерции выполнен с возможностью: приёма по меньшей мере одного записанного фрагмента аудиоданных от пользовательского устройства 120 посредством сети 200 передачи данных; сопоставления принятого по меньшей мере одного фрагмента аудиоданных с одним или более кадрами потока видеоданных, сохранённого на сервере 130, причём упомянутый поток видеоданных соответствует видеоконтенту, транслируемому общественной вещательной средой 190; идентификации товаров и/или услуг, представленных в упомянутых одном или более кадрах потока видеоданных; формирования одной или более ссылок на сетевые ресурсы, соответствующие идентифицированным товарам и/или услугам; и передачи сформированных одной или более ссылок в пользовательское устройство 120 посредством сети 200 передачи данных.

Для реализации этих функций сервер 130 может содержать, в частности:

- хранилище 140 потоков видеоданных;

- хранилище 150 потоков аудиоданных;

- хранилище 160 извлечённых кадров.

Кроме того, сервер 130 соединён, в частности, с:

- базой 170 данных идентификаторов кадров;

- базой 180 данных ссылок на товары и/или услуги.

Как указано выше, сам поток видеоданных, с которым сопоставляется записанный фрагмент аудиоданных, заранее выдается системе 100 электронной коммерции правообладателем потока видеоданных. Поток видеоданных и соответствующий поток аудиоданных (аудиодорожка) может предварительно загружаться на сервер 130 системы электронной коммерции правообладателем потока видеоданных посредством соединения сервера 130 через сеть 200 передачи данных с одним или более серверами, базами данных и т.п. правообладателя потока видеоданных. При этом правообладатель потока видеоданных может быть, в качестве неограничивающего примера, правообладателем видеоконтента, транслируемого посредством общественной вещательной среды 190, либо каким-либо лицом, аффилиированным с ним, либо лицом, действующим с разрешения правообладателя видеоконтента, транслируемого посредством общественной вещательной среды 190 и т.п., как известно специалистам в данной области техники.

Для обеспечения возможности функционирования системы 100 электронной коммерции с определённым потоком видеоданных, соответствующим видеоконтенту, транслируемому через общественную вещательную среду 190, производится предварительная обработка потока видеоданных. В ходе предварительной обработки сервер 130 извлекает из потока видеоданных, хранимого в хранилище 140 потоков видеоданных, по меньшей мере по 1 кадру на секунду, и сохраняет извлечённые кадры в хранилище 160 извлечённых кадров на сервере 130. Каждому извлечённому кадру сервером 130 присваивается идентификатор (id) кадра. Сервер 130 соединён с базой 170 данных идентификаторов кадров, в которой сохраняются идентификаторы (id) извлечённых кадров. На основании упомянутых идентификаторов извлечённые кадры получаются с сервера 130 пользовательским устройством 120.

В одном варианте выполнения, предварительная обработка потока видеоданных, выданного системе 100 электронной коммерции, включает в себя снабжение кадров, извлечённые из потока видеоданных, метаданными, идентифицирующими товары и/или услуги. Для этого кадры, извлечённые сервером 130 системы 100 электронной коммерции из видеопотока, размечаются метками объектов, содержащими координаты объекта и по меньшей мере одну ссылку (URL) и изображение объекта. Эти метки и представляют собой упомянутые метаданные. Координаты (x,y) каждого объекта, присутствующего в кадре, представляют собой координаты в пикселях изображения кадра. За точку отсчёта координат могут быть приняты разные части кадра, в качестве неограничивающего примера это может быть верхний левый угол кадра, однако возможные точки отсчёта не ограничены верхним левым углом, и в различных вариантах выполнения изобретения возможны и другие точки отсчёта.

В другом варианте выполнения товары и/или услуги идентифицируются на изображениях выбранных кадров посредством подсистемы автоматической разметки контента, использующей технологии компьютерного зрения и нейронных сетей. Для этого сервер 130 дополнительно соединён посредством программного интерфейса с упомянутой подсистемой автоматической разметки контента для получения результата распознавания в форме ссылок на аналогичные товары и/или услуги в одном или более магазинах-партнерах. Виды нейронных сетей, пригодные для реализации вариантов выполнения настоящего изобретения, известны специалистам в данной области техники. Передача выбранных кадров в подсистему автоматической разметки контента и получение результата распознавания в форме ссылок на аналогичные товары в магазине-партнере осуществляется посредством соответствующего программного интерфейса.

Поток видеоданных, сохранённый в хранилище 140 потоков видеоданных, синхронизирован с потоком аудиоданных, который сохраняется в хранилище 150 потоков аудиоданных сервера 130 системы 100 электронной коммерции. Соответственно, упомянутое сопоставление может представлять собой поиск корреляции записанного фрагмента аудиоданных, принятого сервером 130 от пользовательского устройства 120, с упомянутым потоком аудиоданных, сохранённым в хранилище 150 потоков аудиоданных. Поиск корреляции записанного фрагмента аудиоданных с потоком аудиоданных осуществляется посредством имеющего соответствующие функции программного обеспечения, предусмотренного на сервере 130.

В варианте выполнения изобретения, поиск корреляции посредством упомянутого программного обеспечения может осуществляться посредством построения спектрограммы потока аудиоданных с использованием быстрого преобразования Фурье (FFT) в отношении потока аудиоданных и/или записанного фрагмента аудиоданных. Специалистам в данной области техники будут очевидны и другие возможные способы поиска корреляции, и изобретение не ограничено вышеуказанным способом, приведённым в качестве примера.

На основании найденной корреляции, учитывая синхронизацию потока аудиоданных и потока видеоданных, из потока видеоданных, сохранённого в хранилище 140 потоков видеоданных, могут быть идентифицированы один или более кадров, представляющих сцену, в которой демонстрируется товар и/или услуга, которые предположительно заинтересовали пользователя, записавшего соответствующий фрагмент аудиоданных. Выполняется поиск идентифицированных кадров в хранилище 160 извлечённых кадров на основании идентификаторов соответствующих кадров.

При этом по меньшей мере в одном варианте выполнения изображение идентифицированных кадров может быть представлено пользователю на экране пользовательского устройства 120 посредством упомянутого программного приложения, и от пользователя может приниматься ввод для подтверждения правильности идентификации кадров или коррекции выбора кадров, представляющих интересующую сцену.

На представляемые пользователю изображения идентифицированных кадров могут накладываться визуальные метки, указывающие на товары и/или услуги, присутствующие на изображениях, с возможностью приёма пользовательского ввода для выбора пользователем тех конкретных товаров и/или услуг, которые интересуют пользователя. Данная функциональность также реализуется в упомянутом программном приложении. Сервер 130 передает в приложение выбранные один или более кадров и разметку для них. Приложение выводит пользователю упомянутые один или более кадров с нанесенными метками объектов. Приложение может принимать от пользователя ввод для выбора одной или более визуальных меток, которые указывают на товары и/или услуги, заинтересовавшие пользователя. В ответ на пользовательский ввод на экране пользовательского устройства 120 может отображаться ссылка на соответствующий товар и/или услугу или дополнительная информация о товаре и/или услуге. От пользователя может приниматься ввод для совершения целевого действия, такого как, в качестве неограничивающего примера, переход по отображаемой ссылке на сетевой ресурс, реализующий онлайн-магазин поставщика товара и/или услуги.

Факт совершения упомянутого целевого действия может записываться на сервере 130 системы 100 электронной коммерции для целей формирования статистики и т.п., как известно специалистам в данной области техники.

В зависимости от среды передачи контента, программное приложение, реализующее способ электронной коммерции, может представлять собой программу для одной или более мобильных операционных систем или программу-плагин для одного или более веб-браузеров портативных или стационарных компьютеров.

В одном или более вариантах выполнения, идентификация кадров, содержащих интересующую пользователя сцену из видеоконтента, транслируемого общественной вещательной средой, может учитывать задержку от момента, когда на экране устройства воспроизведения видеоконтента появилась интересующая пользователя сцена, до момента, с которого пользователь начал запись фрагмента аудиоданных. Соответственно, при идентификации кадров из потока видеоданных может быть учтен некоторый фиксированный отрезок времени, который предположительно мог потребоваться пользователю для того, чтобы среагировать на интересующую сцену. Продолжительность этого отрезка времени может также настраиваться пользователем через программное приложение.

Кроме того, в одном или более вариантах выполнения запись фрагментов аудиоданных может начинаться, например, с момента авторизации пользователя в программном приложении, а конкретный записанный фрагмент аудиоданных, соответствующий сцене, интересующей пользователя, может отправляться на сервер по команде пользователя, принятой через программное приложение.

Реализация системы 100 электронной коммерции также включает в себя коммерческие отношения с магазинами-партнерами, предоставляющими доступ к своему каталогу товаров и/или услуг для подбора соответствующих товаров и/или услуг или их аналогов к тому, что заинтересовало пользователя, а также коммерческие отношения с производителями видеоконтента (реализуемые напрямую или опосредованно через вещателей общественной вещательной среды), предоставляющими права на размещение товаров и/или услуг определенных брендов в сценах внутри видеоконтента. Технически данные коммерческие отношения реализуются, в частности, связью системы 100 электронной коммерции с серверами и другими ресурсами поставщиков товаров и/или услуг и производителей видеоконтента посредством сети 200 передачи данных, как известно специалистам в данной области техники.

Ещё в одном аспекте изобретение относится к машиночитаемому носителю, на котором сохранён компьютерный программный код, который при выполнении по меньшей мере одним процессором побуждает по меньшей мере один процессор выполнять способ электронной коммерции по первому аспекту изобретения, реализуемый системой электронной коммерции по второму аспекту изобретения.

При реализации способа и системы электронной коммерции согласно изобретению достигается, в частности, расширение пользовательских возможностей по покупке демонстрируемых в видеоконтенте, транслируемом в общественной вещательной среде товаров и/или услуг без необходимости прерывания просмотра видеоконтента, при одновременной возможности насыщения видеоконтента информацией о таких товарах и/или услугах без ущерба качеству контента.

Специалистам в данной области техники будет понятно, что выше описаны лишь некоторые из возможных примеров технических приёмов и материально-технических средств, которыми могут быть реализованы варианты выполнения настоящего изобретения. Приведённое выше подробное описание вариантов выполнения изобретения не предназначено для ограничения или определения объёма правовой охраны настоящего изобретения.

При том, что настоящее изобретение описано и проиллюстрировано с обращением к различным вариантам его выполнения, специалистам в данной области техники будет понятно, что в нём могут быть выполнены различные изменения в его форме и конкретных подробностях, не выходящие за рамки объёма настоящего изобретения, который определяется только нижеприведённой формулой изобретения и её эквивалентами.

Изобретение относится к области электронной торговли. Технический результат - обеспечение идентификации товаров и/или услуг, представленных в кадрах видеоконтента, транслируемого общественной вещательной средой. Это, в частности, позволяет упростить для пользователя приобретение заинтересовавшего товара и/или услуги на основании потока вещания общественной вещательной среды. Согласно заявленному решению воспроизводят видеоконтент, транслируемый общественной вещательной средой; записывают фрагмент аудиоданных, соответствующий воспроизводимому видеоконтенту; передают записанный фрагмент на сервер; сопоставляют на сервере фрагмент аудиоданных с кадром из потока видеоданных, соответствующего видеоконтенту; идентифицируют товары и/или услуги, представленные в упомянутом кадре потока видеоданных; формируют ссылки на сетевые ресурсы, соответствующие идентифицированным товарам и/или услугам и передают ссылки в пользовательское устройство, причём идентификация товаров и/или услуг, представленных на одном или более кадрах потока видеоданных, осуществляется посредством подсистемы автоматической разметки контента, использующей технологии компьютерного зрения и нейронных сетей для распознавания образов. 3 н. и 4 з.п. ф-лы, 2 ил.

1. Способ электронной торговли через общественную вещательную среду, причём общественная вещательная среда выполнена с возможностью трансляции видеоконтента, содержащего поток аудиоданных, синхронизированный с потоком видеоданных, при этом способ содержит этапы, на которых:

- воспроизводят видеоконтент, транслируемый общественной вещательной средой, на устройстве воспроизведения видеоконтента;

- выполняют посредством пользовательского устройства запись по меньшей мере одного фрагмента аудиоданных, соответствующего воспроизводимому видеоконтенту;

- передают по меньшей мере один записанный фрагмент аудиоданных с пользовательского устройства на сервер посредством сети передачи данных;

- сопоставляют на сервере принятый по меньшей мере один фрагмент аудиоданных с по меньшей мере одним кадром из потока видеоданных, причём упомянутый поток видеоданных соответствует видеоконтенту, транслируемому общественной вещательной средой;

- идентифицируют товары и/или услуги, представленные в упомянутых одном или более кадрах потока видеоданных;

- формируют одну или более ссылок на сетевые ресурсы, соответствующие идентифицированным товарам и/или услугам, в формате, позволяющем пользователю разместить заказ на приобретение упомянутых товаров и/или услуг путём перехода на веб-сайт поставщика товаров и/или услуг; и

- передают сформированные одну или более ссылок в пользовательское устройство посредством сети передачи данных,

причём идентификация товаров и/или услуг, представленных на одном или более кадрах потока видеоданных, осуществляется посредством подсистемы автоматической разметки контента, использующей технологии компьютерного зрения и нейронных сетей для распознавания образов, выполненной с возможностью анализа изображения одного или более кадров потока видеоданных для одного или более из:

- идентификации присутствующих на изображении объектов и/или характеристик объектов;

- оптического распознавания символов для идентификации символов и/или надписей, присутствующих на изображении;

- поиска информации о товарах и/или услугах в одной или более информационных сетях на основании изображений объектов и/или надписей, идентифицированных на изображении.

2. Способ по п. 1, в котором упомянутый поток видеоданных снабжён метаданными, идентифицирующими товары и/или услуги, представленные на одном или более кадрах потока видеоданных, при этом упомянутый этап идентификации товаров и/или услуг выполняется на основании упомянутых метаданных.

3. Способ по п. 1, в котором пользовательское устройство содержит предварительно установленное приложение, выполненное с возможностью записи фрагмента аудиоданных, передачи записанного фрагмента на сервер, приёма одной или более ссылок на товары и/или услуги, и отображения упомянутых одной или более ссылок, позволяя пользователю разместить заказ на приобретение упомянутых товаров и/или услуг непосредственно через приложение и/или путём перехода на веб-сайт поставщика товаров и/или услуг.

4. Способ по п. 1, в котором этап идентификации одного или более кадров потока видеоданных дополнительно содержит этап, на котором представляют пользователю на пользовательском устройстве один или более идентифицированных кадров с возможностью коррекции пользователем идентификации кадров в пределах фрагмента потока видеоданных.

5. Способ по п. 1, в котором упомянутые одна или более ссылок на сетевые ресурсы имеют формат единого указателя ресурса (URL) на страницу соответствующих товаров и/или услуг в сети Интернет.

6. Система электронной торговли через общественную вещательную среду, причём общественная вещательная среда выполнена с возможностью трансляции видеоконтента, содержащего поток аудиоданных, синхронизированный с потоком видеоданных, при этом система содержит:

- устройство воспроизведения видеоконтента, соединённое с общественной вещательной средой и выполненное с возможностью воспроизведения видеоконтента, транслируемого общественной вещательной средой;

- пользовательское устройство, соединённое с сетью беспроводной связи, выполненное с возможностью:

записи по меньшей мере одного фрагмента аудиоданных, соответствующего воспроизводимому видеоконтенту;

передачи по меньшей мере одного фрагмента аудиоданных на сервер посредством сети беспроводной связи;

приёма одной или более ссылок посредством сети беспроводной связи;

- сервер, соединённый с одной или более базами данных, причём сервер выполнен с возможностью:

приёма по меньшей мере одного записанного фрагмента аудиоданных от пользовательского устройства посредством сети беспроводной связи;

сопоставления принятого по меньшей мере одного фрагмента аудиоданных с потоком видеоданных, причём упомянутый поток видеоданных соответствует видеоконтенту, транслируемому общественной вещательной средой, и идентификации на основании упомянутого сопоставления одного или более кадров потока видеоданных;

идентификации товаров и/или услуг, представленных на упомянутых одном или более кадрах потока видеоданных;

формирования одной или более ссылок на сетевые ресурсы, соответствующие идентифицированным товарам и/или услугам, в формате, позволяющем пользователю разместить заказ на приобретение упомянутых товаров и/или услуг путём перехода на веб-сайт поставщика товаров и/или услуг; и

передачи сформированных одной или более ссылок в пользовательское устройство посредством сети беспроводной связи, причём

сервер дополнительно содержит подсистему автоматической разметки контента, использующей технологии компьютерного зрения и нейронных сетей для распознавания образов, выполненную с возможностью анализа изображения одного или более кадров потока видеоданных для одного или более из:

- идентификации присутствующих на изображении объектов и/или характеристик объектов;

- оптического распознавания символов для идентификации символов и/или надписей, присутствующих на изображении;

- поиска информации о товарах и/или услугах в одной или более информационных сетях на основании изображений объектов и/или надписей, идентифицированных на изображении.

7. Машиночитаемый носитель, на котором сохранён компьютерный программный код, который при выполнении по меньшей мере одним процессором побуждает по меньшей мере один процессор выполнять способ по любому из пп. 1-5.