Уровень техники
[0001] Настоящее раскрытие, в общем, относится к мультимедийному контенту и, в частности, к контекстному поиску в таком контенте. Пользователи все больше потребляют мультимедийный контент, такой как потоковая передача видео, доступный в сети, и могут иметь вопросы, связанные с мультимедийным контентом.
Сущность изобретения
[0002] Раскрытое изобретение относится к контекстному поиску в мультимедийном контенте.
[0003] В некоторых инновационных реализациях, раскрытое изобретение может быть осуществлено в способе. Способ содержит извлечение элементов предметной области (сущностей), ассоциированных с мультимедийным контентом, причем сущности включают в себя значения, характеризующие один или более объектов, представленных в мультимедийном контенте, формирование одного или более возможных вариантов перезаписи запроса на основе извлеченных сущностей и одного или более компонентов в запросе, связанном с мультимедийным контентом, причем формирование выполняется, когда запрос, связанный с мультимедийным контентом, принимается от пользователя, предоставление одного или более возможных вариантов перезаписи запроса в поисковый механизм, количественную оценку одного или более возможных вариантов перезаписи запроса на основе характеристик соответствующих наборов результатов, получающихся в результате предоставления, ранжирование количественно оцененных одного или более возможных вариантов перезаписи запроса на основе их соответствующих количественных показателей, перезапись запроса, связанного с мультимедийным контентом, на основе возможного варианта перезаписи запроса с конкретным рангом, и предоставление для отображения, в ответ на запрос, связанный с мультимедийным контентом, набора результатов из поискового механизма на основе перезаписанного запроса.
[0004] В некоторых инновационных реализациях, раскрытое изобретение может быть осуществлено в машиночитаемом носителе. Машиночитаемый носитель включает в себя инструкции, которые при выполнении посредством процессора инструктируют процессору выполнять операции, содержащие прием запроса, связанного с мультимедийным контентом, идентификацию одного или более компонентов в запросе, формирование одного или более возможных вариантов перезаписи запроса на основе сущностей, ассоциированных с мультимедийным контентом и одним или более компонентов в запросе, причем сущности включают в себя значения, характеризующие один или более объектов, представленных в мультимедийном контенте, предоставление одного или более возможных вариантов перезаписи запроса в поисковый механизм, количественную оценку одного или более возможных вариантов перезаписи запроса на основе характеристик соответствующих наборов результатов, получающихся в результате предоставления, ранжирование количественно оцененных одного или более возможных вариантов перезаписи запроса на основе их соответствующих количественных показателей, перезапись запроса, связанного с мультимедийным контентом, на основе возможного варианта перезаписи запроса с конкретным рангом, и предоставление для отображения, в ответ на запрос, связанный с мультимедийным контентом, набора результатов из поискового механизма на основе перезаписанного запроса.
[0005] В некоторых инновационных реализациях, раскрытое изобретение может быть осуществлено в системе. Система содержит запоминающее устройство, содержащее инструкции, и процессор, сконфигурированный с возможностью выполнять инструкции для того, чтобы принимать запрос, связанный с потоковым мультимедийным контентом, причем запрос включает в себя один или более компонентов, формировать один или более возможных вариантов перезаписи запроса на основе сущностей, ассоциированных с мультимедийным контентом и одним или более компонентов в запросе, причем сущности включают в себя значения, характеризующие один или более объектов, представленных в мультимедийном контенте, предоставлять один или более возможных вариантов перезаписи запроса в поисковый механизм, количественно оценивать один или более возможных вариантов перезаписи запроса на основе характеристик соответствующих наборов результатов, получающихся в результате предоставления, ранжировать количественно оцененные один или более возможных вариантов перезаписи запроса на основе их соответствующих количественных показателей, перезаписывать запрос, связанный с мультимедийным контентом, на основе возможного варианта перезаписи запроса с конкретным рангом, и предоставлять, без прерывания потребления мультимедийного контента, набор результатов из поискового механизма на основе перезаписанного запроса.
[0006] Следует понимать, что другие конфигурации настоящей технологии должны становиться очевидными для специалистов в данной области техники из нижеприведенного подробного описания, в котором различные конфигурации настоящей технологии показаны и описаны в качестве иллюстрации. Также следует учитывать, что настоящая технология допускает другие и отличающиеся конфигурации, и ее определенные подробности допускают модификацию в различных других отношениях без отступления от объема настоящей технологии. Следовательно, чертежи и подробное описание должны рассматриваться как иллюстративные, а не ограничивающие по своему характеру.
Краткое описание чертежей
[0007] Новые признаки настоящей технологии изложены в прилагаемой формуле изобретения. Тем не менее, для пояснения, несколько конфигураций настоящей технологии изложены на прилагаемых чертежах, обобщенных ниже.
[0008] Фиг. 1 является схемой примерного устройства и сетевого окружения, подходящего для осуществления на практике некоторых реализаций настоящей технологии.
[0009] Фиг. 2A является примерным процессом для осуществления на практике реализаций настоящей технологии с использованием примерного устройства по фиг. 1
[0010] Фиг. 2B является примерным процессом, подробнее иллюстрирующим этап по фиг. 2A для осуществления на практике реализаций настоящей технологии с использованием примерного устройства по фиг. 1
[0011] Фиг. 3 иллюстрирует другой примерный процесс для осуществления на практике реализаций настоящей технологии с использованием примерного устройства по фиг. 1.
[0012] Фиг. 4 иллюстрирует еще один другой примерный процесс для осуществления на практике реализаций настоящей технологии с использованием примерного устройства по фиг. 1.
Подробное описание изобретения
[0013] Подробное описание, изложенное ниже, предназначено в качестве описания различных конфигураций настоящей технологии и не имеет намерение представлять единственные конфигурации, в которых может осуществляться на практике настоящая технология. Прилагаемые чертежи включены в данный документ и составляют часть подробного описания. Настоящая технология не ограничена конкретными подробностями, изложенными в данном документе, и может осуществляться на практике без этих конкретных подробностей.
[0014] При просмотре конкретного видео пользователи имеют запросы, связанные с объектами, появляющимися в видео. Например, при просмотре видео пользователь может хотеть знать имя человека, появляющегося в видео, когда человек появляется в видео. В другом примере, пользователь может хотеть идентифицировать модель автомобиля, появляющегося в видео. В попытке получать ответ, пользователю может требоваться тип в заголовке и дополнительный контекст, ассоциированный с видео в интерфейсе поискового механизма на основе веб-технологий. Пользователь, возможно, затем должен дополнительно выполнять поиск по результатам из поискового механизма, чтобы идентифицировать веб-страницу, включающую в себя ответы на вопросы пользователя относительно видео. Этот процесс требует времени, отвлекает внимание пользователя от видео и, следовательно, ухудшает возможности работы пользователя. Раскрытые реализации модифицируют (например, перезаписывают) запрос пользователя таким образом, что модифицированный (или перезаписанный) запрос может автоматически включать в себя контекст для контента, на который направлен запрос, а также предоставлять релевантные результаты для запроса в то время, когда пользователь потребляет контент. В некоторых реализациях, могут извлекаться сущности, ассоциированные с мультимедийным контентом (например, видеоконтентом). сущности могут включать в себя значения, характеризующие один или более объектов (например, людей, изделия и т.д.), представленных в мультимедийном контенте. Один или более возможных вариантов перезаписи запроса могут формироваться на основе извлеченных сущностей и одного или более компонентов в запросе, связанном с мультимедийным контентом. Формирование может выполняться, когда запрос, связанный с мультимедийным контентом, принимается от пользователя. Например, пользователь может предоставлять запрос через поле поиска при просмотре потокового видеоконтента. Пользователь также может предоставлять запрос через речь. Запрос может быть связан с человеком или изделием, появляющимся в видеоконтенте. В качестве неограничивающего примера, пользователь может предоставлять запрос, который спрашивает "Кто этот человек?" при просмотре видеоконтента без предоставления дополнительного контекста в запросе. Ниже поясняются дополнительные примеры пользовательских запросов.
[0015] Возможные варианты перезаписи запроса могут предоставляться в поисковый механизм. Возможные варианты перезаписи запроса могут быть количественно оценены на основе одной или более характеристик соответствующих наборов результатов, получающихся в результате предоставления возможных вариантов перезаписи запроса в поисковый механизм, предыдущих поисковых запросов, ассоциированных с поисковым механизмом, или времени, ассоциированного с запросом. Количественно оцененные возможные варианты перезаписи запроса могут ранжироваться на основе своих соответствующих количественных показателей. Возможный вариант перезаписи запроса с конкретным рангом (например, с наивысшим рангом) может использоваться для того, чтобы перезаписывать запрос. Например, запрос может быть заменен посредством возможного варианта перезаписи запроса с конкретным рангом. В ответ на запрос, связанный с мультимедийным контентом, набор результатов, который основан на перезаписанном запросе, предоставляется (например, отображается) пользователю.
[0016] Набор результатов может предоставляться пользователю в реальном времени по мере того, как пользователь потребляет мультимедийный контент. Набор результатов может предоставляться без прерывания предоставления мультимедийного контента пользователю. Таким образом, от пользователя не требуется выполнять поиск в отдельном поисковом механизме и затем дополнительно выполнять поиск в результатах из поискового механизма, чтобы идентифицировать веб-страницу, включающую в себя ответы на запрос пользователя относительно мультимедийного контента. Таким образом, внимание пользователя не должно обязательно отвлекаться от мультимедийного контента. Это расширяет возможности работы пользователей.
[0017] Некоторые аспекты настоящей технологии включают в себя сохранение информации относительно запросов, предоставленных в поисковый механизм. Пользователь имеет необязательный вариант недопущения хранения этой информации. Пользователю также может предоставляться возможность управлять тем, программы либо признаки собирают или совместно используют пользовательскую информацию (например, информацию относительно поисковых запросов пользователя, предпочтений пользователя и т.д.). Таким образом, пользователь может управлять тем, как информация собирается относительно пользователя и используется посредством сервера.
[0018] Фиг. 1 является схемой, иллюстрирующей примерную архитектуру для контекстного поиска в мультимедийном контенте согласно некоторым реализациям настоящей технологии. Сервер 180 включает в себя процессор 112, запоминающее устройство 120, устройство 126 хранения, шину 124, модуль 128 ввода-вывода, устройство 116 ввода, устройство 114 вывода и модуль 118 связи. Запоминающее устройство 120 включает в себя модуль 132 извлечения сущностей, модуль формирования (формирователь) 134 возможных вариантов, механизм 138 количественной оценки и ранжирования, механизм 140 перезаписи запросов, диспетчер 142 результатов и возможные варианты 144 перезаписи запроса. Сервер 180 дополнительно может включать в себя устройство вывода (например, сенсорный дисплей, несенсорный дисплей), устройство ввода (например, клавиатуру, сенсорный экран или мышь), чтобы принимать пользовательский ввод. В некоторых реализациях, сервер 180 включает в себя один или более модулей для упрощения пользовательского взаимодействия через браузер или приложение специального назначения, выполняемое на клиентском вычислительном устройстве 190, либо для обработки данных, сохраненных в репозитории 110 данных социальных сетей. Сервер 180 может реализовываться как одна машина с одним процессором, многопроцессорная машина или ферма серверов, включающая в себя несколько машин с несколькими процессорами. Модуль связи 118 может предоставлять возможность серверу 180 отправлять и принимать данные по сети 150 в поисковый механизм 110, репозиторий 192 запросов, сервер 194 данных социальных сетей, мультимедийный сервер 196 и клиентские вычислительные устройства 190.
[0019] В некоторых реализациях, сервер 180 может быть ассоциирован с поисковым механизмом 110 и может отправлять и принимать данные по сети 150 в поисковый механизм 110. Поисковый механизм 110 может представлять собой механизм веб-поиска. Механизм веб-поиска представлять собой программную систему, которая спроектирована с возможностью выполнять поиск информации во всемирной паутине. Результаты поиска могут представляться в строках результатов, зачастую называемых в качестве страниц с результатами поиска (SERP). Информация может включать в себя веб-страницы, изображения, информацию и другие типы файлов. Поисковый механизм 110 может поддерживать информацию в реальном времени посредством использования поискового веб-агента. В качестве примерной операции, не предназначенной для того, чтобы ограничивать варианты осуществления, поисковый механизм 110 может сохранять информацию относительно многих веб-страниц, которую поисковый механизм 110 может извлекать из языка разметки, задающего веб-страницы. Эти страницы извлекаются посредством поискового веб-агента (иногда также известного как "паук").
[0020] Поисковый механизм 110 затем может анализировать контент каждой страницы, чтобы определять то, как веб-страница должна индексироваться (например, слова могут извлекаться из заголовков, контента страницы, заголовков или специальных полей, называемых "метатегами"). Данные относительно веб-страниц и другой веб-контент могут сохраняться в индексной базе данных для использования в последующих запросах. Запрос может приниматься из сервера 180. Индекс помогает поисковому механизму 110 находить информацию, связанную с запросом. Когда запрос принимается посредством поискового механизма 110 (типично посредством использования ключевых слов), поисковый механизм 110 может анализировать индекс и предоставляет перечень наилучшим образом совпадающих веб-страниц и веб-контента, обычно с краткой сводкой, содержащей заголовок контента и иногда части текста контента. В некоторых реализациях, репозиторий 192 запросов может сохранять один или более запросов, принимаемых посредством поискового механизма 110 во времени. Запросы могут приниматься от пользователей или других веб-служб, осуществляющих доступ к поисковому механизму 110.
[0021] В некоторых реализациях, мультимедийный сервер 196 может включать данные, включающие в себя, но не только, видео, аудио, текст, изображения или любую комбинацию вышеозначенного. Данные, сохраненные на мультимедийном сервере 196, могут предоставляться для отображения на веб-страницах или в любых других областях веб-контента. Например, видео, сохраненное на мультимедийном сервере 196, может передаваться в потоковом режиме на веб-страницу для отображения пользователю 176 через клиентское вычислительное устройство 190. В другом примере, аудио, сохраненное на мультимедийном сервере 196, может передаваться в потоковом режиме на веб-страницу для воспроизведения пользователю 176 через клиентское вычислительное устройство 190.
[0022] В некоторых реализациях, сервер 180 может быть ассоциирован с сервером 194 данных социальных сетей, который включает в себя данные социальных сетей, и может отправлять и принимать данные по сети 150 на сервер 194 данных социальных сетей. В некоторых реализациях, сервер 194 данных социальных сетей может сохранять элемент(ы) контента социальных сетей (например, опубликованный элемент(ы) контента), ассоциированные с услугой общения в социальных сетях. Сервер 194 данных социальных сетей также может сохранять данные, связанные с учетными записями пользователей, и элементы контента, которые ассоциированы с учетными записями пользователей. Например, сервер 194 данных социальных сетей может включать в себя данные, указывающие элементы контента, которые просмотрены, которыми поделились, которые прокомментированы, которым поставлена оценка "нравится" или "не нравится" посредством учетной записи пользователя, ассоциированной с пользователем. Сервер 194 данных социальных сетей может сохранять структуру данных социальных связей, которая служит признаком социальных связей между учетными записями пользователей, ассоциированными с услугой общения в социальных сетях. Сервер 194 данных социальных сетей также может сохранять сделанные пользовательские комментарии (или примечания) к мультимедийному контенту, потребляемому пользователем и сохраненному на мультимедийном сервере 196.
[0023] В некоторых реализациях, поисковый механизм 110, мультимедийный сервер 196, сервер 194 данных социальных сетей и сервер 180 могут обмениваться данными между собой и с клиентским вычислительным устройством 190 через сеть 150. Сеть 150 может включать в себя Интернет, сеть intranet, локальную вычислительную сеть, глобальную вычислительную сеть, проводную сеть, беспроводную сеть или виртуальную частную сеть (VPN). Хотя проиллюстрированы только один поисковый механизм 110, мультимедийный сервер 196, сервер 194 данных социальных сетей, сервер 180 и клиентское вычислительное устройство 190, настоящая технология может реализовываться в сочетании с любым числом поисковых механизмов 110, мультимедийных серверов 196, серверов 194 данных социальных сетей, серверов 180 и клиентских вычислительных устройств 190. В некоторых неограничивающих реализациях, одно вычислительное устройство может реализовывать функции поискового механизма 110, мультимедийного сервера 196, сервера 194 данных социальных сетей, сервера 180 и других составляющих, проиллюстрированных на фиг. 1.
[0024] Клиентское вычислительное устройство 190 может представлять собой переносной компьютер, настольный компьютер, мобильный телефон, персональное цифровое устройство (PDA), планшетный компьютер, нетбук, телевизионный приемник с одним или более процессоров, встроенных в него или соединенных с ним, физическую машину или виртуальную машину. Клиентское вычислительное устройство 190 может включать в себя одно или более из клавиатуры, мыши, дисплея или сенсорного экрана. Клиентское вычислительное устройство 190 может включать в себя браузер, сконфигурированный с возможностью отображать веб-страницы. Например, браузер может отображать веб-страницу, включающую в себя мультимедийный контент из мультимедийного сервера 196. Альтернативно, клиентское вычислительное устройство 190 может включать в себя приложения специального назначения (например, приложения для мобильных телефонов или планшетных компьютеров) для осуществления доступа к мультимедийному контенту.
[0025] Как пояснено выше, запоминающее устройство 120 сервера 180 может включать в себя модуль 132 извлечения сущностей, формирователь 134 возможных вариантов, механизм 138 количественной оценки и ранжирования, механизм 140 перезаписи запросов, диспетчер 142 результатов и возможные варианты 144 перезаписи запроса. В некоторых реализациях, модуль 132 извлечения сущностей извлекает сущности, ассоциированные с мультимедийным контентом. сущности могут включать в себя значения, характеризующие один или более объектов, представленных в мультимедийном контенте. Например, объекты могут включать в себя имена людей, названия местоположений, объектов, появляющихся в видео, и т.д. сущности могут извлекаться из метаданных, ассоциированных с мультимедийным контентом (например, имени файла, свойств мультимедиа и т.д.). сущности также могут извлекаться из других данных, ассоциированных с мультимедийным контентом. Другие данные могут включать в себя, например, пользовательские комментарии и примечания, связанные с мультимедийным контентом. Мультимедийный контент может включать в себя потоковое видео, которое просматривается пользователем 176. Мультимедийный контент также может включать в себя контент, который сохраняется на мультимедийном сервере 196. Мультимедийный контент может представлять собой контент, который в данный момент отображается на вычислительном устройстве 190.
[0026] В некоторых реализациях, модуль 132 извлечения сущностей извлекает сущности, которые появляются в мультимедийном контенте в конкретное время (или диапазон времени) в мультимедийном контенте. Например, если мультимедийный контент представляет собой видео, которое смотрит пользователь 176, и пользователь задает десять минут в видео (или десятиминутную метку), модуль 132 извлечения сущностей может извлекать сущности, которые появляются в видео в десятиминутной метке или в диапазоне времени, которое включает в себя десятиминутную метку. В некоторых реализациях, модуль 132 извлечения сущностей извлекает сущности, которые появляются в контенте в момент времени, когда пользователь 176 предоставляет запрос через интерфейс в клиентском вычислительном устройстве 190. Например, если пользователь 176 предоставляет запрос на пятнадцать минут в видео, модуль 132 извлечения сущностей может извлекать сущности, которые появляются в видео в пятнадцатиминутной метке или в диапазоне времени, который включает в себя пятнадцатиминутную метку. Диапазон времени может представлять собой предварительно определенный (или предварительно установленный) диапазон времени (например, двухминутный диапазон, двадцатисекундный диапазон и т.д.). В некоторых реализациях, модуль 132 извлечения сущностей извлекает временные метки, ассоциированные с сущностями, которые могут указывать то, когда сущности появляются в мультимедийном контенте.
[0027] В некоторых реализациях, модуль 132 извлечения сущностей может преобразовывать все (или поднабор) метаданных мультимедийного контента. Модуль 132 извлечения сущностей может считывать пользовательские комментарии (например, текст комментариев) и примечания, ассоциированные с мультимедийным контентом, и извлекать сущности, ассоциированные с такими сформированными пользователем данными. Например, модуль 132 извлечения сущностей может считывать комментарии и примечания, ассоциированные с мультимедийным контентом и сохраненные на сервере 194 данных социальных сетей. В некоторых реализациях, модуль 132 извлечения сущностей помечает последовательности слов в тексте (например, текст или метаданные, или комментарии), которые являются названиями вещей, такими как имена людей, названия компаний, объекты и любые другие связанные и не связанные с людьми представления, которые появляются в мультимедийном контенте.
[0028] В некоторых реализациях, модуль 132 извлечения сущностей может находить и классифицировать текст на предварительно заданные категории, такие как имена людей, названия организаций, объектов, местоположений, выражения времен, количеств, денежной стоимости, процентных долей и т.д. Например, когда модуль 132 извлечения сущностей синтаксически анализирует блок текста, такой как "Jim купил красный внедорожник в 2007 году", модуль 132 извлечения сущностей может формировать снабженный примечаниями блок текста, который выделяет имена (названия) сущностей, [Jim]человек купил [красный]цвет [внедорожник]транспортное средство в [2007 году]время. В качестве примера, вывод этого модуля 132 извлечения сущностей может представляться как P={p_1, p_2,...,}, где p_1, p_2 и т.д. представляют извлеченные сущности. Со ссылкой на вышеприведенный пример, [Jim]человек может быть сущностью p_1, [красный]цвет может быть другой сущностью p_2 и т.д. сущности, извлеченные посредством модуля 132 извлечения сущностей, могут использоваться формирователем возможных вариантов для формирования возможных вариантов 144 перезаписи запроса.
[0029] В некоторых реализациях, формирователь 134 возможных вариантов формирует один или более возможных вариантов 144 перезаписи запроса на основе извлеченных сущностей и одного или более компонентов в запросе, предоставленном пользователем 176. Запрос, предоставленный пользователем 176, может быть связан с мультимедийным контентом, который может потреблять пользователь через клиентское вычислительное устройство 190. В некоторых реализациях, формирование возможных вариантов 144 перезаписи запроса посредством формирователя 134 возможных вариантов может выполняться, когда запрос, связанный с мультимедийным контентом, принимается от пользователя 176. В некоторых сценариях, запрос может не включать в себя контекст. Например, при просмотре видео пользователь может хотеть знать имя человека, появляющегося в видео, когда человек появляется в видео. В этом примере, пользователь 176 может предоставлять запрос "Кто этот человек?" Запрос может предоставляться пользователем 176, когда человек появляется в видео. В другом примере, пользователь может хотеть идентифицировать модель автомобиля, появляющегося в видео. В этом примере, пользователь 176 может предоставлять запрос "Какой это автомобиль?" или "Какой автомобиль?" Запросы также могут включать в себя такие запросы, как "Какова цена этого автомобиля?", "Где изготовлен этот автомобиль?", "Кто этот человек, который ведет этот автомобиль?", "Покажите мне другие видео, которые содержат этот автомобиль" и т.д. В этих запросах пользователь не предоставляет контекст, к примеру, название видео, характеристики автомобиля или человека либо любой другой контекст.
[0030] Запрос, предоставленный пользователем 176, может включать в себя один или более компонентов запроса (например, кто, автомобиль, изготовлен, цвет и т.д.). В некоторых реализациях, формирователь 134 возможных вариантов может, для каждого элемента в наборе извлеченных сущностей P={p_1, p_2,...,} и в пользовательском запросе q, задавать функцию C (p, q)->{(p, q, r_1),..., (p, q, r_{N_p})}, которая принимает входную пару (p, q) и формирует N_p возможных вариантов перезаписи. Неограничивающий пример такого формирования является конкатенацией p и q, которая может формировать N_p перезаписей. С использованием альтернативной информации или грамматики естественного языка, формирователь 134 возможных вариантов может формировать дополнительные возможные варианты 144 перезаписи запроса. Альтернативная информация может включать в себя запросы, сохраненные в репозитории 192 запросов. Например, формирователь 134 возможных вариантов может рассматривать запросы, которые включают в себя компоненты, аналогичные p (например, p_1) и q, которые предоставляются ранее в поисковый механизм 110 и сохраняются в репозитории 192 запросов. В некоторых реализациях, формирователь 134 возможных вариантов может конкатенировать различные входные пары p и q с тем, чтобы формировать выходной набор Q={C (p_1, q)+C (p_2, q),...,}, где Q представляет набор возможных вариантов 144 перезаписи запроса.
[0031] В некоторых реализациях, возможные варианты 144 перезаписи запроса могут быть основаны на различных комбинациях компонентов запроса и сущностей, извлеченных посредством модуля 132 извлечения сущностей. Например, при просмотре видео пользователь может хотеть знать название автомобиля, появляющегося в видео, когда человек появляется в видео. В этом примере, пользователь 176 может предоставлять запрос "Кто изготовитель этого автомобиля?" Компоненты запроса в этом запросе представляют собой "кто, изготовитель, этого, автомобиля". Модуль 132 извлечения сущностей может извлекать сущности, появляющиеся в видео во время запроса, как "CarC, красный, Италия", где CarC является названием, ассоциированным с автомобилем, красный является цветом автомобиля, и Италия является страной происхождения. Формирователь 134 возможных вариантов может формировать один или более возможных вариантов 144 перезаписи запроса, которые включают в себя "Кто изготовитель CarC", "Кто изготовитель CarC", "Изготовитель CarC кто". Таким образом, возможные варианты 144 перезаписи запроса формируются посредством формирователя 134 возможных вариантов таким образом, что они автоматически включают контекст в запрос, предоставленный пользователем 176, причем контекст предоставляется посредством сущностей, извлеченных посредством модуля 132 извлечения сущностей.
[0032] В другом примере, при просмотре видео пользователь может хотеть знать названия фильмов, в которых снимался человек. В этом примере, пользователь 176 может предоставлять запрос "В каких фильмах он снимался?", когда человек появляется в видео. Компоненты запроса в этом запросе представляют собой "в, каких, фильмах, он, снимался". Модуль 132 извлечения сущностей может извлекать сущности, появляющиеся в видео во время запроса, как "John Doe, Deep Space", где "John Doe" представляет собой имя, ассоциированное с человеком, а Deep Space представляет собой название фильма. Формирователь 134 возможных вариантов формирует один или более возможных вариантов 144 перезаписи запроса, которые включают в себя "Фильмы снимался John Doe Deep Space", "Снимался John Doe Deep Space", "Фильмы John Doe", "В каких фильмах снимался John Doe" и т.д. Таким образом, возможные варианты 144 перезаписи запроса могут быть основаны на различных комбинациях компонентов запроса и сущностей, извлеченных посредством модуля 132 извлечения сущностей.
[0033] Следует принимать во внимание, что раскрытые варианты осуществления не ограничены комбинациями (или конкатенациями) компонентов запроса и извлеченных сущностей. В некоторых реализациях, возможные варианты перезаписи запроса могут формироваться посредством формирователя 134 возможных вариантов на основе другой эвристики. Другая эвристика может включать в себя запросы, которые являются аналогичными (или включающими в себя аналогичные компоненты) одному или более сформированных возможных вариантов запроса. Запросы, аналогичные одному или более сформированных возможных вариантов запроса, могут определяться из репозитория 192 запросов. Например, если "Фильмы снимался John Doe Deep Space" представляет собой возможный вариант запроса, формирователь 134 возможных вариантов может считывать репозиторий 192 запросов и идентифицировать другой запрос, например, "В каких фильмах снимался John Doe", который является аналогичным (например, включает в себя один или более аналогичных компонентов) возможному варианту запроса. Таким образом, например, "В каких фильмах снимался John Doe" может определяться в качестве другого возможного варианта запроса на основе начального возможного варианта запроса "Фильмы снимался John Doe Deep Space". Таким образом, для запроса "В каких фильмах он снимался?", который предоставлен пользователем 176, возможные варианты 144 перезаписи запроса могут представлять собой "Фильмы снимался John Doe Deep Space" и "В каких фильмах снимался John Doe".
[0034] В некоторых реализациях, механизм 138 количественной оценки и ранжирования может количественно оценивать один или более извлеченных сущностей на основе времени, ассоциированного с запросом, первоначально предоставленным пользователем 176, и временных меток и свойств извлеченных сущностей. Например, механизм 138 количественной оценки и ранжирования может анализировать информацию временных меток, которая может быть ассоциирована с одним или более извлеченных сущностей. Если сущность pi снабжается примечаниями во время T, в которое запрос предоставляется пользователем 176 в видео, сущность pi может принимать положительный количественный показатель из механизма 138 количественной оценки и ранжирования и штраф, если pi не упоминается во время или примерно во время T. Например, рассмотрим, что пользователь предоставляет запрос "Когда следующая игра?" на десять минут в потоковое видео. Если, например, сущности "спортсмен" или "спортивные команды" снабжаются примечаниями в или практически в 10 минут (или 9-12 минут), то механизм 138 количественной оценки и ранжирования может назначать более высокий количественный показатель сущностям "спортсмен" или "спортивные команды" относительно других сущностей. Извлеченные сущности, ассоциированные с более высокими количественными показателями относительно других извлеченных сущностей, затем могут использоваться посредством формирователя 134 возможных вариантов для того, чтобы формировать возможные варианты 144 перезаписи запроса.
[0035] В некоторых реализациях, механизм 138 количественной оценки и ранжирования может количественно оценивать один или более извлеченных сущностей на основе совместных встречаемостей n-грамм, которые могут сохраняться в репозитории 192 запросов. n-грамма может быть смежной последовательностью из n элементов для данной последовательности текста или речи. Другими словами, например, n-грамма может считаться комбинацией элементов. Элементы, например, могут представлять собой фонемы, слоги, буквы, слова или пары оснований. N-граммы типично собираются из текстового или речевого сборника (например, репозитория 192 запросов). N-грамма размера в единицу упоминается в качестве "униграммы"; размера в два представляет собой "биграмму" (или, реже, "диграмму"); размера в три представляет собой "триграмму". Большие размеры иногда упоминаются посредством значения n, например, "четыреграмма", "пятиграмма" и т.д.
[0036] В некоторых реализациях, механизм 138 количественной оценки и ранжирования может считывать репозиторий 192 запросов, чтобы идентифицировать то, что является вероятными типами сущности для данных n-грамм запроса q. Для каждой сущности pi, извлеченной модулем 132 извлечения сущностей, если извлеченная сущность является одной из наиболее вероятных сущностей на основе анализа n-грамм в репозитории 192 запросов, механизм 138 количественной оценки и ранжирования может назначать положительный количественный показатель извлеченной сущности и штраф в противном случае. Например, для запроса "Когда следующая игра" механизм 138 количественной оценки и ранжирования должен увеличивать количественный показатель сущности pi, которая имеет тип "спортивные команды" и "спортсмен". Извлеченные сущности, ассоциированные с более высокими количественными показателями относительно других извлеченных сущностей, затем могут использоваться посредством формирователя 134 возможных вариантов для того, чтобы формировать возможные варианты 144 перезаписи запроса.
[0037] Таким образом, на основе эвристики, такой как предыдущие запросы или журналы запросов, времена, когда запрос предоставляется, и сущности снабжаются примечаниями, и совместные встречаемости n-грамм, формирователь 134 возможных вариантов может формировать один или более возможных вариантов 144 перезаписи запроса. Возможные варианты 144 перезаписи запроса, определенные посредством формирователя 134 возможных вариантов, могут быть количественно оценены и ранжированы посредством механизма 138 количественной оценки и ранжирования.
[0038] В некоторых реализациях, механизм 138 количественной оценки и ранжирования может предоставлять один или более возможных вариантов 144 перезаписи запроса в поисковый механизм 110. Механизм 138 количественной оценки и ранжирования затем может количественно оценивать один или более возможных вариантов 144 перезаписи запроса на основе характеристик соответствующих наборов результатов, получающихся в результате предоставления возможных вариантов 144 перезаписи запроса в поисковый механизм 110. В некоторых неограничивающих реализациях, механизм 138 количественной оценки и ранжирования также может количественно оценивать возможные варианты 144 перезаписи запроса на основе предыдущих поисковых запросов, ассоциированных с поисковым механизмом 110 (например, запросов, сохраненных в репозитории 192 запросов) или времени, ассоциированного с запросом, первоначально предоставленным пользователем 176.
[0039] В некоторых реализациях, качество результатов может быть характеристикой набора результатов, получающегося в результате предоставления возможных вариантов 144 перезаписи запроса в поисковый механизм 110. Качество результатов для набора результатов может быть основано на числе или результатах поиска, извлеченных из поискового механизма на основе возможного варианта перезаписи запроса. Например, качество набора результатов может определяться как более высокое относительно другого набора результатов, если набор результатов имеет больше результатов, чем другой набор результатов. Качество также может быть основано на разноплановости результатов поиска. Например, качество набора результатов может определяться как более высокое относительно другого набора результатов, если набор результатов имеет результаты, связанные с аудио, видео, текстов, тогда как другой набор результатов может иметь результаты, связанные только с текстом. Качество также может быть основано на релевантности результатов поиска на основе возможного варианта перезаписи запроса. Например, качество набора результатов может определяться как более высокое относительно другого набора результатов, если набор результатов имеет результаты, включающие в себя компоненты, аналогичные или идентичные компонентам запроса.
[0040] Качество набора результатов может определяться на основе любого другого свойства или характеристики набора результатов. В некоторых реализациях, с учетом набора Q возможных вариантов перезаписи запроса, механизм 138 количественной оценки и ранжирования задает функцию S (p, q, r)->R_+, которая назначает количественный показатель перезаписи с учетом вводов p и q. Например, число высококачественных результатов поиска, получающихся в результате предоставления возможного варианта r перезаписи запроса в поисковый механизм 110, может быть количественным показателем качества. Эти примеры являются чисто иллюстративными и не имеют намерение ограничивать раскрытые реализации.
[0041] В некоторых реализациях, механизм 138 количественной оценки и ранжирования ранжирует количественно оцененные один или более возможных вариантов 144 перезаписи запроса на основе их соответствующих количественных показателей. Например, возможный вариант перезаписи запроса, ассоциированный с более высоким числом результатов, может иметь более высокий ранг по сравнению с другим возможным вариантом перезаписи запроса, имеющим меньшее число результатов. Со ссылкой на пример, приведенный выше, возможный вариант перезаписи запроса "Кто является изготовителем CarC", может приводить к 100 результатам из поискового механизма 110. Тем не менее, возможный вариант перезаписи запроса "Изготовитель CarC кто является", может формировать 80 результатов. В этом примере, механизм 138 количественной оценки и ранжирования может ранжировать возможный вариант перезаписи запроса "Кто является изготовителем CarC" выше относительно возможного варианта перезаписи запроса "Изготовитель CarC кто является".
[0042] Что касается другого примера, отмеченного выше, возможный вариант запроса "В каких фильмах снимался John Doe", может приводить к аудио-, видео- и текстовым результатам из поискового механизма 110. Тем не менее, возможный вариант запроса "Фильмы снимался John Doe Deep Space" может приводить только к текстовым результатам. В этом примере, механизм 138 количественной оценки и ранжирования может ранжировать возможный вариант перезаписи запроса "В каких фильмах снимался John Doe" выше относительно возможного варианта перезаписи запроса "Фильмы снимался John Doe Deep Space", поскольку "В каких фильмах снимался John Doe" формирует более разноплановый набор результатов относительно возможного варианта перезаписи запроса "Фильмы снимался John Doe Deep Space". В некоторых реализациях, возможный вариант с наивысшим рангом из возможных вариантов 144 перезаписи запроса может определяться как: =argmax_{x elt Q) S(x). Argmax представляет аргумент максимума, другими словами, набор точек данного аргумента, для которого заданная функция достигает своего максимального значения. Другими словами, argmax f(x) может быть набором значений x, для которых f(x) достигает своего наибольшего значения M.
[0043] Как отмечено выше, механизм 138 количественной оценки и ранжирования может ранжировать количественно оцененные один или более возможных вариантов 144 перезаписи запроса на основе их соответствующих количественных показателей. Механизм 140 перезаписи запросов затем может перезаписывать запрос, связанный с мультимедийным контентом, на основе возможного варианта перезаписи запроса с конкретным рангом. В некоторых реализациях, возможный вариант перезаписи запроса с конкретным рангом может представлять собой возможный вариант перезаписи запроса с наивысшим рангом. Например, если запрос, предоставленный пользователем 176, представляет собой "В каких фильмах он снимался?", механизм 140 перезаписи запросов может автоматически перезаписывать запрос как "В каких фильмах снимался John Doe". Перезаписанный запрос затем может предоставляться посредством механизма перезаписи запросов в поисковый механизм 110. Диспетчер 142 результатов затем может предоставлять для отображения, в ответ на запрос, связанный с мультимедийным контентом, набор результатов из поискового механизма 110 на основе перезаписанного запроса. В качестве примера, набор результатов может включать в себя названия фильмов (например, "Deep Space, Galaxy Travel, Mysteries of Jupiter".) Набор результатов может предоставляться посредством диспетчера 142 результатов пользователю 176 в реальном времени по мере того, как пользователь 176 потребляет мультимедийный контент. Набор результатов может предоставляться без прерывания предоставления мультимедийного контента пользователю 176. Таким образом, пользователь 176 не должен обязательно выполнять поиск в отдельном поисковом механизме и затем дополнительно выполнять поиск в результатах из поискового механизма, чтобы идентифицировать веб-страницу, включающую в себя ответы на запрос пользователя 176 относительно мультимедийного контента. Таким образом, внимание пользователя 176 не должно обязательно отвлекаться от мультимедийного контента. Это расширяет возможности работы пользователей.
[0044] Набор результатов может отображаться в пользовательском интерфейсе клиентского вычислительного устройства 192. В некоторых реализациях, набор результатов может отображаться в качестве всплывающего окна около мультимедийного контента. Например, пользователь может предоставлять запрос, связанный с видеоконтентом, через речевой ввод и может просматривать результаты запроса во всплывающем интерфейсе, отображаемом около видеоконтента. Результаты могут отображаться без прерывания видео или приостановки воспроизведения видео. Результаты, включенные в набор результатов, могут включать в себя релевантные ответы на пользовательский запрос. Например, если пользователь 176 предоставляет запрос "В каких фильмах снимался John Doe?", набор результатов может отображаться в качестве всплывающего окна, которое включает в себя "Deep Space, Galaxy Travel, Mysteries of Jupiter". Набор результатов также может включать в себя аудио, видео и любой другой мультимедийный контент. В некоторых реализациях, набор результатов может озвучиваться через динамик, ассоциированный с вычислительным устройством 190, так что пользователь может прослушивать результаты.
[0045] Фиг. 2A является примерным процессом 200 для осуществления на практике реализаций настоящей технологии с использованием примерной архитектуры по фиг. 1. Хотя фиг. 2A описывается со ссылкой на элементы по фиг. 1, процесс по фиг. 2A не ограничен означенным и может применяться в других системах.
[0046] Процесс 200 начинается с извлечения сущностей, ассоциированных с мультимедийным контентом (этап 202). сущности включают в себя значения, характеризующие один или более объектов, представленных в мультимедийном контенте. Как отмечено выше, в некоторых реализациях, модуль 132 извлечения сущностей извлекает сущности, ассоциированные с мультимедийным контентом. сущности могут включать в себя значения, характеризующие один или более объектов, представленных в мультимедийном контенте. Например, объекты могут включать в себя имена людей, названия местоположений, объектов, появляющихся в видео, и т.д. сущности могут извлекаться из метаданных, ассоциированных с мультимедийным контентом (например, имени файла, свойств мультимедиа и т.д.). сущности также могут извлекаться из других данных, ассоциированных с мультимедийным контентом.
[0047] Один или более возможных вариантов перезаписи запроса формируются на основе извлеченных сущностей и одного или более компонентов в запросе, связанном с мультимедийным контентом (этап 204). Формирование может выполняться, когда запрос, связанный с мультимедийным контентом, принимается от пользователя. В качестве примера, формирователь 134 возможных вариантов формирует один или более возможных вариантов 144 перезаписи запроса на основе извлеченных сущностей и одного или более компонентов в запросе, предоставленном пользователем 176. Запрос, предоставленный пользователем 176, может быть связан с мультимедийным контентом, который может потреблять пользователь через клиентское вычислительное устройство 190. В некоторых реализациях, формирование возможных вариантов 144 перезаписи запроса посредством формирователя 134 возможных вариантов может выполняться, когда запрос, связанный с мультимедийным контентом, принимается от пользователя 176.
[0048] Один или более возможных вариантов перезаписи запроса предоставляются в поисковый механизм (этап 206) и могут быть количественно оценены на основе характеристик соответствующих наборов результатов, получающихся в результате предоставления (этап 208). В качестве примера, механизм 138 количественной оценки и ранжирования может предоставлять один или более возможных вариантов 144 перезаписи запроса в поисковый механизм 110. Механизм 138 количественной оценки и ранжирования затем может количественно оценивать один или более возможных вариантов 144 перезаписи запроса на основе характеристик соответствующих наборов результатов, получающихся в результате предоставления возможных вариантов 144 перезаписи запроса в поисковый механизм 110.
[0049] Количественно оцененные один или более возможных вариантов перезаписи запроса могут ранжироваться на основе их соответствующих количественных показателей (этап 210). Например, возможный вариант перезаписи запроса, ассоциированный с более высоким числом результатов, может иметь более высокий ранг по сравнению с другим возможным вариантом перезаписи запроса, имеющим меньшее число результатов. В другом примере, возможный вариант перезаписи запроса, ассоциированный с более разноплановым набором результатов (например, аудио, видео и текст) относительно возможного варианта перезаписи запроса, может иметь более высокий ранг по сравнению с другим возможным вариантом перезаписи запроса, имеющим менее разноплановые результаты (например, только текст).
[0050] Запрос, связанный с мультимедийным контентом, может перезаписываться на основе возможного варианта перезаписи запроса с конкретным рангом (этап 212). В качестве примера, механизм 140 перезаписи запросов затем может перезаписывать запрос, связанный с мультимедийным контентом, на основе возможного варианта перезаписи запроса с конкретным рангом. В некоторых реализациях, возможный вариант перезаписи запроса с конкретным рангом может представлять собой возможный вариант перезаписи запроса с наивысшим рангом. Например, если запрос, предоставленный пользователем 176, представляет собой "В каких фильмах он снимался?", механизм 140 перезаписи запросов может автоматически перезаписывать запрос как "В каких фильмах снимался John Doe". Перезаписанный запрос затем может предоставляться посредством механизма перезаписи запросов в поисковый механизм 110.
[0051] Набор результатов из поискового механизма на основе перезаписанного запроса может предоставляться для отображения, в ответ на запрос, связанный с мультимедийным контентом (этап 214). В качестве примера, диспетчер 142 результатов может предоставлять для отображения, в ответ на запрос, связанный с мультимедийным контентом, набор результатов из поискового механизма 110 на основе перезаписанного запроса. В качестве примера, набор результатов может включать в себя названия фильмов (например, "Deep Space, Galaxy Travel, Mysteries of Jupiter".) Набор результатов может предоставляться посредством диспетчера 142 результатов пользователю 176 в реальном времени по мере того, как пользователь 176 потребляет мультимедийный контент. Набор результатов может предоставляться без прерывания предоставления мультимедийного контента пользователю 176. Таким образом, пользователь 176 не должен обязательно выполнять поиск в отдельном поисковом механизме и затем дополнительно выполнять поиск в результатах из поискового механизма, чтобы идентифицировать веб-страницу, включающую в себя ответы на запрос пользователя 176 относительно мультимедийного контента. Таким образом, внимание пользователя 176 не должно обязательно отвлекаться от мультимедийного контента. Это расширяет возможности работы пользователей.
[0052] Фиг. 2B является примерным процессом, подробнее иллюстрирующим этап 204 по фиг. 2A для осуществления на практике реализаций настоящей технологии с использованием примерного устройства по фиг. 1. Хотя фиг. 2B описывается со ссылкой на элементы по фиг. 1, процесс по фиг. 2B не ограничен означенным и может применяться в других системах.
[0053] Один или более извлеченных сущностей количественно оцениваются на основе одного или более из следующего: времени, в которое извлеченные сущности снабжаются примечаниями в мультимедийном контенте, или на основе совместных встречаемостей n-грамм в репозитории запроса (этап 224). В качестве примера, механизм 138 количественной оценки и ранжирования может количественно оценивать извлеченные сущности на основе одного или более из следующего: времени, в которое извлеченные сущности снабжаются примечаниями в мультимедийном контенте, или на основе совместных встречаемостей n-грамм в репозитории 192 запросов либо любых других характеристик запросов, сохраненных в репозитории 192 запросов. Количественно оцененные сущности затем могут ранжироваться на основе количественной оценки (этап 226). Количественно оцененные извлеченные сущности могут комбинироваться с одним или более компонентов запроса, чтобы формировать один или более возможных вариантов перезаписи запроса (этап 228).
[0054] Фиг. 3 является примерным процессом 300 для осуществления на практике реализаций настоящей технологии с использованием примерного устройства по фиг. 1. Хотя фиг. 3 описывается со ссылкой на элементы по фиг. 1, процесс по фиг. 3 не ограничен означенным и может применяться в других системах.
[0055] Процесс 300 начинается с приема запроса, связанного с мультимедийным контентом, (этап 302). В качестве примера, запрос может приниматься на сервере 180 из клиентского вычислительного устройства 190. Пользователь 176 может предоставлять запрос в клиентское вычислительное устройство 190 через пользовательский интерфейс (например, интерфейс веб-браузера), отображаемый в клиентском вычислительном устройстве 190. Запрос может предоставляться пользователем 176 в то время, когда пользователь потребляет (например, просматривает) мультимедийный контент без прерывания воспроизведения или потоковой передачи мультимедийного контента. Другими словами, пользователь не должен приостанавливать или прекращать мультимедийный контент или осуществлять навигацию из области контента, отображающей мультимедийный контент.
[0056] Один или более компонентов могут идентифицироваться из запроса (этап 304). В качестве примера, модуль 132 извлечения сущностей может идентифицировать один или более компонентов в запросе, принимаемом из клиентского вычислительного устройства 190.
[0057] Один или более возможных вариантов перезаписи запроса могут формироваться на основе сущностей, ассоциированных с мультимедийным контентом и одним или более компонентов в запросе (этап 306). сущности могут включать в себя значения, характеризующие один или более объектов, представленных в мультимедийном контенте. Как отмечено выше, в некоторых реализациях, модуль 132 извлечения сущностей извлекает сущности, ассоциированные с мультимедийным контентом. сущности могут включать в себя значения, характеризующие один или более объектов, представленных в мультимедийном контенте. Например, объекты могут включать в себя имена людей, названия местоположений, объектов, появляющихся в видео, и т.д. сущности могут извлекаться из метаданных, ассоциированных с мультимедийным контентом (например, имени файла, временной метки(ок), свойств мультимедиа и т.д.). сущности также могут извлекаться из других данных, ассоциированных с мультимедийным контентом. Формирование может выполняться, когда запрос, связанный с мультимедийным контентом, принимается от пользователя. В качестве примера, формирователь 134 возможных вариантов формирует один или более возможных вариантов 144 перезаписи запроса на основе извлеченных сущностей и одного или более компонентов в запросе, предоставленном пользователем 176. Запрос, предоставленный пользователем 176, может быть связан с мультимедийным контентом, который может потреблять пользователь через клиентское вычислительное устройство 190. В некоторых реализациях, формирование возможных вариантов 144 перезаписи запроса посредством формирователя 134 возможных вариантов может выполняться, когда запрос, связанный с мультимедийным контентом, принимается от пользователя 176.
[0058] Один или более возможных вариантов перезаписи запроса предоставляются в поисковый механизм (этап 308) и могут быть количественно оценены на основе характеристик соответствующих наборов результатов, получающихся в результате предоставления (этап 310). В качестве примера, механизм 138 количественной оценки и ранжирования может предоставлять один или более возможных вариантов 144 перезаписи запроса в поисковый механизм 110. Механизм 138 количественной оценки и ранжирования затем может количественно оценивать один или более возможных вариантов 144 перезаписи запроса на основе характеристик соответствующих наборов результатов, получающихся в результате предоставления возможных вариантов 144 перезаписи запроса в поисковый механизм 110.
[0059] Количественно оцененные один или более возможных вариантов перезаписи запроса могут ранжироваться на основе их соответствующих количественных показателей (этап 312). Например, возможный вариант перезаписи запроса, ассоциированный с более высоким числом результатов, может иметь более высокий ранг по сравнению с другим возможным вариантом перезаписи запроса, имеющим меньшее число результатов. В другом примере, возможный вариант перезаписи запроса, ассоциированный с более разноплановым набором результатов (например, аудио, видео и текст) относительно возможного варианта перезаписи запроса, может иметь более высокий ранг по сравнению с другим возможным вариантом перезаписи запроса, имеющим менее разноплановые результаты (например, только текст).
[0060] Запрос, связанный с мультимедийным контентом, может перезаписываться на основе возможного варианта перезаписи запроса с конкретным рангом (этап 314). В качестве примера, механизм 140 перезаписи запросов затем может перезаписывать запрос, связанный с мультимедийным контентом, на основе возможного варианта перезаписи запроса с конкретным рангом. В некоторых реализациях, возможный вариант перезаписи запроса с конкретным рангом может представлять собой возможный вариант перезаписи запроса с наивысшим рангом. Например, если запрос, предоставленный пользователем 176, представляет собой "В каких фильмах он снимался?", механизм 140 перезаписи запросов может автоматически перезаписывать запрос как "В каких фильмах снимался John Doe". Перезаписанный запрос затем может предоставляться посредством механизма перезаписи запросов в поисковый механизм 110.
[0061] Набор результатов из поискового механизма на основе перезаписанного запроса может предоставляться для отображения, в ответ на запрос, связанный с мультимедийным контентом (этап 316). В качестве примера, диспетчер 142 результатов может предоставлять для отображения, в ответ на запрос, связанный с мультимедийным контентом, набор результатов из поискового механизма 110 на основе перезаписанного запроса. В качестве примера, набор результатов может включать в себя названия фильмов (например, "Deep Space, Galaxy Travel, Mysteries of Jupiter".) Набор результатов может предоставляться посредством диспетчера 142 результатов пользователю 176 в реальном времени по мере того, как пользователь 176 потребляет мультимедийный контент. Набор результатов может предоставляться без прерывания предоставления мультимедийного контента пользователю 176. Таким образом, пользователь 176 не должен обязательно выполнять поиск в отдельном поисковом механизме и затем дополнительно выполнять поиск в результатах из поискового механизма, чтобы идентифицировать веб-страницу, включающую в себя ответы на запрос пользователя 176 относительно мультимедийного контента. Таким образом, внимание пользователя 176 не должно обязательно отвлекаться от мультимедийного контента. Это расширяет возможности работы пользователей.
[0062] Фиг. 4 является примерным процессом 400 для осуществления на практике реализаций настоящей технологии с использованием примерного устройства по фиг. 1. Хотя фиг. 4 описывается со ссылкой на элементы по фиг. 1, процесс по фиг. 4 не ограничен означенным и может применяться в других системах.
[0063] Процесс 400 начинается с приема запроса, связанного с мультимедийным контентом, (этап 402). В качестве примера, запрос может приниматься на сервере 180 из клиентского вычислительного устройства 190. Пользователь 176 может предоставлять запрос в клиентское вычислительное устройство 190 через пользовательский интерфейс (например, интерфейс веб-браузера), отображаемый в клиентском вычислительном устройстве 190. Запрос может включать в себя один или более компонентов запроса. Запрос может предоставляться пользователем 176 в то время, когда пользователь потребляет (например, просматривает, прослушивает, взаимодействует и т.д.) мультимедийный контент без прерывания воспроизведения или потоковой передачи мультимедийного контента. Другими словами, пользователь не должен приостанавливать или прекращать мультимедийный контент или осуществлять навигацию из области контента, отображающей мультимедийный контент.
[0064] Один или более возможных вариантов перезаписи запроса могут формироваться на основе сущностей, ассоциированных с мультимедийным контентом и одним или более компонентов в запросе (этап 404). сущности могут включать в себя значения, характеризующие один или более объектов, представленных в мультимедийном контенте. Как отмечено выше, в некоторых реализациях, модуль 132 извлечения сущностей извлекает сущности, ассоциированные с мультимедийным контентом. сущности могут включать в себя значения, характеризующие один или более объектов, представленных в мультимедийном контенте. Например, сущности могут включать в себя имена людей, названия местоположений, объектов, появляющихся в видео, и т.д. сущности могут извлекаться из метаданных, ассоциированных с мультимедийным контентом (например, имени файла, временной метки(ок), свойств мультимедиа и т.д.). сущности также могут извлекаться из других данных, ассоциированных с мультимедийным контентом. Формирование может выполняться, когда запрос, связанный с мультимедийным контентом, принимается от пользователя. В качестве примера, формирователь 134 возможных вариантов формирует один или более возможных вариантов 144 перезаписи запроса на основе извлеченных сущностей и одного или более компонентов в запросе, предоставленном пользователем 176. Запрос, предоставленный пользователем 176, может быть связан с мультимедийным контентом, который может потреблять пользователь через клиентское вычислительное устройство 190. В некоторых реализациях, формирование возможных вариантов 144 перезаписи запроса посредством формирователя 134 возможных вариантов может выполняться, когда запрос, связанный с мультимедийным контентом, принимается от пользователя 176.
[0065] Один или более возможных вариантов перезаписи запроса предоставляются в поисковый механизм (этап 406) и могут быть количественно оценены на основе характеристик соответствующих наборов результатов, получающихся в результате предоставления (этап 408). В качестве примера, механизм 138 количественной оценки и ранжирования может предоставлять один или более возможных вариантов 144 перезаписи запроса в поисковый механизм 110. Механизм 138 количественной оценки и ранжирования затем может количественно оценивать один или более возможных вариантов 144 перезаписи запроса на основе характеристик соответствующих наборов результатов, получающихся в результате предоставления возможных вариантов 144 перезаписи запроса в поисковый механизм 110.
[0066] Количественно оцененные один или более возможных вариантов перезаписи запроса могут ранжироваться на основе их соответствующих количественных показателей (этап 410). Например, возможный вариант перезаписи запроса, ассоциированный с более высоким числом результатов, может иметь более высокий ранг по сравнению с другим возможным вариантом перезаписи запроса, имеющим меньшее число результатов. В другом примере, возможный вариант перезаписи запроса, ассоциированный с более разноплановым набором результатов (например, аудио, видео и текст) относительно возможного варианта перезаписи запроса, может иметь более высокий ранг по сравнению с другим возможным вариантом перезаписи запроса, имеющим менее разноплановые результаты (например, только текст).
[0067] Запрос, связанный с мультимедийным контентом, может перезаписываться на основе возможного варианта перезаписи запроса с конкретным рангом (этап 412). В качестве примера, механизм 140 перезаписи запросов затем может перезаписывать запрос, связанный с мультимедийным контентом, на основе возможного варианта перезаписи запроса с конкретным рангом. В некоторых реализациях, возможный вариант перезаписи запроса с конкретным рангом может представлять собой возможный вариант перезаписи запроса с наивысшим рангом. Например, если запрос, предоставленный пользователем 176, представляет собой "В каких фильмах он снимался?", механизм 140 перезаписи запросов может автоматически перезаписывать запрос как "В каких фильмах снимался John Doe". Перезаписанный запрос затем может предоставляться посредством механизма перезаписи запросов в поисковый механизм 110.
[0068] Набор результатов из поискового механизма, на основе перезаписанного запроса, может предоставляться для отображения без прерывания потребления мультимедийного контента (этап 414). В качестве примера, диспетчер 142 результатов может предоставлять для отображения, в ответ на запрос, связанный с мультимедийным контентом, набор результатов из поискового механизма 110 на основе перезаписанного запроса. В качестве примера, набор результатов может включать в себя названия фильмов (например, "Deep Space, Galaxy Travel, Mysteries of Jupiter".) Набор результатов может предоставляться посредством диспетчера 142 результатов пользователю 176 в реальном времени по мере того, как пользователь 176 потребляет мультимедийный контент. Набор результатов может накладываться или отображаться рядом с мультимедийным контентом по мере того, как пользователь потребляет мультимедийный контент. Набор результатов может предоставляться без прерывания предоставления (например, передачи в потоковом режиме) мультимедийного контента пользователю 176. Пользователь 176 может продолжать потребление мультимедийного контента и естественно задавать вопросы в любое время в ходе потребления. Таким образом, пользователь 176 не должен выполнять поиск в отдельном поисковом механизме и затем дополнительно выполнять поиск в результатах из поискового механизма, чтобы идентифицировать веб-страницу, включающую в себя ответы на запрос пользователя 176 относительно мультимедийного контента. Таким образом, внимание пользователя 176 не должно обязательно отвлекаться от мультимедийного контента. Это расширяет возможности работы пользователей.
[0069] Возвращаясь к фиг. 1, в определенных аспектах, сервер 180 может реализовываться с использованием аппаратных средств или комбинации программного обеспечения и аппаратных средств, либо на выделенном сервере, либо интегрироваться в другую сущность, либо распределяться по нескольким сущностям.
[0070] Сервер 180 включает в себя шину 124 или другой механизм связи для передачи информации и процессор 112, соединенный с шиной 124 для обработки информации. Процессором может представлять собой микропроцессор общего назначения, микроконтроллер, процессор цифровых сигналов (DSP), специализированную интегральную схему (ASIC), программируемую пользователем вентильную матрицу (FPGA), программируемое логическое устройство (PLD), контроллер, конечный автомат, вентильную логику, дискретные аппаратные составляющие либо любой другой надлежащий объект, который может выполнять вычисления или другие виды обработки информации.
[0071] Сервер 180 может включать в себя, в дополнение к аппаратным средствам, код, который создает среду выполнения для рассматриваемой компьютерной программы, например, код, который составляет микропрограммное обеспечение процессора, стек протоколов, систему управления базами данных, операционную систему либо комбинацию одного или более из вышеозначенного, сохраненную в запоминающем устройстве 120. Запоминающее устройство 120 может включать в себя оперативное запоминающее устройство (RAM), флэш-память, постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое PROM (EPROM), регистры, жесткий диск, съемный диск, CD-ROM, DVD или любое другое подходящее устройство хранения данных, соединенное с шиной 124 для сохранения информации и инструкций, которые должны выполняться посредством процессора 112. Процессор 112 и запоминающее устройство 120 могут дополняться или включаться в логическую схему специального назначения.
[0072] Инструкции могут сохраняться в запоминающем устройстве 120 и реализовываться в одном или более компьютерных программных продуктов, т.е. в одном или более модулей компьютерных программных инструкций, кодированных на машиночитаемом носителе для выполнения посредством или управления работой сервера 180, и согласно любому способу, известному специалистам в данной области техники, включающих в себя, но не только, компьютерные языки, к примеру, ориентированные на обработку данных языки (например, SQL, dBase), системные языки (например, C, Objective-C, C++, Assembly), архитектурные языки (например, Java.NET) и языки приложений (например, PHP, Ruby, Perl, Python). Инструкции также могут реализовываться на компьютерных языках, таких как языки массиво-ориентированного программирования, аспектно-ориентированные языки, языки ассемблера, авторские языки разработки, языки на основе интерфейса командной строки, компилированные языки, языки параллельного программирования, языки на основе фигурных скобок, языки потоков данных, языки структурированной обработки данных, декларативные языки, эзотерические языки, расширяемые языки, языки четвертого поколения, функциональные языки, языки на основе интерактивного режима, интерпретируемые языки, итеративные языки, языки на основе списков, младшие языки, логические языки, машинные языки, макроязыки, языки метапрограммирования, многопарадигматические языки, численный анализ, неанглийские языки, объектно-ориентированные языки на основе классов, объектно-ориентированные языки на основе прототипов, языки правил офсайда, процедурные языки, рефлективные языки, языки на основе правил, языки подготовки сценариев, стековые языки, синхронные языки, языки синтаксической обработки, визуальные языки, языки Вирта, встраиваемые языки и XML-языки. Запоминающее устройство 120 также может использоваться для сохранения временной переменной или другой промежуточной информации в ходе выполнения инструкций, которые должны выполняться посредством процессора 112.
[0073] Компьютерная программа, как пояснено в данном документе, не обязательно соответствует файлу в файловой системе. Программа может сохраняться в части файла, который хранит другие программы или данные (например, один или более сценариев, сохраненных в документе на языке разметки), в одном файле, выделенном для рассматриваемой программы, или в нескольких координированных файлах (например, в файлах, которые сохраняют один или более модулей, подпрограмм либо частей кода). Компьютерная программа может быть развернута для выполнения на одном компьютере или на нескольких компьютерах, которые находятся на одном веб-узле или распределены по нескольким веб-узлам и соединены посредством сети связи. Процессы и логические последовательности операций, поясненные в этом описании изобретения, могут выполняться посредством одного или более программируемых процессоров, выполняющих одну или более компьютерных программ, чтобы осуществлять функции посредством обработки входных данных и формирования вывода.
[0074] Сервер 180 дополнительно включает в себя устройство 126 хранения данных, такое как магнитный диск или оптический диск, соединенный с шиной 124 для сохранения информации и инструкций. Сервер 180 может соединяться через модуль 128 ввода-вывода с различными устройствами. Модуль 128 ввода-вывода может представлять собой любой модуль ввода-вывода. Примерные модули 128 ввода-вывода включают в себя порты передачи данных, к примеру, USB-порты. Модуль 128 ввода-вывода сконфигурирован с возможностью соединяться с модулем 118 связи. Примерные модули 118 связи (например, модуль 118 и 238 связи) включают в себя сетевые интерфейсные карты, такие как Ethernet-карты и модемы. В определенных аспектах, модуль 128 ввода-вывода сконфигурирован с возможностью соединяться с множеством устройств, таких как устройство 116 ввода и/или устройство 114 вывода. Примерные устройства 114 ввода включают в себя клавиатуру и указательное устройство, например, мышь или шаровой манипулятор, посредством которого пользователь может предоставлять ввод на сервер 180. Другие виды устройств 114 ввода также могут использоваться для того, чтобы предоставлять взаимодействие с пользователем, такие как устройство тактильного ввода, устройство видеоввода, устройство аудиоввода или мозгокомпьютерное интерфейсное устройство. Например, обратная связь, предоставляемая пользователю, может представлять собой любую форму сенсорной обратной связи, например, визуальную обратную связь, акустическую обратную связь или тактильную обратную связь; и ввод от пользователя может приниматься в любой форме, включающей в себя акустический, речевой, тактильный или мозговой волновой ввод. Примерные устройства 116 вывода включают в себя устройства отображения, такие как экран на светодиодах (светоизлучающих диодах), на CRT (электронно-лучевой трубке) или ЖК-дисплея (жидкокристаллического дисплея) для отображения информации пользователю.
[0075] Согласно одному аспекту настоящего раскрытия, сервер 180 может реализовываться с использованием сервера 180 в ответ на выполнение посредством процессора 112 одной или более последовательностей из одной или более инструкций, содержащихся в запоминающем устройстве 120. Такие инструкции могут считываться в запоминающее устройство 120 из другого машиночитаемого носителя, такого как устройство 126 хранения данных. Выполнение последовательностей инструкций, содержащихся в основном запоминающем устройстве 120, инструктирует процессору 112 выполнять этапы процесса, описанные в данном документе. Один или более процессоров в многопроцессорной компоновке также могут использоваться для того, чтобы выполнять последовательности инструкций, содержащихся в запоминающем устройстве 120. В альтернативных аспектах, проводная схема может использоваться вместо или в комбинации с программными инструкциями, чтобы реализовывать различные аспекты настоящего раскрытия. Таким образом, аспекты настоящего раскрытия не ограничены какой-либо конкретной комбинацией аппаратных схем и программного обеспечения.
[0076] Различные аспекты изобретения, поясненного в этом описании изобретения, могут реализовываться в вычислительной системе, которая включает в себя внутреннюю интерфейсную составляющую, например, в качестве сервера данных, либо которая включает в себя промежуточную составляющую, например, сервер приложений, либо которая включает в себя внешнюю интерфейсную составляющую, например, клиентский компьютер, имеющий графический пользовательский интерфейс или веб-браузер, через который пользователь может взаимодействовать с реализацией изобретения, описанного в этом описании изобретения, либо любую комбинацию одного или более таких внутренних, промежуточных или внешних интерфейсных составляющих. Составляющие системы могут соединяться посредством любой формы или среды цифровой передачи данных, например, сети связи. Сеть связи (например, сеть 170) может включать в себя, например, любое одно или более из персональной вычислительной сети (PAN), локальной вычислительной сети (LAN), университетской вычислительной сети (CAN), общегородской вычислительной сети (MAN), глобальной вычислительной сети (WAN), широкополосной сети (BBN), Интернета и т.п. Дополнительно, сеть связи может включать в себя, но не только, например, любую одну или более следующих топологий сети, включающих в себя шинную сеть, звездообразную сеть, кольцевую сеть, ячеистую сеть, звездообразно-шинную сеть, древовидную или иерархическую сеть и т.п. Модули связи могут представлять собой, например, модемы или Ethernet-карты.
[0077] Сервер 180 может представлять собой, например, и без ограничения, настольный компьютер, переносной компьютер или планшетный компьютер. Сервер 180 также может встраиваться в другое устройство, например, и без ограничения, в мобильный телефон, персональное цифровое устройство (PDA), мобильный аудиопроигрыватель, приемное устройство на основе глобальной системы позиционирования (GPS), консоль для видеоигр и/или телевизионную абонентскую приставку.
[0078] Компонент "машиночитаемый носитель хранения данных" или "машиночитаемый носитель" при использовании в данном документе означает любой носитель или носители, которые участвуют в предоставлении инструкций или данных в процессор 112 для выполнения. Такой носитель может принимать множество форм, включающих в себя, но не только, энергонезависимые носители и энергозависимые носители. Энергонезависимые носители включают в себя, например, оптические диски, магнитные диски или флэш-память, к примеру, устройство 126 хранения данных. Энергозависимые носители включают в себя динамическое запоминающее устройство, к примеру, запоминающее устройство 120. Среды передачи включают в себя коаксиальные кабели, медный провод и волоконно-оптический кабель, включающие в себя провода, которые содержат шину 124. Стандартные формы машиночитаемых носителей включают в себя, например, гибкий диск, дискету, жесткий диск, магнитную ленту, любой другой магнитный носитель, CD-ROM, DVD, любой другой оптический носитель, перфокарты, перфоленту, любой другой физический носитель с шаблонами отверстий, RAM, PROM, EPROM, флэш-EPROM, любо другой кристалл или картридж запоминающего устройства либо любой другой носитель, с которого может считывать компьютер. Машиночитаемый носитель хранения данных может представлять собой машиночитаемое устройство хранения данных, машиночитаемую плату хранения данных, запоминающее устройство, структуру, осуществляющую машиночитаемый распространяемый сигнал, либо комбинацию одного или более из вышеозначенного.
[0079] При использовании в данном документе, фраза "по меньшей мере, одно из", предшествующая последовательности элементов, с компонентами "и" или "или" для того, чтобы разделять любые из элементов, модифицирует список в целом, а не каждый пункт списка (т.е. каждый элемент). Фраза "по меньшей мере, один из" не требует выбора, по меньшей мере, одного элемента; наоборот, фраза предоставляет смысл, который включает в себя, по меньшей мере, один из любого одного из элементов и/или, по меньшей мере, один из любой комбинации элементов и/или, по меньшей мере, один из каждого из элементов. В качестве примера, фразы "по меньшей мере, один из A, B и C" или "по меньшей мере, один из A, B или C" означают только A, только B или только C; любую комбинацию A, B и C; и/или, по меньшей мере, один из каждого из A, B и C.
[0080] Кроме того, в рамках того, как компонент "включает в себя", "имеет" и т.п. используется в описании или формуле изобретения, такой компонент имеет намерение быть включающим способом, аналогичным компоненту "содержит", как "содержит" интерпретируется, когда используется в качестве переходного слова в пункте формулы изобретения.
[0081] Ссылка на элемент в единственном числе не имеет намерение означать "один и только один", если прямо не указано иное, а вместо этого "один или более". Все структурные и функциональные эквиваленты элементов различных конфигураций, описанных в данной заявке, которые известны или станут в дальнейшем известными специалистам в данной области техники, в явной форме включены в данный документ по ссылке и имеют намерение быть охватываемыми посредством настоящей технологии. Более того, ничего из раскрытого в данном документе не имеет намерение становиться всеобщим достоянием, независимо от того, указано или нет данное раскрытие в явной форме в вышеприведенном описании.
[0082] Хотя это описание изобретения содержит множество деталей, они не должны истолковываться в качестве ограничений на объем того, что может заявляться в формуле изобретения, а вместо этого в качестве описаний конкретных реализаций изобретения. Определенные признаки, которые поясняются в этом подробном описании в контексте отдельных аспектов, также могут быть реализованы комбинированно в одном аспекте. Наоборот, различные признаки, которые описываются в контексте одного аспекта, также могут быть реализованы в нескольких аспектах по отдельности или в любой подходящей субкомбинации. Кроме того, хотя признаки могут описываться выше как работающие в определенных комбинациях и даже первоначально задаваться в формуле изобретения по существу, один или более признаков из заявленной комбинации в некоторых случаях могут быть исключены из комбинации, и заявленная комбинация может быть направлена на субкомбинацию или на изменение субкомбинации.
[0083] Аналогично, хотя операции проиллюстрированы на чертежах в конкретном порядке, это не следует понимать как обязательность того, что такие операции должны выполняться в конкретном показанном порядке либо в последовательном порядке, или что все проиллюстрированные операции должны выполняться для того, чтобы достигать требуемых результатов. При определенных обстоятельствах может быть преимущественной многозадачная и параллельная обработка. Кроме того, разделение различных системных составляющих в аспектах, описанных выше, не должно пониматься как требующее такого разделения во всех аспектах, и следует понимать, что описанные программные составляющие и системы, в общем, могут интегрироваться в один программный продукт либо комплектоваться в несколько программных продуктов.
[0084] Предмет этого описания изобретения описан с точки зрения конкретных аспектов, но другие аспекты могут реализовываться и находятся в пределах объема прилагаемой формулы изобретения. Например, действия, изложенные в формуле изобретения, могут выполняться в другом порядке и при этом достигать требуемых результатов. В качестве одного примера, процессы, проиллюстрированные на прилагаемых чертежах, не обязательно требуют конкретного показанного порядка или последовательного порядка для того, чтобы достигать требуемых результатов. В определенных реализациях, может быть преимущественной многозадачная и параллельная обработка. Другие варьирования находятся в пределах объема прилагаемой формулы изобретения.
[0085] Эти и другие реализации находятся в пределах объема прилагаемой формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| КОНТЕКСТНЫЙ ПОИСК В МУЛЬТИМЕДИЙНОМ КОНТЕНТЕ | 2015 |
|
RU2693915C2 |
| СИСТЕМА КОМПОЗИЦИИ ЗАПРОСОВ | 2016 |
|
RU2691851C1 |
| УЛУЧШЕННАЯ ПОТОКОВАЯ ПЕРЕДАЧА ПО ЗАПРОСУ БЛОКОВ С ИСПОЛЬЗОВАНИЕМ МАСШТАБИРУЕМОГО КОДИРОВАНИЯ | 2010 |
|
RU2523918C2 |
| ОБНАРУЖЕНИЕ ОБЪЕКТОВ ИЗ ЗАПРОСОВ ВИЗУАЛЬНОГО ПОИСКА | 2017 |
|
RU2729956C2 |
| ПОДДЕРЖКА ТЕГИРОВАННЫХ РЕЗУЛЬТАТОВ ПОИСКА | 2014 |
|
RU2666460C2 |
| ВЕРИФИКАЦИЯ КОНТЕНТА СОБСТВЕННОГО ПРИЛОЖЕНИЯ | 2015 |
|
RU2713608C2 |
| МОБИЛЬНЫЙ ВИДЕОПОИСК | 2013 |
|
RU2647696C2 |
| ВЕРИФИКАЦИЯ КОНТЕНТА СОБСТВЕННОГО ПРИЛОЖЕНИЯ | 2015 |
|
RU2679959C2 |
| СИСТЕМА ПОИСКА ИНФОРМАЦИИ С ОБРАТНОЙ СВЯЗЬЮ В РЕАЛЬНОМ ВРЕМЕНИ | 2010 |
|
RU2546308C2 |
| СПОСОБ ПРОВЕРКИ ВЕБ-СТРАНИЦ НА СОДЕРЖАНИЕ В НИХ ЦЕЛЕВОГО АУДИО И/ИЛИ ВИДЕО (AV) КОНТЕНТА РЕАЛЬНОГО ВРЕМЕНИ | 2013 |
|
RU2530671C1 |
Изобретение относится к области вычислительной техники. Технический результат заключается в обеспечении возможности предоставления пользователю в реальном времени результатов поискового запроса без прерывания мультимедийного контента. Технический результат достигается за счет приема речевого запроса во время потоковой передачи мультимедийного контента на клиентское устройство, при этом речевой запрос включает в себя множество компонентов; извлечения элемента предметной области, ассоциированного с мультимедийным контентом; автоматического формирования перезаписи речевого запроса на основе элемента предметной области, извлеченного из мультимедийного контента, и на основе одного или более из компонентов речевого запроса, при этом данное автоматическое формирование перезаписи речевого запроса выполняется на основе речевого запроса, принимаемого от пользователя во время потоковой передачи мультимедийного контента; предоставления этой перезаписи речевого запроса в поисковый механизм; предоставления результата из поискового механизма, который является ответным на данную перезапись речевого запроса. 3 н. и 14 з.п. ф-лы, 5 ил.
1. Способ контекстного поиска в мультимедийном контенте, при этом способ реализуется одним или более процессорами и содержит этапы, на которых:
принимают речевой запрос пользователя во время потоковой передачи мультимедийного контента на клиентское устройство данного пользователя, причем речевой запрос подается через речевой ввод, при этом речевой запрос включает в себя множество компонентов;
извлекают элемент предметной области, ассоциированный с мультимедийным контентом, причем элемент предметной области включает в себя по меньшей мере одно значение, характеризующее по меньшей мере один объект, представленный в мультимедийном контенте;
автоматически формируют перезапись речевого запроса на основе элемента предметной области, извлеченного из мультимедийного контента, и на основе одного или более из компонентов речевого запроса, при этом данное автоматическое формирование перезаписи речевого запроса выполняется на основе речевого запроса, принимаемого от пользователя во время потоковой передачи мультимедийного контента;
предоставляют эту перезапись речевого запроса в поисковый механизм;
предоставляют, для представления в ответ на речевой запрос, результат из поискового механизма, который является ответным на данную перезапись речевого запроса.
2. Способ по п.1, в котором упомянутое извлечение элемента предметной области содержит извлечение элемента предметной области на основе того, что этот элемент предметной области представляется в мультимедийном контенте во время приема речевого запроса.
3. Способ по п.2, в котором мультимедийный контент представляет собой видео.
4. Способ по п.1, в котором упомянутое предоставление результата из поискового механизма, который является ответным на перезапись речевого запроса, содержит предоставление упомянутого результата без приостановки потоковой передачи мультимедийного контента.
5. Способ по п.1, в котором упомянутое предоставление результата из поискового механизма, который является ответным на перезапись речевого запроса, содержит предоставление данного результата для его озвучивания через динамик клиентского устройства.
6. Способ по п.1, в котором упомянутое извлечение элемента предметной области, ассоциированного с мультимедийным контентом, содержит извлечение элемента предметной области из метаданных, ассоциированных с мультимедийным контентом.
7. Способ по п.1, в котором упомянутое по меньшей мере одно значение, характеризующее по меньшей мере один объект, представленный в мультимедийном контенте, является именем человека, представленного в мультимедийном контенте.
8. Способ по п.1, дополнительно содержащий этапы, на которых:
автоматически формируют дополнительную перезапись речевого запроса на основе упомянутого элемента предметной области, извлеченного из мультимедийного контента, и на основе одного или более из компонентов речевого запроса, причем эта дополнительная перезапись речевого запроса отличается от упомянутой перезаписи речевого запроса;
количественно оценивают упомянутую перезапись речевого запроса и упомянутую дополнительную перезапись речевого запроса; и
предоставляют результат, который является ответным на упомянутую перезапись речевого запроса, на основе упомянутой количественной оценки.
9. Способ по п.1, дополнительно содержащий этап, на котором извлекают дополнительный элемент предметной области, ассоциированный с мультимедийным контентом, причем упомянутое автоматическое формирование перезаписи речевого запроса дополнительно основывается на этом дополнительном элементе предметной области, ассоциированном с мультимедийным контентом.
10. Способ по п.1, дополнительно содержащий этапы, на которых:
извлекают дополнительный элемент предметной области, ассоциированный с мультимедийным контентом;
автоматически формируют дополнительную перезапись речевого запроса на основе этого дополнительного элемента предметной области, извлеченного из мультимедийного контента, и на основе одного или более из компонентов речевого запроса, причем эта дополнительная перезапись речевого запроса отличается от упомянутой перезаписи речевого запроса;
количественно оценивают упомянутую перезапись речевого запроса и упомянутую дополнительную перезапись речевого запроса; и
предоставляют результат, который является ответным на упомянутую перезапись речевого запроса, на основе упомянутой количественной оценки.
11. Система для контекстного поиска в мультимедийном контенте, содержащая:
память, содержащую инструкции; и
по меньшей мере один процессор, выполненный с возможностью исполнения инструкций, чтобы:
принимать речевой запрос во время потоковой передачи видео на клиентское устройство, причем речевой запрос подается через речевой ввод, при этом речевой запрос включает в себя множество компонентов;
извлекать элемент предметной области, ассоциированный с видео, причем элемент предметной области включает в себя по меньшей мере одно значение, характеризующее по меньшей мере один объект, представленный на видео, причем при исполнении инструкций для извлечения элемента предметной области, ассоциированного с видео, по меньшей мере один процессор должен извлекать элемент предметной области на основе того, что этот элемент предметной области представляется на видео во время приема речевого запроса;
автоматически формировать перезапись речевого запроса на основе элемента предметной области, извлеченного из видео, и на основе одного или более из компонентов речевого запроса, при этом данное автоматическое формирование перезаписи речевого запроса выполняется на основе речевого запроса, принимаемого от пользователя во время потоковой передачи видео;
предоставлять эту перезапись речевого запроса в поисковый механизм;
предоставлять, для представления в ответ на речевой запрос и без приостановки потоковой передачи видео, результат из поискового механизма, который является ответным на данную перезапись речевого запроса.
12. Система по п.11, в которой упомянутый результат предоставляется для озвучивания через динамик клиентского устройства.
13. Система по п.11, при этом упомянутое по меньшей мере одно значение, характеризующее по меньшей мере один объект, представленный на видео, является именем человека, представленного на видео.
14. Система по п.11, в которой исполнение инструкций по меньшей мере одним процессором дополнительно осуществляется, чтобы:
автоматически формировать дополнительную перезапись речевого запроса на основе элемента предметной области, извлеченного из видео, и на основе одного или более из компонентов речевого запроса, причем эта дополнительная перезапись речевого запроса отличается от упомянутой перезаписи речевого запроса;
количественно оценивать упомянутую перезапись речевого запроса и упомянутую дополнительную перезапись речевого запроса; и
предоставлять результат, который является ответным на упомянутую перезапись речевого запроса, на основе упомянутой количественной оценки.
15. Система по п.11, в которой исполнение инструкций по меньшей мере одним процессором дополнительно осуществляется, чтобы извлекать дополнительный элемент предметной области, ассоциированный с видео, причем при исполнении инструкций для автоматического формирования перезаписи речевого запроса по меньшей мере один процессор должен формировать перезапись речевого запроса дополнительно на основе этого дополнительного элемента предметной области, ассоциированного с видео.
16. Система по п.11, в которой исполнение инструкций по меньшей мере одним процессором дополнительно осуществляется, чтобы:
извлекать дополнительный элемент предметной области, ассоциированный с видео;
автоматически формировать дополнительную перезапись речевого запроса на основе этого дополнительного элемента предметной области, извлеченного из видео, и на основе одного или более из компонентов речевого запроса, причем эта дополнительная перезапись речевого запроса отличается от упомянутой перезаписи речевого запроса;
количественно оценивать упомянутую перезапись речевого запроса и упомянутую дополнительную перезапись речевого запроса; и
предоставлять результат, который является ответным на упомянутую перезапись речевого запроса, на основе упомянутой количественной оценки.
17. Долговременный машиночитаемый носитель, на котором сохранены инструкции, которые при их исполнении процессором предписывают процессору выполнять операции, содержащие:
прием речевого запроса пользователя во время потоковой передачи мультимедийного контента на клиентское устройство данного пользователя, причем речевой запрос подается через речевой ввод, при этом речевой запрос включает в себя множество компонентов;
извлечение элемента предметной области, ассоциированного с мультимедийным контентом;
автоматическое формирование перезаписи речевого запроса на основе элемента предметной области, извлеченного из мультимедийного контента, и на основе одного или более из компонентов речевого запроса, при этом данное автоматическое формирование перезаписи речевого запроса выполняется на основе речевого запроса, принимаемого от пользователя во время потоковой передачи мультимедийного контента;
предоставление этой перезаписи речевого запроса в поисковый механизм;
предоставление, для представления в ответ на речевой запрос, результата из поискового механизма, который является ответным на данную перезапись речевого запроса.
| Пресс для выдавливания из деревянных дисков заготовок для ниточных катушек | 1923 |
|
SU2007A1 |
| Способ приготовления мыла | 1923 |
|
SU2004A1 |
| US 6175829 B1, 16.01.2001 | |||
| CN 106663104 A, 10.05.2017 | |||
| ОПРЕДЕЛЕНИЕ НАМЕРЕНИЯ ПОЛЬЗОВАТЕЛЯ | 2005 |
|
RU2378680C2 |
