ИСПОЛЬЗОВАНИЕ ОБРАТНОЙ СВЯЗИ С ПОЛЬЗОВАТЕЛЕМ ДЛЯ УЛУЧШЕНИЯ РЕЗУЛЬТАТОВ ПОИСКА Российский патент 2011 года по МПК G06F17/30 

Уровень техники

Со временем продукция и услуги развиваются и улучшаются через комментарии, предложения и обратную связь с общественностью. Общественность может быть хорошим источником обратной связи, когда это такая общественность, которая использует данную продукцию и услуги на регулярной основе, и общественность может быть в состоянии замечать большую часть недостатков в продукции или услуге, которые могут нуждаться в корректировании.

Существует множество поисковых услуг, доступных для общественности, которые могут для запрашивающего пользователя проводить поиск информации в широком диапазоне. Многие из этих поисковых услуг основаны на различных алгоритмах, которые используются для нахождения наиболее уместных результатов поиска для пользовательского поискового запроса. Однако эти алгоритмы не всегда являются совершенными и не всегда могут обеспечивать наилучшие результаты поиска для пользовательского поискового запроса. Дополнительно результат поиска, установленный для конкретного поискового запроса, может быть подходящим для одного человека, однако тот же самый результат поиска для того же самого поискового запроса может быть не достаточен для другого человека, потому что потребности и т.п. каждого человека не являются одинаковыми. Поэтому поисковые услуги могут представлять собой другую услугу, которая может извлекать выгоду из зависимости от комментариев и обратной связи с пользователем. Включение обратной связи с пользователем в способ поисковых услуг для обеспечения результатов поиска может приводить к лучшим и более уместным результатам поиска, поскольку располагаемая обратная связь с общественностью может использоваться для того, чтобы предлагать лучшее понимание того, чего хочет общественность, вместо того, чтобы полагаться только на алгоритмы для обеспечения результатов.

Сущность изобретения

Представлены система и способ для управления обработкой данных обратной связи, подлежащих использованию для ранжирования результатов поиска. Система и способ раскрывают группирование элементов данных обратной связи от множества пользователей, в котором данные обратной связи могут быть в неструктурированном или структурированном формате. Кроме того, система и способ раскрывают связывание данных обратной связи с одним или более документами. Дополнительно система и способ могут ранжировать один или более документов, основываясь на данных обратной связи. Помимо этого, система и способ могут обеспечивать ранжированные один или более документы в качестве результатов поиска для поискового запроса.

Данное описание сущности изобретения предоставлено для того, чтобы представить в упрощенной форме выбор концепций, которые дополнительно описаны ниже в подробном описании изобретения. Это описание сущности изобретения не предназначено для того, чтобы идентифицировать существенные признаки или основные признаки заявляемого предмета изобретения, и не предназначено для использования в качестве помощи в определении объема заявляемого предмета изобретения.

Краткое описание чертежей

Фиг. 1 иллюстрирует вариант осуществления системы для реализации изобретения.

Фиг. 2 иллюстрирует вариант осуществления способа управления данными обратной связи, который можно использовать для ранжирования результатов поиска.

Фиг. 3 иллюстрирует вариант осуществления способа обеспечения обратной связи для одного или более документов.

Осуществление изобретения

Фиг. 1 иллюстрирует вариант осуществления системы, предназначенной для реализации изобретения. Клиентом 102 может быть настольный или компактный портативный компьютер, телефон для сотовой связи с поддержкой работы в сети (с возможностями сбора/воспроизведения мультимедийных данных или без них), клиент электронной почты беспроводной связи или другой клиент, вычислительная машина, устройство или их комбинация, предназначенная для выполнения различных задач, включая просмотр Web, поиск, электронную почту (email) и другие задачи, приложения и функции. Клиентом 102 дополнительно может быть любое переносное устройство мультимедиа, такое как устройства цифровых фотокамер, цифровые видеокамеры (с функциональными возможностями фиксирования стоп-кадра или без них), медиа-плееры, такие как персональные плееры для воспроизведения музыки и персональные видеоплееры, и любое другое переносное устройство мультимедиа.

Сервером 104 может быть или он может включать в себя рабочую станцию, выполняющую Microsoft Windows®, MacOS™, Unix, Linux, Xenix, IBM AIX™, Hewlett-Packard UX™, Novell Netware™, Sun Microsystems Solaris™, OS/2™, BeOS™, Маch, Apache, OpenStep™ или другую операционную систему или платформу. В варианте осуществления, клиентом 102 также может быть сервер.

Клиент 102 может включать в себя интерфейс связи. Интерфейс связи может быть таким интерфейсом, который позволяет клиенту непосредственно связываться с любым другим клиентом или устройством, или который позволяет клиенту 102 связываться с клиентом, сервером или устройством через сеть 106. Сеть 108 может включать в себя, например, локальную сеть (LAN), территориально распределенную сеть (WAN) или Интернет. В варианте осуществления клиент 102 может связываться с другим клиентом, сервером или устройством через беспроводный интерфейс.

Фиг. 2 иллюстрирует вариант осуществления способа управления данными обратной связи, которые могут использоваться для ранжирования результатов поиска. В варианте осуществления механизм поиска может использоваться как сервер, который может управлять такими данными обратной связи. Механизм поиска может включать в себя предметный указатель, которым может быть, например, инвертированный предметный указатель. На этапе 202 механизм поиска может группировать один или более элементов данных обратной связи от одного или более пользователей. Данными обратной связи может быть любой тип информации, полученной от пользователя, который связан с документом. В варианте осуществления данные обратной связи могут использоваться для того, чтобы оценивать документ согласно релевантности соответствующего поискового запроса, в котором поисковый запрос может содержать по меньшей мере один поисковый элемент. В другом варианте осуществления данные обратной связи могут в общем описывать ощущения пользователя относительно конкретного документа. В таких вариантах осуществления данные обратной связи могут описывать, насколько удовлетворен или насколько неудовлетворен пользователь этим документом. Документом может быть, например, web-страница, любой тип содержимого мультимедиа или любой другой тип содержимого, который может быть занесен в предметный указатель механизмом поиска. В варианте осуществления в качестве результата поиска пользователю может быть представлен документ.

На этапе 204 сгруппированные данные обратной связи могут быть связаны с одним или более документами. В варианте осуществления пользователь может передавать данные обратной связи механизму поиска в структурированном формате. В создании структурированного формата механизм поиска может представлять пользовательский интерфейс (ПИ) для пользователя, в котором механизм поиска может определять, какой тип информации он желает получить от пользователя. Например, механизм поиска может создавать ПИ, в котором он может запрашивать, чтобы пользователь обеспечил данные обратной связи относительно конкретного документа посредством оценки документа по шкале 1-5, в которой 5 может быть наиболее благоприятной оценкой для документа, а 1 может быть наименее благоприятной оценкой. В другом примере пользователь может быть представлен с ПИ, в котором пользователь может выбирать из любого количества кнопок, которые соответствуют предварительно определенным текстовым описаниям документа. Текстовое описание может описывать, насколько удовлетворен или неудовлетворен пользователь этим документом. Например, ПИ может содержать такие термины, как "наилучший возможный", "хороший", "привлекательный", "плохой" или "самый плохой возможный", которые пользователь может выбирать в качестве данных обратной связи относительно конкретного документа. Еще в одном примере механизм поиска может предоставлять ПИ пользователю и просить пользователя обеспечивать данные обратной связи, переупорядочивая документы в результате поиска, чтобы показывать, который документ, как полагает пользователь, является для его поискового запроса более уместным, чем другие документы. Изобретение может использовать клиентский язык подготовки сценариев, который может предлагать обычное средство для того, чтобы позволять пользователю переупорядочивать документы. Например, пользователь может отмечать и перетаскивать значки, изображения или ссылки, которые представляют документы, выше или ниже других значков, изображений или ссылок других документов, чтобы создавать переупорядоченный перечень документов, соотнесенный в порядке по возрастанию или по убыванию важности.

В любом типе структурированного формата для приема данных обратной связи предварительно определенным способом механизм поиска может связывать данные обратной связи с конкретным документом, потому что поиск уже имеет знание того, какой тип информации он будет принимать от пользователя. Дополнительно, если данные обратной связи были предоставлены в ответ на документ, включенный в перечень результатов поиска, обеспеченный механизмом поиска, механизм поиска может связывать поисковый запрос, который соответствует результатам поиска, данные обратной связи и документ вместе друг с другом.

В другом варианте осуществления пользователь может передавать данные обратной связи механизму поиска в неструктурированном формате. В создании неструктурированного формата для пользователя, чтобы передавать данные обратной связи, механизм поиска может предоставлять пользователю ПИ, в котором пользователь может свободно вводить любой тип информации, которая может показывать ощущения пользователя относительно конкретного документа. Например, механизм поиска может предоставлять ПИ, включающий в себя текстовое поле, в котором пользователь может напечатать любые свои комментарии в качестве данных обратной связи относительно конкретного документа.

В варианте осуществления данные обратной связи могут быть непосредственно коррелированны для поискового запроса, когда данные обратной связи обеспечиваются в ответ на результаты поиска, полученные от механизма поиска, которые механизм поиска обеспечил после приема поискового запроса. Например, данные обратной связи могут быть связаны с поисковым опытом, в котором пользователь может обеспечивать данные обратной связи, которые могут быть связаны с web-страницей, которую механизм поиска обеспечил в качестве результата поиска на пользовательский поисковый запрос. Поскольку данные обратной связи связаны с поисковым запросом, для которого механизм поиска обеспечил результаты поиска, механизм поиска может связывать данные обратной связи с конкретным документом и поисковым запросом.

В другом варианте осуществления данные обратной связи могут непосредственно не коррелироваться с поисковым запросом, и механизм поиска может быть не в состоянии непосредственно связывать данные обратной связи с документом или поисковым запросом. Фактически, пользователь может быть в состоянии обеспечивать данные обратной связи, которые непосредственно не связаны с поисковым опытом. Более определенно, пользователь может быть способен обеспечивать данные обратной связи, контактируя с механизмом поиска, отдельным сервером, который связан с механизмом поиска, или контактируя с объектом, который управляет механизмом поиска. Например, пользователь может посылать электронную почту в виде данных обратной связи в механизм поиска или отдельный сервер, которые могут описывать его ощущения относительно конкретного результата поиска, который он принял при проведении поискового запроса, или данные обратной связи могут в общем описывать ощущения пользователя относительно конкретного документа. В другом примере пользователь может вызывать объект, который управляет механизмом поиска, и может устно обеспечивать данные обратной связи, которые могут описывать его ощущения относительно конкретного результата поиска, который он принял при проведении поискового запроса, или снова данные обратной связи могут в общем описывать ощущения пользователя относительно конкретного документа. Тогда объект может преобразовывать речевой сигнал в текст, используя обычное программное обеспечение преобразования речевого сигнала в текст. Еще в одном примере механизм поиска или отдельный сервер может отыскивать данные обратной связи, которые могут быть найдены в Интернет-дневнике. В каждом примере механизм поиска или отдельный сервер может проводить синтаксический анализ текста, используя обычные алгоритмы проведения синтаксического анализа, чтобы сопоставлять данные обратной связи с конкретным документом и, возможно, также с поисковым запросом.

На этапе 206 механизм поиска может сохранять сгруппированные данные обратной связи в своем предметном указателе. Снова, предметный указатель может быть, например, инвертированным предметным указателем. В варианте осуществления данные обратной связи, один или более документов и поисковый запрос, которые были связаны вместе на этапе 204, могут быть сохранены вместе в предметном указателе. В другом варианте осуществления данные обратной связи могут быть сохранены в предметном указателе, отдельном от другого содержимого, которое занесено в предметный указатель механизмом поиска из сети.

На этапе 208 механизм поиска может ранжировать один или более документов, сохраненных в его предметном указателе, основываясь на данных обратной связи, которые он принял. Данные обратной связи могут быть одним признаком из множества признаков, которые могут использоваться для обеспечения лучших результатов поиска для подобных поисковых запросов, которые были связаны с этими данными обратной связи. Например, текст, занесенный в предметный указатель из документов, найденных в Интернете, может быть одним признаком для определения ранжирования результатов поиска для конкретных поисковых запросов. Другим признаком может быть текст, полученный из данных обратной связи с пользователем. Еще одним признаком может быть текст, в частности, найденный из заголовка документа. Кроме того, другим признаком может быть отношение размера документа к числу раз, сколько конкретное слово было найдено в этом документе. Следует отметить, что может использоваться любой тип признака для определения, как ранжировать один или более документов. Вышеупомянутые признаки являются только подмножеством типов признаков, которые могут использоваться для определения, как ранжировать определенные документы, поэтому изобретение не должно быть ограничено только этими примерами.

При ранжировании множества документов для конкретного поискового запроса, механизм поиска может быть сконфигурирован так, чтобы придавать значение важности слова, найденного в данных обратной связи, больше, чем слова, обнаруживаемого в пределах контекста любого другого признака. Например, механизм поиска может придавать значение данным обратной связи, которые содержат конкретное слово, как являющимся в три раза более важными, чем документ, который содержит то же самое слово в пределах него десять раз. Чтобы помочь непосредственно определению важности слова, относящегося к тому признаку, в котором оно найдено, механизм поиска может прикреплять различные идентификаторы с конкретными словами поисковых запросов, которые могут сообщать механизму поиска, например, откуда слово произошло, после того как оно занесено в предметный указатель в механизме поиска. Например, механизм поиска может использовать идентификатор, чтобы сообщать, что это слово произошло из заголовка документа, идентификатор, чтобы показывать, что это слово произошло из тела документа, или другой идентификатор, чтобы показывать, что оно произошло из данных обратной связи.

В других вариантах осуществления результаты поиска, включающие в себя документы, могут быть ранжированы на основании сравнения контекста слова в пределах конкретного признака. Например, слово, которое найдено к верхней части конкретного элемента данных обратной связи, может иметь большую величину важности, чем число раз, которое слово было найдено в пределах того же самого элемента данных обратной связи. Этот же пример можно применять к документу, в котором число раз, которое слово было найдено в пределах документа, может иметь большую величину важности, чем то, где слово было найдено в пределах документа. Способ, которым механизм поиска сконфигурирован, чтобы придавать особое значение некоторым признакам, может определять, как механизм поиска впоследствии будет ранжировать и обеспечивать результаты поиска для подобных поисковых запросов, принимая во внимание принятые данные обратной связи. Как только один или более документов были ранжированы, на этапе 210, механизм поиска может обеспечивать ранжированные документы для подобных поисковых запросов, соответствующих поисковым запросам, которые уже были связаны с конкретными данными обратной связи.

Данные обратной связи, которые сохранены в предметном указателе механизма поиска, могут иметь долговечность или скорость устаревания данных. Например, в варианте осуществления изобретение может быть сконфигурировано так, чтобы придавать меньшее значение более старым данным обратной связи, чем данным обратной связи, которые были приняты в момент времени, который ближе к тому моменту, когда поисковый запрос был получен от пользователя. В другом варианте осуществления скорость устаревания данных обратной связи может изменяться согласно скорости сканирования документа, которому соответствуют данные обратной связи. Например, если документ, например, web-страница, имеет высокую скорость сканирования данных, означающую, что данные, найденные на этой web-странице, часто заносятся в предметный указатель механизмом поиска (например, каждый час), тогда данные обратной связи, которые связаны с этой web-страницей, могут становиться устаревшими и незначительными с такой же скоростью, с какой web-страница заносится в предметный указатель. Тогда устаревание данных обратной связи может стать другим признаком для определения, как ранжировать один или более документов, принимая во внимание данные обратной связи. Однако в другом варианте осуществления документ, который имеет высокую скорость сканирования, можно полагать, как более важный, чем другие документы с более низкой скоростью сканирования. В таком варианте осуществления любой тип полученных данных обратной связи, которые связаны с документом с высокой скоростью сканирования, также можно полагать как важный, и это может стать другим признаком для определения, как ранжировать один или более документов, принимая во внимание данные обратной связи.

Фиг. 3 иллюстрирует вариант осуществления способа обеспечения обратной связи для одного или более документов. На этапе 302 пользователю может быть представлен первый перечень документов из результатов поиска, которые соответствуют запросу поиска, который пользователь первоначально представлял на рассмотрение. На этапе 304 пользователь может инициировать ответ, чтобы передать данные обратной связи, которые связаны с одним или более документами в результатах поиска. Как предварительно было упомянуто, пользователь может быть представлен с ПИ для ввода данных обратной связи для одного или более документов. Пользователь может вводить данные в структурированном или неструктурированном формате, как подробно описано выше. Может быть множество различных способов инициирования ответа, чтобы передавать данные обратной связи. В варианте осуществления пользователь может отмечать изображение, значок или ссылку, которая является представлением документа, чтобы запустить ПИ, предоставленный пользователю для ввода данных обратной связи. В другом варианте осуществления пользователь может зависать курсором своей "мыши" на изображении, значке или ссылке, и это может запускать ПИ, предоставленный пользователю для ввода данных обратной связи. Еще в одном варианте осуществления после обнаружения случая, который запускает отображение ПИ, ПИ может быть отображен в боковой области окна, которая может быть расположена сбоку окна, содержащего документы из результатов поиска.

В варианте осуществления механизм поиска может принимать данные обратной связи на этапе 306. В другом варианте осуществления можно обеспечить клиентское приложение, чтобы принимать данные обратной связи на этапе 306. В обоих вариантах осуществления механизм поиска и клиентское приложение могут немедленно создавать элемент данных на основании данных обратной связи, которые были приняты. Элемент данных может быть вторым перечнем результатов поиска, который включает в себя один или более отличающихся документов или переупорядоченную версию первого перечня документов. Дополнительно элемент данных может быть уведомляющим сообщением, которое может подтверждать, что механизм поиска или клиентское приложение приняло данные обратной связи. Когда элемент данных представляет собой второй перечень результатов поиска, клиентское приложение или механизм поиска может немедленно отображать второй перечень, когда он принимает данные обратной связи от пользователя на этапе 308. Клиентское приложение может включать в себя язык подготовки сценариев, который может обеспечивать обычное средство для обеспечения возможности пользователю переупорядочивать или повторно ранжировать документы, включенные в первый перечень результатов поиска. Например, пользователь может отмечать и перетаскивать значки, изображения или ссылки, которые представляют документы, выше или ниже других значков, изображений или ссылок других документов, чтобы создавать переупорядоченный перечень документов, который соответствует порядку по возрастанию или по убыванию важности. Как только пользователь выполнил переупорядочивание или повторное ранжирование документов, клиентское приложение может немедленно отобразить второй перечень результатов поиска. В качестве альтернативы, механизм поиска может использоваться для немедленного отображения второго перечня результатов поиска. Механизм поиска может принимать данные обратной связи, завершая этапы 204-208, как обсуждалось на фиг. 2, и может отображать второй перечень результатов поиска, принимая во внимание данные обратной связи, которые были приняты.

В варианте осуществления клиентское приложение может обеспечивать возможность пользователю сохранять у клиента предпочтения, которые могут использоваться наряду с данными обратной связи, чтобы позволить механизму поиска обеспечивать результаты поиска, которые соответствуют предпочтениям пользователя и данным обратной связи. Например, пользователь может настраивать свою машину так, чтобы информировать механизм поиска относительно того, какое он предпочитает иметь содержание новостей, содержание спортивных передач, содержание телевизионных передач или содержание изображений, ранжированное как более высокое, чем любой другой тип содержимого. Дополнительно клиентское приложение может информировать механизм поиска относительно конкретных физических свойств пользовательской машины, которые могут использоваться наряду с данными обратной связи, чтобы обеспечить соответствующие результаты поиска. Например, клиентское приложение может информировать механизм поиска относительно того, что пользовательская машина является мобильным устройством. Механизм поиска может иметь индексированными некоторые документы, которые являются лучше отформатированными для передвижных устройств, которые механизм поиска может посылать пользователю в качестве результатов поиска, принимая во внимание пользовательские данные обратной связи.

Хотя в данном описании были проиллюстрированы и подробно описаны конкретные варианты осуществления изобретения, должно быть понятно, что в изобретении можно делать различные изменения и модификации, не выходя при этом за рамки объема и цели изобретения. Варианты осуществления, описанные в данном описании, во всех отношениях предназначены для того, чтобы быть скорее иллюстративными, чем ограничительными. Специалистам в данной области техники станут очевидными дополнительные варианты осуществления, которые принадлежат настоящему изобретению, не отклоняясь от его объема.

На основании вышеизложенного можно заметить, что данное изобретение хорошо адаптировано для того, чтобы достигнуть всех сформулированных выше целей и задач, вместе с другими преимуществами, которые являются очевидными и присущими этой системе и способу. Должно быть понятно, что некоторые признаки и подкомбинации имеют полезность и могут использоваться независимо от других признаков и подкомбинаций. Все это рассматривается и находится в пределах объема прилагаемой формулы изобретения.

Изобретение относится к средствам для управления данными обратной связи, которые используются для ранжирования результатов поиска. Техническим результатом является повышение достоверности результатов поиска. Изобретение может группировать множество данных обратной связи с пользователем больше, чем от одного пользователя в поисковый предметный указатель. Данные обратной связи с пользователем могут связываться с одним или более документами в пределах предметного указателя таким образом, что один или более документов могут быть ранжированы на основании типа данных обратной связи, которые сгруппированы. Как только документы ранжированы, ранжированные документы можно обеспечивать для запрашивающей стороны. 3 н. и 17 з.п. ф-лы, 3 ил.

1. Способ управления данными обратной связи, используемыми для ранжирования результатов поиска, содержащий этапы, на которых:
агрегируют на вычислительном устройстве один или более элементов данных обратной связи от множества пользователей, причем один или более элементов данных обратной связи включают в себя обратную связь, генерированную пользователем, переупорядочивающим, в порядке релевантности, один или более документов, представленных в ответ на поисковый запрос; ассоциируют один или более элементов данных обратной связи с одним или более документами; ранжируют один или более документов на основании одного или более элементов данных обратной связи; и предоставляют ранжированные один или более документов.

2. Способ по п.1, дополнительно содержащий ассоциирование поискового запроса с одним или более элементами данных обратной связи и одним или более документами.

3. Способ по п.1, в котором один или более элементов данных обратной связи включают в себя текстовые комментарии, описывающие конкретный документ.

4. Способ по п.1, дополнительно содержащий прием поискового запроса, причем данным обратной связи, которые приняты в момент времени, более близкий к моменту приема поискового запроса, придается большее значение, чем более старым данным обратной связи, при ранжировании одного или более документов.

5. Способ по п.4, дополнительно содержащий придание особого значения данным обратной связи на основании того, как часто один или более документов заносятся в предметный указатель, причем данным обратной связи придается большее значение, когда данные обратной связи соответствуют документу, который занесен в предметный указатель чаще, чем другие документы.

6. Способ по п.1, в котором один или более документов переупорядочивают путем перетаскивания представления индивидуального документа выше или ниже представления другого индивидуального документа.

7. Способ по п.1, в котором один или более элементов данных обратной связи сохраняются в инвертированном предметном указателе.

8. Способ по п.1, в котором, по меньшей мере, один из одного или более элементов данных обратной связи предоставляются вычислительным устройством на основе предпочтений, представленных пользователем вычислительного устройства.

9. Способ по п.1, в котором документы ранжируются на основании данных обратной связи и физической характеристики запрашивающего устройства.

10. Способ управления данными обратной связи, используемыми для ранжирования результатов поиска, содержащий этапы, на которых:
принимают на вычислительном устройстве один или более элементов данных обратной связи, причем один или более элементов данных обратной связи находятся в неструктурированном формате, при этом один или более элементов данных обратной связи включают в себя текстовые комментарии, описывающие конкретный документ; ассоциируют один или более элементов данных обратной связи с одним или более документами; ранжируют один или более документов на основании одного или более элементов данных обратной связи; и предоставляют ранжированные один или более документов.

11. Способ по п.10, дополнительно содержащий этапы, на которых
сохраняют слова из текстовых комментариев и ключевые слова, описывающие конкретный документ, в предметном указателе;
ранжируют конкретный документ на основе ключевых слов и текстовых комментариев;
причем словам из текстовых комментариев придают больший вес, чем ключевым словам, при определении ранжирования.

12. Способ по п.11, дополнительно содержащий прием одного или более элементов данных обратной связи в электронной почте.

13. Способ по п.10, в котором данные обратной связи принимаются вербально и преобразуются в текст.

14. Способ управления данными обратной связи, используемыми для ранжирования результатов поиска, содержащий этапы, на которых:
принимают поисковый запрос; идентифицируют множество документов, которые отвечают поисковому запросу; ранжируют множество документов по релевантности для поискового запроса на основе слов во множестве документов и, по меньшей мере, одного элемента данных обратной связи, причем данные обратной связи ассоциированы, по меньшей мере, с одним документом, причем различный вес придается словам в данных обратной связи и словам во множестве документов при ранжировании множества документов; предоставляют множество ранжированных документов.

15. Способ по п.14, в котором один или более элементов данных обратной связи принимаются в структурированном формате.

16. Способ по п.14, в котором один или более элементов данных обратной связи принимаются в неструктурированном формате, причем один или более элементов данных обратной связи включают в себя текстовые комментарии, описывающие конкретный документ.

17. Способ по п.16, дополнительно содержащий извлечение текстовых комментариев из сообщения, размещенного в блоге.

18. Способ по п.14, дополнительно содержащий ранжирование документа посредством идентифицирования того, из какого раздела конкретного документа получено индивидуальное слово.

19. Способ по п.14, дополнительно содержащий обеспечение скорости устаревания данных, по меньшей мере, для одного элемента данных обратной связи, причем вес, придаваемый, по меньшей мере, одному элементу данных обратной связи, уменьшается во времени, тем самым снижая влияние ранжирования старых данных обратной связи.

20. Способ по п.19, в котором скорость устаревания данных варьируется в соответствии со скоростью сканирования, по меньшей мере, одного из множества документов, причем скорость сканирования является частотой, с которой данные в, по меньшей мере, одном из множества документов, заносятся в предметный указатель.