СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ РАНЖИРОВАННЫХ ПОЗИЦИЙ НЕНАТИВНЫХ ЭЛЕМЕНТОВ С ПОМОЩЬЮ СИСТЕМЫ РАНЖИРОВАНИЯ Российский патент 2019 года по МПК G06F16/00 G06N99/00 

ОБЛАСТЬ ТЕХНИКИ

[1] Настоящее изобретение относится к ранжированию элементов и, подробнее, к способам и системам определения ранжированных позиций ненативных элементов с помощью системы ранжирования.

УРОВЕНЬ ТЕХНИКИ

[2] Различные глобальные или локальные сети связи (интернет, всемирная паутина, локальные сети и подобные им) предлагают пользователю большой объем информации. Информация включает в себя контекстуальные разделы, такие как, среди прочего, новости и текущие события, карты, информация о компаниях, финансовая информация и ресурсы, информация о траффике, игры и информация развлекательного характера. Пользователи используют множество клиентских устройств (настольный компьютер, портативный компьютер, ноутбук, смартфон, планшеты и подобные им) для получения доступа к богатому информационному контенту (например, изображениям, аудио- и видеофайлам, анимированным изображениям и прочему мультимедийному контенту подобных сетей).

[3] В общем случае, пользователь может получить доступ к ресурсу сети передачи данных двумя основными способами. Данный пользователь может получить доступ к конкретному ресурсу напрямую, введя адрес ресурса (обычно URL или единый указатель ресурса, например www.webpage.com) или же выбрав ссылку в электронном сообщении или на другом веб-ресурсе. В другом случае пользователь может выполнить поиск с помощью поисковой системы для нахождения желаемого ресурса. Последнее особенно подходит для тех случаев, когда пользователю известна интересующая его тематика, но неизвестен конкретный адрес интересующего ресурса.

[4] Когда пользователь выполняет поиск с помощью поисковой системы, для него/нее важны два аспекта. Он(а) хочет найти наиболее релевантные результаты, и он(а) хочет найти их достаточно быстро. Результаты поиска в общем случае представлены пользователю на веб-странице, например на странице результатов поиска (SERP). SERP может включать в себя любое число различных типов результатов, собранных из множества источников, например, общие, текстовые результаты общего интернет-поиска, или конкретные типы результатов поиска (например, изображения и видео), полученные из вертикальных поисков. Поисковые системы используют множество способов определения того, какие результаты поиска наиболее релевантны в ответ на поисковый запрос, и как отобразить эти результаты пользователю.

[5] Обычно поисковые системы выполнены с возможностью учитывать множество факторов, включая указания на предыдущие пользовательские взаимодействия, связанные с поисковыми элементами, при ранжировании этих поисковых элементов друг с другом на основе их соответствующей релевантности запросам. Таким образом, можно сказать, что поисковые системы хорошо адаптированы для ранжирования "старых поисковых элементов", которые были ранее показаны пользователям поисковой системы, и для которых было собрано достаточное количество предыдущих пользовательских взаимодействий.

[6] Поисковые системы также выполнены с возможностью итеративно обновлять пул поисковых элементов, которые могут быть потенциально представлены их пользователям. Это итеративное обновление пула поисковых элементов известно в общем случае как «сбор данных» («просмотр поисковым роботом», «кроулинг» от англ. "crawling"), во время которого приложение по сбору данных выполнено с возможностью получать доступ ко множеству веб-ресурсов и собирать поисковые элементы, которые могут потенциально быть показаны пользователям поисковой системы в ответ на запросы. Таким образом, старые поисковые элементы являются поисковыми элементами, которые были просмотрены поисковым роботом, и были часто показаны пользователям поисковой системы таким образом, что достаточное количество предыдущих пользовательских взаимодействий с этими поисковыми элементами было собрано поисковой системой. Тем не менее, поисковые элементы, которые были недавно просмотрены поисковым роботом, возможно не были часто показаны пользователям поисковой системы, и, следовательно, только ограниченное количество предыдущих пользовательских взаимодействий было собрано для этих недавно просмотренных поисковым роботом элементов.

[7] По нижеследующим причинам, существует необходимость в способах и системах для ранжирования недавно просмотренных поисковым роботом элементов.

РАСКРЫТИЕ ТЕХНОЛОГИИ

[8] Разработчики настоящей технологии учитывают, что существующие поисковые системы плохо подходят для ранжирования "новых поисковых элементов", которые только недавно стали доступными поисковым системам как потенциальные поисковые элементы, которые будут представлены пользователям, и для которых только ограниченное количество предыдущих пользовательских взаимодействий доступно для целей ранжирования. Несмотря на существование моделей ранжирования для определения выбора и размещения элементов поиска на SERP, способы и системы ранжирования элементов поиска можно улучшить, чтобы обеспечить более удовлетворительный опыт поиска пользователю.

[9] Варианты осуществления настоящей технологии были разработаны на основе предположений разработчиков о том, что, несмотря на то, что поисковые системы хорошо адаптированы для ранжирования "старых поисковых элементов", которые связаны с предыдущими пользовательскими взаимодействиями (т.е. элементами, которые нативны для системы ранжирования), эти поисковые системы не могут эффективно ранжировать "новые поисковые элементы", которые связаны с ограниченными предыдущими пользовательскими взаимодействиями для целей ранжирования.

[10] Варианты осуществления настоящего технического решения были разработаны с учетом определения разработчиками по меньшей мере одного технического недостатка, связанного с известным уровнем техники. Исходя из этого, разработчики предлагают способы и системы для определения ранжированных позиций ненативных элементов с помощью системы ранжирования. Кроме того, разработчики предусмотрели способы и системы, которые позволяют обучать систему ранжирования прогнозированию оценок полезности ненативных элементов для различных ранжированных позиций и использовать прогнозируемые оценки полезности для выбора размещения ненативных элементов среди нативных элементов на данной SERP. Дополнительно, разработчики предлагают способы и системы, которые позволяют собирать данные, представляющие совой пользовательские взаимодействия, связанные с ненативными элементами без значительного снижения удовлетворения пользователя поисковыми элементами, которые представлены пользователям поисковой системы.

[11] Первым объектом настоящей технологии является способ определения ранжированных позиций ненативных элементов с помощью системы ранжирования. Система ранжирования была обучена ранжировать нативные элементы на основе предыдущих пользовательских взаимодействий, связанных с нативными элементами. Ненативные элементы связаны с ограниченными предыдущими пользовательскими взаимодействиями и не ранжируются системой ранжирования. Способ выполняется на сервере, который реализует систему ранжирования. Способ включает в себя, во время фазы обучения системы ранжирования, получение сервером указания на пользовательские взаимодействия, связанные с ранжированным списком элементов. Элементы ранжированного списка были визуально представлены на обучающей странице результатов поиска (SERP) пользователю обучающего устройства в ответ на обучающий запрос, который был получен от обучающего запроса. Ранжированный список элементов включает в себя нативные элементы и по меньшей мере один ненативный элемент. Нативные элементы были ранжированы системой ранжирования в ранжированный список нативных элементов. По меньшей мере один ненативный элемент был искусственным образом внедрен в ранжированный список нативных элементов на искусственно-выбранную позицию, тем самым формируя ранжированный список элементов. Каждый элемент в ранжированном списке элементов связан с соответствующей визуальной позицией на обучающей SERP таким образом, что нативные элементы и по меньшей мере один ненативный элемент структурированы в визуальную 2D структуру, которая обладает множеством вертикально-структурированных рядов. Визуальная позиция данного элемента основана на (i) ранжированном списке элементов и (ii) факторах обучающей SERP. Каждый ряд визуальной 2D структуры содержит по меньшей мере два горизонтально-структурированных элемента из ранжированного списка элементов. Способ включает в себя, во время фазы обучения системы ранжирования, создание сервером соответствующей оценки полезности для каждого из по меньшей мере одного ненативного элемента, расположенного на соответствующей визуальной позиции. Создание включает в себя, для данного ненативного элемента из по меньшей мере одного ненативного элемента: (i) анализ сервером пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента; (ii) анализ сервером пользовательских взаимодействий, связанных с элементами, которые горизонтально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента; и (iii) анализ сервером пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента. Способ включает в себя, во время фазы обучения системы ранжирования, обучение сервером системы ранжирования прогнозированию соответствующей прогнозированной оценки полезности для используемого ненативного элемента в соответствующей ранжированной позиции в ранжированном списке используемых элементов в ответ на используемый запрос. Система ранжирования была обучена на основе по меньшей мере (i) ранжированного списка элементов, (ii) факторов обучающей SERP и (iii) соответствующей оценки полезности каждого из по меньшей мере одного ненативного элемента. Способ включает в себя, во время фазы использования системы ранжирования, получение используемого запроса от используемого устройства для визуального отображения используемой SERP, связанной со факторами SERP. Способ включает в себя, во время фазы использования системы ранжирования, создание сервером ранжированного списка используемых нативных элементов в ответ на используемый запрос. Способ включает в себя, во время фазы использования системы ранжирования, определение сервером оптимальной ранжированной позиции используемого ненативного элемента в ранжированном списке используемых элементов на основе по меньшей мере (i) ранжированного списка используемых нативных элементов и (ii) факторов SERP для используемой SERP. Способ включает в себя, во время фазы использования системы ранжирования, внедрение сервером используемого ненативного элемента в ранжированный список используемых нативных элементов на оптимальной ранжированной позиции, формирование тем самым ранжированного списка используемых элементов.

[12] В некоторых вариантах осуществления способа, способ далее включает в себя инициирование визуального отображения используемых элементов из ранжированного списка используемых элементов на используемой SERP - для пользователя используемого устройства.

[13] В некоторых вариантах осуществления способа, на сервере размещен исполняемый на компьютере сервис, и система ранжирования выполняется исполняемым на компьютере сервисом. Нативные элементы являются использованными элементами, которые часто использовались пользователями исполняемого на компьютере сервиса, а ненативные элементы являются новыми элементами, которые недостаточно использовались пользователями исполняемого на компьютере сервиса, и, следовательно, не ранжируются нативным алгоритмом ранжирования системы ранжирования.

[14] В некоторых вариантах осуществления способа, данный элемент является одним из: элементом-изображением или элементом-видео.

[15] В некоторых вариантах осуществления способа, по меньшей мере один ненативный элемент включает в себя одно из: по меньшей мере один ненативный элемент, внедренный в ранжированный список нативных элементов случайным образом, и по меньшей мере один ненативный элемент, внедренный в ранжированный список нативных элементов в соответствии с заранее определенным шаблоном внедрения.

[16] В некоторых вариантах осуществления способа, пользовательские взаимодействия включают в себя по меньшей мере одно из:

- выбор данного элемента;

- долгий выбор данного элемента;

- выбор данного элемента и дальнейший переход на веб-ресурс; и

- наведение на данный элемент.

[17] В некоторых вариантах осуществления способа, факторы данной SERP включают в себя:

- факторы запроса, связанные с соответствующим запросом;

- размер окна браузерного приложения, отображающего данную SERP; и

- размер визуального элемента каждого элемента в соответствии с ранжированным списком элементов.

[18] В некоторых вариантах осуществления способа, факторы данного запроса содержат частоту передач данного запроса на сервер при выполнении поиска за последнее время.

[19] В некоторых вариантах осуществления способа, анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя анализ сервером пользовательских взаимодействий, связанных со следующих горизонтально-структурированным элементом, находящимся сразу после данного ненативного элемента из по меньшей мере одного ненативного элемента.

[20] В некоторых вариантах осуществления способа, по меньшей мере один ненативный элемент включает в себя визуальную группу ненативных элементов, которая включает в себя по меньше мере два соседних горизонтально-структурированных ненативных элемента. Данный ненативный элемент из по меньшей мере одного ненативного элемента является одним из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов. Анализ пользовательских взаимодействий, связанных с данным одним из по меньшей мере одного ненативного элемента включает в себя анализ, сервером, пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних горизонатльно-структурированных ненативных элементов. Анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя анализ сервером пользовательских взаимодействий, связанных с N соседними последующими горизонтально-структурированными элементами после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов. N равно числу элементов среди по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов. Анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя анализ сервером пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после по меньшей мере двух соседних вертикально-структурированных ненативных элементов визуальной группы ненативных элементов.

[21] В некоторых вариантах осуществления способа, анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя определение сервером зоны вертикальной близости для данного ненативного элемента из по меньшей мере одного ненативного элемента на основе факторов SERP и анализ сервером пользовательских взаимодействий, связанных с элементами, которые по меньшей мере частично перекрываются зоной вертикальной близости.

[22] В некоторых вариантах осуществления настоящего способа, зона вертикальной близости определяется (i) в следующем ряду, расположенному сразу под текущим рядом данного ненативного элемента из по меньшей мере одного ненативного элемента; и (ii) между горизонтальными границами данного ненативного элемента из по меньшей мере одного ненативного элемента. Анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, включает в себя анализ сервером пользовательских взаимодействий, связанных с любым элементом, расположенным в следующем ряду и по меньшей мере частично перекрытым зоной вертикальной близости.

[23] В некоторых вариантах осуществления способа, по меньшей мере один ненативный элемент включает в себя визуальную группу ненативных элементов, которая включает в себя по меньше мере два соседних вертикально-структурированных ненативных элемента, расположенных в непосредственно соседних рядах. Данный ненативный элемент из по меньшей мере одного ненативного элемента является одним из по меньшей мере двух соседних вертикально-структурированных ненативных элементов. Анализ пользовательских взаимодействий, связанных с данным одним из по меньшей мере одного ненативного элемента включает в себя анализ, сервером, пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних вертикально-структурированных ненативных элементов. Зона вертикальной близости определяется (i) в N последующих рядов, расположенных сразу под нижним рядом следующих соседних рядов; и (ii) между горизонтальными границами визуальной группы ненативных элементов. N равно числу элементов среди по меньшей мере двух соседних вертикально-структурированных ненативных элементов. Анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, включает в себя анализ сервером пользовательских взаимодействий, связанных с любым элементом, расположенным в N последующих рядах и по меньшей мере частично перекрытым зоной вертикальной близости.

[24] В некоторых вариантах осуществления способа, пользовательские взаимодействия, связанные с данным ненативным элементом из по меньшей мере одного ненативного элемента, указывают на положительные пользовательские взаимодействия с данным ненативным элементом из по меньшей мере одного ненативного элемента. Пользовательские взаимодействия, связанные с элементами, которые горизонтально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, и пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, указывают на отрицательные пользовательские взаимодействия с данным ненативным элементом из по меньшей мере одного ненативного элемента.

[25] В некоторых вариантах осуществления способа, соответствующая оценка полезности является взвешенной суммой соответствующих положительных пользовательских взаимодействий и соответствующих отрицательных пользовательских взаимодействий.

[26] В некоторых вариантах осуществления способа, создание соответствующей оценки полезности включает в себя применение функции профицита, где выигрыш (win) определяется соответствующими положительными пользовательскими взаимодействиями, а проигрыш (loss) определяется соответствующими отрицательными пользовательскими взаимодействиями.

[27] В некоторых вариантах осуществления способа, факторы обучающей SERP включают в себя SERP-центричные факторы обучающей SERP и факторы обучающего запроса.

[28] В некоторых вариантах осуществления способа, факторы используемой SERP включают в себя используемые SERP-центричные факторы используемой SERP и факторы используемого запроса.

[29] В некоторых вариантах осуществления способа, по меньшей мере один ненативный элемент включает в себя визуальную группу ненативных элементов, включая по меньшей мере два соседних горизонтально-структурированных ненативных элемента и по меньше мере два соседних вертикально-структурированных ненативных элемента, расположенных в непосредственно соседних рядах. Данный из по меньшей мере одного ненативного элемента является одним из визуальной группы ненативных элементов. Анализ пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента включает в себя анализ сервером пользовательских взаимодействий, связанных с каждым из визуальной группы ненативных элементов. Анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя анализ сервером пользовательских взаимодействий, связанных с N соседними последующими горизонтально-структурированными элементами после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов. N равно числу элементов среди по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов. Зона вертикальной близости определяется (i) в М последующих рядов, расположенных сразу под нижним рядом следующих соседних рядов; и (ii) между горизонтальными границами визуальной группы ненативных элементов. М равно числу элементов среди по меньшей мере двух соседних вертикально-структурированных ненативных элементов Анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, включает в себя анализ сервером пользовательских взаимодействий с любым элементом, расположенным в М последующих рядов и по меньшей мере частично перекрытым зоной вертикальной близости.

[30] Другим объектом настоящей технологии является способ обучения системы ранжирования прогнозированию оценки полезности ненативного элемента для соответствующей ранжированной позиции в ранжированном списке элементов в ответ на запрос. Система ранжирования была обучена ранжировать нативные элементы на основе предыдущих пользовательских взаимодействий, связанных с нативными элементами. Ненативные элементы связаны с ограниченными предыдущими пользовательскими взаимодействиями и не ранжируются системой ранжирования. Способ выполняется на сервере, который реализует систему ранжирования. Способ включает в себя получение указание на пользовательские взаимодействия, связанные с ранжированным списком элементов. Элементы ранжированного списка были визуально представлены на обучающей SERP пользователю обучающего устройства в ответ на обучающий запрос, который был получен от обучающего запроса. Ранжированный список элементов включает в себя нативные элементы и по меньшей мере один ненативный элемент. Нативные элементы были ранжированы системой ранжирования в ранжированный список нативных элементов. По меньшей мере один ненативный элемент был искусственным образом внедрен в ранжированный список нативных элементов в искусственно-выбранную позицию, тем самым формируя ранжированный список элементов. Каждый элемент в ранжированном списке элементов связан с соответствующей визуальной позицией на обучающей SERP таким образом, что нативные элементы и по меньшей мере один ненативный элемент структурированы в визуальную 2D структуру, которая обладает множеством вертикально-структурированных рядов. Визуальная позиция данного элемента основана на (i) ранжированном списке элементов и (ii) факторах обучающей SERP. Каждый ряд визуальной 2D структуры содержит по меньшей мере два горизонтально-структурированных элемента из ранжированного списка элементов. Способ включает в себя, создание сервером соответствующей оценки полезности для каждого из по меньшей мере одного ненативного элемента, расположенного на соответствующей визуальной позиции. Создание включает в себя, для данного ненативного элемента из по меньшей мере одного ненативного элемента (i) анализ сервером пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента; (ii) анализ сервером пользовательских взаимодействий, связанных с элементами, которые горизонтально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента; и (iii) анализ сервером пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента. Способ включает в себя, обучение сервером системы ранжирования прогнозированию соответствующей оценки полезности для используемого ненативного элемента в соответствующей ранжированной позиции в ранжированном списке используемых элементов в ответ на используемый запрос. Система ранжирования была обучена на основе по меньшей мере (i) ранжированного списка элементов, (ii) факторов обучающей SERP и (iii) соответствующей оценки полезности каждого из по меньшей мере одного ненативного элемента.

[31] Еще одним объектом настоящей технологии является сервер для определения ранжированных позиций ненативных элементов с помощью системы ранжирования. Система ранжирования была обучена ранжировать нативные элементы на основе предыдущих пользовательских взаимодействий, связанных с нативными элементами. Ненативные элементы связаны с ограниченными предыдущими пользовательскими взаимодействиями и не ранжируются системой ранжирования. Сервер реализует систему ранжирования. Сервер выполнен с возможностью, во время фазы обучения системы ранжирования, осуществлять получение указания на пользовательские взаимодействия, связанные с ранжированным списком элементов. Элементы ранжированного списка были визуально представлены на обучающей странице результатов поиска (SERP) пользователю обучающего устройства в ответ на обучающий запрос, который был получен от обучающего запроса. Ранжированный список элементов включает в себя нативные элементы и по меньшей мере одним ненативный элемент. Нативные элементы были ранжированы системой ранжирования в ранжированный список нативных элементов. По меньшей мере один ненативный элемент был искусственным образом внедрен в ранжированный список нативных элементов в искусственно-выбранную позицию, тем самым формируя ранжированный список элементов. Каждый элемент в ранжированном списке элементов связан с соответствующей визуальной позицией на обучающей SERP таким образом, что нативные элементы и по меньшей мере один ненативный элемент структурированы в визуальную 2D структуру, которая обладает множеством вертикально-структурированных рядов. Визуальная позиция данного элемента основана на (i) ранжированном списке элементов и (ii) факторах обучающей SERP. Каждый ряд визуальной 2D структуры содержит по меньшей мере два горизонтально-структурированных элемента из ранжированного списка элементов. Сервер выполнен с возможностью осуществлять, во время фазы обучения системы ранжирования, создание соответствующей оценки полезности для каждого из по меньшей мере одного ненативного элемента, расположенного на соответствующей визуальной позиции. Сервер, который выполнен с возможностью осуществлять создание, является сервером, который выполнен с возможностью осуществлять, для данного ненативного элемента из по меньшей мере одного ненативного элемента (i) анализ пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента; (ii) анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента; и (iii) анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента. Сервер выполнен с возможностью осуществлять, во время фазы обучения системы ранжирования, обучение системы ранжирования прогнозированию соответствующей прогнозированной оценки полезности для используемого ненативного элемента в соответствующей ранжированной позиции в ранжированном списке используемых элементов в ответ на используемый запрос. Система ранжирования была обучена на основе по меньшей мере (i) ранжированного списка элементов, (ii) факторов обучающей SERP и (iii) соответствующей оценки полезности каждого из по меньшей мере одного ненативного элемента. Сервер выполнен с возможностью осуществлять, во время фазы использования системы ранжирования, получение используемого запроса от используемого устройства для визуального отображения используемой SERP, связанной со факторами SERP. Сервер выполнен с возможностью осуществлять, во время фазы использования системы ранжирования, создание ранжированного списка используемых ненативных элементов в ответ на используемый запрос. Сервер выполнен с возможностью осуществлять, во время фазы использования системы ранжирования, определение оптимальной ранжированной позиции используемого ненативного элемента в ранжированном списке используемых элементов на основе по меньшей мере (i) ранжированного списка используемых нативных элементов и (ii) факторов SERP для используемой SERP. Сервер выполнен с возможностью осуществлять, во время фазы использования системы ранжирования, внедрение используемого ненативного элемента в ранжированном списке используемых нативных элементов на оптимальной ранжированной позиции, формирование тем самым ранжированного списка используемых элементов.

[32] В некоторых вариантах осуществления сервера, сервер далее выполнен с возможностью инициировать визуальное отображение используемых элементов из ранжированного списка используемых элементов на используемой SERP - для пользователя используемого устройства.

[33] В некоторых вариантах осуществления сервера, на сервере размещен исполняемый на компьютере сервис, и система ранжирования выполняется исполняемым на компьютере сервисом. Нативные элементы являются использованными элементами, которые часто использовались пользователями исполняемого на компьютере сервиса, а ненативные элементы являются новыми элементами, которые недостаточно использовались пользователями исполняемого на компьютере сервиса, и, следовательно, не ранжируются нативным алгоритмом ранжирования системы ранжирования.

[34] В некоторых вариантах осуществления сервера, данный элемент является одним из: элементом-изображением или элементом-видео.

[35] В некоторых вариантах осуществления сервера, по меньшей мере один ненативный элемент представляет собой одно из:

- по меньшей мере один ненативный элемент, внедренный в ранжированный список нативных элементов случайным образом; и

- по меньшей мере один ненативный элемент, внедренный в ранжированный список нативных элементов в соответствии с заранее определенным шаблоном внедрения.

25. Сервер по п. 20, в котором второй датчик включает в себя по меньшей мере один пункт из списка:

- выбор данного элемента;

- долгий выбор данного элемента;

- выбор данного элемента и дальнейший переход на веб-ресурс; и

- наведение на данный элемент.

[36] В некоторых вариантах осуществления сервера, факторы данной SERP включают в себя:

- факторы запроса, связанные с соответствующим запросом;

- размер окна браузерного приложения, отображающего данную SERP; и

- размер визуального элемента каждого элемента в соответствии с ранжированным списком элементов.

[37] В некоторых вариантах осуществления сервера, факторы данного запроса содержат частоту передач данного запроса на сервер при выполнении поиска за последнее время.

[38] В некоторых вариантах осуществления сервера, сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных со следующих горизонтально-структурированным элементом, находящимся сразу после данного ненативного элемента из по меньшей мере одного ненативного элемента.

[39] В некоторых вариантах осуществления сервера, по меньшей мере один ненативный элемент включает в себя визуальную группу ненативных элементов, которая включает в себя по меньше мере два соседних горизонтально-структурированных ненативных элемента. Данный ненативный элемент из по меньшей мере одного ненативного элемента является одним из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов. Сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с данным одним из по меньшей мере одного ненативного элемента включает в себя сервер, выполненный с возможностью осуществлять анализ пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов. Сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя сервер, который выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с N соседними последующими горизонтально-структурированными элементами после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов. N равно числу элементов среди по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов. Сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя сервер, который выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов.

[40] В некоторых вариантах осуществления сервера, сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя сервер выполнен с возможностью осуществлять определение сервером зоны вертикальной близости для данного ненативного элемента из по меньшей мере одного ненативного элемента на основе факторов SERP. Сервер выполнен с возможностью осуществлять анализ сервером пользовательских взаимодействий, связанных с элементами, которые по меньшей мере частично перекрываются зоной вертикальной близости.

[41] В некоторых вариантах осуществления настоящего сервера, зона вертикальной близости определяется (i) в следующем ряду, расположенному сразу под текущим рядом данного ненативного элемента из по меньшей мере одного ненативного элемента; и (ii) между горизонтальными границами данного ненативного элемента из по меньшей мере одного ненативного элемента. Сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, включает в себя сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с любым элементом, расположенным в следующем ряду и по меньшей мере частично перекрытым зоной вертикальной близости.

[42] В некоторых вариантах осуществления сервера, по меньшей мере один ненативный элемент включает в себя визуальную группу ненативных элементов, которая включает в себя по меньше мере два соседних вертикально-структурированных ненативных элемента, расположенных в непосредственно соседних рядах. Данный ненативный элемент из по меньшей мере одного ненативного элемента является одним из по меньшей мере двух соседних вертикально-структурированных ненативных элементов. Сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с данным одним из по меньшей мере одного ненативного элемента включает в себя сервер, выполненный с возможностью осуществлять анализ пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних вертикально-структурированных ненативных элементов. Зона вертикальной близости определяется (i) в N последующих рядов, расположенных сразу под нижним рядом следующих соседних рядов; и (ii) между горизонтальными границами визуальной группы ненативных элементов. N равно числу элементов среди по меньшей мере двух соседних вертикально-структурированных ненативных элементов. Сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, включает в себя сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с любым элементом, расположенным в N следующих рядах и по меньшей мере частично перекрытым зоной вертикальной близости.

[43] В некоторых вариантах осуществления сервера, пользовательские взаимодействия, связанные с данным ненативным элементом из по меньшей мере одного ненативного элемента, указывают на положительные пользовательские взаимодействия с данным ненативным элементом из по меньшей мере одного ненативного элемента. Пользовательские взаимодействия, связанные с элементами, которые горизонтально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, и пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, указывают на отрицательные пользовательские взаимодействия с данным ненативным элементом из по меньшей мере одного ненативного элемента.

[44] В некоторых вариантах осуществления сервера, соответствующая оценка полезности является взвешенной суммой соответствующих положительных пользовательских взаимодействий и соответствующих отрицательных пользовательских взаимодействий.

[45] В некоторых вариантах осуществления сервера, сервер, который выполнен с возможностью создавать соответствующую оценку полезности, включает в себя сервер, выполненный с возможностью применять функцию профицита, где выигрыш (win) определяется соответствующими положительными пользовательскими взаимодействиями, а проигрыш (loss) определяется соответствующими отрицательными пользовательскими взаимодействиями.

[46] В некоторых вариантах осуществления сервера, факторы обучающей SERP включают в себя SERP-центричные факторы обучающей SERP и факторы обучающего запроса.

[47] В некоторых вариантах осуществления сервера, факторы используемой SERP включают в себя используемые SERP-центричные факторы используемой SERP и факторы используемого запроса.

[48] В контексте настоящего описания «сервер» подразумевает под собой компьютерную программу, работающую на соответствующем оборудовании, которая способна получать запросы (например, от клиентских устройств) по сети и выполнять эти запросы или инициировать выполнение этих запросов. Оборудование может представлять собой один компьютер или одну компьютерную систему, однако ни то, ни другое не является обязательным в отношении предлагаемой технологии. В контексте настоящей технологии, использование выражения «сервер» не означает, что каждая задача (например, полученные команды или запросы) или какая-либо конкретная задача будет получена, выполнена или инициирована к выполнению одним и тем же сервером (то есть одним и тем же программным обеспечением и/или аппаратным обеспечением); это означает, что любое количество элементов программного обеспечения или аппаратных устройств может быть вовлечено в прием/передачу, выполнение или инициирование выполнения любого запроса или последствия любого запроса, связанного с клиентским устройством, и все это программное и аппаратное обеспечение может быть одним сервером или несколькими серверами, оба варианта включены в выражение «по меньшей мере один сервер».

[49] В контексте настоящего описания «клиентское устройство» подразумевает под собой аппаратное устройство, способное работать с программным обеспечением, подходящим к решению соответствующей задачи. В контексте настоящего описания, термин "электронное устройство" указывает на то, что устройство может функционировать как сервер для других электронным устройств и электронных устройство, хотя это не является необходимым для настоящей технологии. Таким образом, примерами электронных устройств (среди прочего) могут служить персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.) смартфоны, планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Важно иметь в виду, что в контексте настоящего описания факт того, что устройство функционириует как электронное устройство не означает того, что оно не может функционировать как сервер для других электронных устройств. Использование выражения «электронное устройство» не исключает возможности использования множества электронных устройств для получения/отправки, выполнения или инициирования выполнения любой задачи или запроса, или же последствий любой задачи или запроса, или же этапов любого вышеописанного метода.

[50] В контексте настоящего описания «клиентское устройство» подразумевает под собой аппаратное устройство, способное работать с программным обеспечением, подходящим к решению соответствующей задачи. В контексте настоящего описания в общем случае «клиентское устройство» связано с пользователем клиентского устройства. Таким образом, некоторые (неограничивающие) варианты осуществления клиентских устройств включают в себя персональные компьютеры (настольные, ноутбуки, нетбуки и так далее), смартфоны и планшеты, а также сетевое оборудование, например, маршрутизаторы, коммутаторы и шлюзы. Следует иметь в виду, что устройство, функционирующее как клиентское устройство в настоящем контексте может функционировать как сервер для других клиентских устройств. Использование выражения «клиентское устройство» не исключает возможности использования множества клиентских устройств для получения/отправки, выполнения или инициирования выполнения любой задачи или запроса, или же последствий любой задачи или запроса, или же этапов любого вышеописанного способа.

[51] В контексте настоящего описания термин «информация» включает в себя информацию любую информацию, которая может храниться в базе данных. Таким образом, информация включает в себя, среди прочего, аудиовизуальные произведения (изображения, видео, звукозаписи, презентации и т.д.), данные (данные о местоположении, цифровые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, таблицы и т.д.

[52] В контексте настоящего описания, «программный компонент» подразумевает под собой программное обеспечение (соответствующее конкретному аппаратному контексту), которое является необходимым и достаточным для выполнения конкретной(ых) указанной(ых) функции(й).

[53] В контексте настоящего описания, «носитель компьютерной информации» (также упоминаемый как носитель информации) подразумевает под собой носитель абсолютно любого типа и характера, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д. Множество компонентов может быть объединено в носитель компьютерной информации, включая два или более мультимедийных компонента одного типа и/или два или более компонента разных типов.

[54] В контексте настоящего описания, «база данных» подразумевает под собой любой структурированный набор данных, не зависящий от конкретной структуры, программного обеспечения по управлению базой данных, аппаратного обеспечения компьютера, на котором данные хранятся, используются или иным образом оказываются доступны для использования. База данных может находиться на том же оборудовании, выполняющем процесс, на котором хранится или используется информация, хранящаяся в базе данных, или же база данных может находиться на отдельном оборудовании, например, выделенном сервере или множестве серверов.

[55] В контексте настоящего описания слова «первый», «второй», «третий» и и т.д. используются в виде прилагательных исключительно для того, чтобы отличать существительные, к которым они относятся, друг от друга, а не для целей описания какой-либо конкретной взаимосвязи между этими существительными. Так, например, следует иметь в виду, что использование терминов "первая база данных" и "третий сервер" не подразумевает какого-либо порядка, отнесения к определенному типу, хронологии, иерархии или ранжирования (например) серверов/между серверами, равно как и их использование (само по себе) не предполагает, что некий "второй сервер" обязательно должен существовать в той или иной ситуации. В дальнейшем, как указано здесь в других контекстах, упоминание «первого» элемента и «второго» элемента не исключает возможности того, что это один и тот же фактический реальный элемент. Так, например, в некоторых случаях, «первый» сервер и «второй» сервер могут являться одним и тем же программным и/или компонентами аппаратного обеспечения, а в других случаях они могут являться разными компонентами программного и/или аппаратного обеспечения.

[56] Каждый вариант осуществления настоящей технологии преследует по меньшей мере одну из вышеупомянутых целей и/или объектов, но наличие всех не является обязательным. Следует иметь в виду, что некоторые объекты данной технологии, полученные в результате попыток достичь вышеупомянутой цели, могут не удовлетворять этой цели и/или могут удовлетворять другим целям, отдельно не указанным здесь.

[57] Дополнительные и/или альтернативные характеристики, аспекты и преимущества вариантов осуществления настоящей технологии станут очевидными из последующего описания, прилагаемых чертежей и прилагаемой формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[58] Эти и другие аспекты, факторы и преимущества настоящей технологии будут лучше понятны с учетом следующего описания, прилагаемой формулы изобретения и чертежей, где:

[59] На Фиг. 1 представлена принципиальная схема примера компьютерной системы для реализации неограничивающих вариантов осуществления настоящей технологии;

[60] На Фиг. 2 представлена схема сетевой вычислительной среды, подходящей для использования совместно с некоторыми вариантами осуществления настоящей технологии;

[61] На Фиг. 3 представлена принципиальная схема неограничивающего варианта осуществления системы ранжирования, реализуемой сервером сетевой компьютерной среды, показанной на Фиг. 2;

[62] На Фиг. 4 изображен ранжированный список элементов, сформированный системой ранжирования, показанной на Фиг. 3, для осуществления определенных вариантов системы и/или способов настоящей технологии;

[63] На Фиг. 5 представлена обучающая SERP, показанная пользователю электронного устройства с Фиг. 2 в окне браузерного приложения, в соответствии с некоторыми вариантами осуществления настоящей технологии;

[64] На Фиг. 6 представлена принципиальная схема неограничивающего варианта осуществления процедуры, выполняемой сервером с Фиг. 1, как часть обработки пользовательских взаимодействий, связанных с обучением SERP, показанной на Фиг. 5; и

[65] На Фиг. 7 представлена блок-схема способа определения ранжированных позиций ненативных элементов с помощью системы ранжирования, показанной на Фиг. 3, в соответствии с некоторыми вариантами осуществления настоящей технологии.

ОСУЩЕСТВЛЕНИЕ

[66] Все примеры и используемые здесь условные конструкции предназначены, главным образом, для того, чтобы помочь читателю понять принципы настоящей технологии, а не для установления границ ее объема. Следует также отметить, что специалисты в данной области техники могут разработать различные схемы, отдельно не описанные и не показанные здесь, но которые, тем не менее, воплощают собой принципы настоящей технологии и находятся в границах ее объема.

[67] Кроме того, для ясности в понимании, следующее описание касается достаточно упрощенных вариантов осуществления настоящей технологии. Как будет понятно специалисту в данной области техники, многие варианты осуществления настоящей технологии будут обладать гораздо большей сложностью.

[68] Некоторые полезные примеры модификаций настоящей технологии также могут быть охвачены нижеследующим описанием. Целью этого является также исключительно помощь в понимании, а не определение объема и границ настоящей технологии. Эти модификации не представляют собой исчерпывающего списка, и специалисты в данной области техники могут создавать другие модификации, остающиеся в границах объема настоящей технологии. Кроме того, те случаи, где не были представлены примеры модификаций, не должны интерпретироваться как то, что никакие модификации невозможны, и/или что то, что было описано, является единственным вариантом осуществления этого элемента настоящей технологии.

[69] Более того, все заявленные здесь принципы, аспекты и варианты осуществления технологии, равно как и конкретные их примеры, предназначены для обозначения их структурных и функциональных основ, вне зависимости от того, известны ли они на данный момент или будут разработаны в будущем. Таким образом, например, специалистами в данной области техники будет очевидно, что представленные здесь блок-схемы представляют собой концептуальные иллюстративные схемы, отражающие принципы настоящей технологии. Аналогично, любые блок-схемы, диаграммы, псевдокоды и т.п. представляют собой различные процессы, которые могут быть представлены на машиночитаемом носителе и, таким образом, использоваться компьютером или процессором, вне зависимости от того, показан явно подобный компьютер или процессор, или нет.

[70] Функции различных элементов, показанных на фигурах, включая функциональный блок, обозначенный как «процессор», могут быть обеспечены с помощью специализированного аппаратного обеспечения или же аппаратного обеспечения, способного использовать подходящее программное обеспечение. Когда речь идет о процессоре, функции могут обеспечиваться одним специализированным процессором, одним общим процессором или множеством индивидуальных процессоров, причем некоторые из них могут являться общими. Более того, использование термина «процессор» или «контроллер» не должно подразумевать исключительно аппаратное обеспечение, способное поддерживать работу программного обеспечения, и может включать в себя, без установления ограничений, цифровой сигнальный процессор (DSP), сетевой процессор, интегральную схему специального назначения (ASIC), программируемую пользователем вентильную матрицу (FPGA), постоянное запоминающее устройство (ПЗУ) для хранения программного обеспечения, оперативное запоминающее устройство (ОЗУ) и энергонезависимое запоминающее устройство. Также в это может быть включено другое аппаратное обеспечение, обычное и/или специальное.

[71] Программные модули или простые модули, представляющие собой программное обеспечение, могут быть использованы здесь в комбинации с элементами блок-схемы или другими элементами, которые указывают на выполнение этапов процесса и/или текстовое описание. Подобные модели могут быть выполнены на аппаратном обеспечении, показанном напрямую или косвенно.

[72] С учетом этих примечаний, далее будут рассмотрены некоторые не ограничивающие варианты осуществления аспектов настоящей технологии.

[73] На Фиг. 1 представлена компьютерная система 100, которая подходит для некоторых вариантов осуществления настоящей технологии, причем компьютерная система 100 включает в себя различные аппаратные компоненты, включая один или несколько одно- или многоядерных процессоров, которые представлены процессором 110, твердотельный накопитель 120, память 130, которая может быть ОЗУ, сетевой модуль 140 и дисплей 150. Связь между различными компонентами компьютерной системы 100 может осуществляться с помощью одной или нескольких внутренних и/или внешних шин (не показано) (например, шины PCI, универсальной последовательной шины, высокоскоростной шины IEEE 1394, шины SCSI, шины Serial ATA и так далее), с которыми электронными средствами соединены различные аппаратные компоненты. В соответствии с вариантами осуществления настоящей технологии твердотельный накопитель 120 хранит программные инструкции, подходящие для загрузки в память 130, и использующиеся процессором 110 для отображения информации пользователю компьютерной системы 100, как будет описано далее более подробно. Например, программные инструкции могут представлять собой часть браузерного приложения, выполняемого процессором 110. Сетевой модуль 140 дает возможность различным компьютерным системам, серверам и/или иным устройствам обмениваться данными.

[74] На Фиг. 2 показана сетевая компьютерная среда 200, подходящая для использования с некоторыми вариантами осуществления серверов и/или способов настоящей технологии. Сетевая компьютерная среда 200 включает в себя множество электронных устройств 202 и сервер 230, которые коммуникативно соединены через сеть 240 передачи данных. Множество электронных устройств 202 содержит электронные устройства 210 и 212, соответственно связанные с пользователями 211 и 213. Следует отметить, что множество электронных устройств 202 может содержать большее число электронных устройств, например, 100, 1000, 10000, 1000000 и так далее. Следует отметить, что сетевая компьютерная среда 200 может включать в себя другие электронные устройства, например, без установки ограничений, серверы ресурсов (не показано) для предоставления веб-ресурсов, не выходя за границы настоящей технологии. Серверы ресурсов были опущены на Фиг. 2 только для целей упрощения.

[75] Реализация данного электронного устройства из множества электронных устройств 202 никак конкретно не ограничивается, но, в качестве примера, данное электронное устройство может быть выполнено как беспроводное устройство передачи данных, например, как мобильный телефон (смартфон или радиотелефон), планшет, персональный компьютер и так далее. Тем не менее, на Фиг. 2 каждое данное данное устройство представлено как смартфон.

[76] Как уже ранее упоминалось, данный пользователь связан с соответствующим электронным устройством. Следует отметить, что тот факт, что данное электронное устройство связано с соответствующим пользователем, не подразумевает какого-либо конкретного режима работы, равно как и необходимости войти в систему, быть зарегистрированным, или чего-либо подобного. Другими словами, связи между данным пользователем и соответствующим электронным устройством означают предположение о том, что данный пользователь может взаимодействовать с соответствующим электронным устройством.

[77] Данное электронное устройство может включать в себя некоторые или все компоненты компьютерной системы 100, изображенной на Фиг. 1. В некоторых вариантах осуществления настоящей технологии, данное электронное устройство включает в себя сетевой модуль 140 для связи с сервером 230 через сеть 240 передачи данных, процессор 110, память 130 и дисплей 150 (например, сенсорный экран). Данное электронное устройство включает в себя аппаратное и/или прикладное программное, и/или системное программное обеспечение или их комбинацию, для выполнения данного браузерного приложения и связи с сервером 230 через сеть 240 передачи данных.

[78] В общем случае, задачей данного браузерного приложения является предоставление пользователю 112 доступа к одному или нескольким веб-ресурсам через сеть 240 передачи данных. Реализация браузерного приложения 103 никак конкретно не ограничена. Например, данное браузерное приложение может быть реализовано как браузер Яндекс (Yandex™).

[79] В некоторых вариантах осуществления настоящей технологии сеть 240 передачи данных может представлять собой Интернет. В альтернативных вариантах осуществления технологии, не ограничивающих ее объем, сеть передачи данных может быть реализована как любая подходящая локальная сеть передачи данных (LAN), глобальная сеть передачи данных (WAN), частная сеть передачи данных и тому подобное. Важно иметь в виду, что варианты реализации сети передачи данных даны исключительно для наглядности. Реализация линии передачи данных (отдельно не пронумерована) между данным навигационным устройством и сетью 240 передачи данных будет зависеть, среди прочего, от того, как именно реализовано данное навигационное устройство.

[80] Исключительно в качестве примера, а не ограничения, в тех вариантах осуществления настоящей технологией, где данное электронное устройство реализовано как беспроводное устройство связи (например, смартфон), линия передачи данных может быть реализована как беспроводная линия передачи данных. Примеры беспроводных линий передачи данных включают в себя, без введения ограничений, линию передачи данных 3G, линию передачи данных 4G, и тому подобное. Сеть 240 передачи данных может также использовать беспроводное соединение с сервером 230.

[81] В некоторых вариантах осуществления настоящей технологии сервер 230 реализован как обычный компьютерный сервер. В одном варианте осуществления технологии, не ограничивающем ее объем, сервер 230 представляет собой сервер Dell™ PowerEdge™, на котором используется операционная система Microsoft™ Windows Server™, но он может быть реализован с помощью любого другого подходящего аппаратного, программного и/или системного обеспечения, или их комбинации. В представленном варианте осуществления настоящей технологии, не ограничивающем ее объем, сервер является одиночным сервером. В других вариантах осуществления настоящего технического решения, не ограничивающих ее объем, (не показаны) функциональность сервера 230 может быть разделена и может выполняться с помощью нескольких серверов.

[82] В некоторых вариантах осуществления настоящей технологии, на сервере 230 может быть размещен один или несколько исполняемых на компьютере сервисов, например, поисковая система. Другими словами, сервер 230 может находиться под контролем и/или управлением поставщика поисковой системы (не показан), такого, например, как оператор поисковой системы Яндекс™. Таким образом, сервер 230 может быть выполнен с возможностью выполнять один или несколько поисков в ответ на поисковые запросы, введенные пользователями поисковой системы. Сервер 230 может быть выполнен с возможностью осуществлять создание и передачу одному или множества электронных устройств 202 ответный пакет 290 данных и/или ответный пакет 292 данных через сеть 240 передачи данных. То как сервер 230 выполнен с возможностью создавать и передавать ответные пакеты 290 и 292 данных, а также содержимое ответных пакетов 290 и 292 данных будет далее описано более подробно.

[83] Также представлена база 260 данных, которая коммуникативно соединена с сервером 230. Несмотря на то, что в представленном варианте осуществления технологии база 260 данных соединена напрямую с сервером 230 (например, через личную сеть), в альтернативных вариантах осуществления технологии, база 260 данных может быть коммуникативно соединена с сервером 230 через сеть 240, не выходя за пределы настоящей технологии.

[84] Несмотря на то, что база 260 данных представлена здесь схематически как одиночный элемент, подразумевается, что база 260 данных может быть реализована в распределенном виде, например, база 260 данных может обладать различными компонентами, каждый компонент выполнен под конкретный тип извлечения или хранения. База 260 данных может представлять собой любой структурированный набор данных, не зависящий от конкретной структуры или аппаратного обеспечения компьютера, на котором данные хранятся, используются или иным образом становятся доступны для использования. База 260 данных может находиться на том же оборудовании, что выполняет процесс, который сохраняет или использует информацию, хранящуюся в базе 260 данных, или же она может находиться на отдельном оборудовании. В общем случае, база 260 данных может получать данных от сервера 230 для их сохранения и может предоставлять сохраненные данные серверу 230 для их использования.

[85] База 260 данных может хранить информацию, связанную с элементами веб-ресурсов, которые доступны из множества ресурсов (т.е. серверов ресурсов) и доступны через сеть 240 передачи данных. Процесс заполнения и ведения базы данных 260 общеизвестен как «сбор данных» («кроулинг» от англ. "crawling"). Эти элементы веб-ресурсов могут быть потенциально представлены пользователям поисковой системы в ответ на запросы, введенные в поисковую систему. Процесс сбора данных может выполняться (и повторяться) на регулярной (и периодической) основе. Благодаря повторяющемуся процессу сбора данных, база 260 данных заполнена с помощью указаний на новые элементы ресурсов / веб-ресурсов, которые доступны через сеть 240 передачи данных. Для целей простоты, элементы веб-ресурсов будут упоминаться здесь как "элементы".

[86] Подразумевается, что элементы могут быть связаны с базой 260 данных и классифицированы в ней с помощью своих соответствующих типов элементов. Например, данный элемент может быть элементом типа изображение, элементом типа видеозапись, элементом новостного типа, элемент типа ресурс и так далее. В настоящем описании, варианты осуществления настоящей технологии будут описаны со ссылкой на элементы, которые относятся к типу изображение, тем не менее, следует иметь в виду, что другие элементы, связанные с другими типами элементов также учитываются в дополнительных элементах осуществления технологии, не выходя за границы настоящей технологии.

[87] База 260 данных может также сохранять присущие элементу характеристики, связанные с каждым элементом. Некоторые присущие элементу характеристики могут быть извлечены из соответствующих ресурсов, на которых размещены эти элементы, а другие присущие элементу характеристики могут быть определены сервером 230. Например, база 260 данных может сохранять информацию, связанную с:

- размером каждого элемента (например, визуальным размером элементов, когда он отрисовывается на компьютерном экране);

- цветовой схемой каждого элемента;

- наличием объекта в каждом элементе (например, определенном с помощью способов компьютерного действия);

- типом элемента для каждого элемента;

- ресурсом каждого элемента; и

- параметром новизны каждого элемента (например, величина которого обратно пропорциональна времени, прошедшему с момента просмотра поисковым роботом каждого элемента).

[88] Тем не менее, следует отметить, что другие или дополнительные присущие элементу характеристики, связанные с элементами могут подразумеваться в других вариантах осуществления технологии, не выходя за границы настоящей технологии.

[89] Дополнительно к сохранению информации, связанной с элементами, база 260 данных выполнена с возможностью сохранять указания на пользовательские взаимодействия, соответственно связанные с каждым элементом. Пользовательские взаимодействия, связанные с данным элементом, которые хранятся в базе 260 данных являются предыдущими пользовательскими взаимодействиями, которые выполнялись пользователями поисковой системы в отношении данного элемента как часть их взаимодействий со страницей результатов поиска, которая включает в себя данный элемент. Не исчерпывающий список различных пользовательских взаимодействий, которые могут выполняться пользователем в связи с данным элементом представляет собой:

- выбор данного элемента (например, "нажатие" на данный элемент);

- долгий выбор данного элемента (например, долгое "нажатие" на данный элемент);

- выбор данного элемента после перехода на веб-ресурс (например, нажатие данного элемента после перенаправления на ресурс данного элемента); и

- наведение курсора на данный элемент (например, курсор наведен в течение некоторого времени на данный элемент).

[90] Тем не менее, следует отметить, что указание на другие пользовательские взаимодействия могут быть сохранены в базе 260 данных в связи с элементами в других вариантах осуществления технологии, не выходя за границы настоящей технологии.

[91] Следует иметь в виду, что некоторые элементы, хранящиеся в базе 260 данных, связаны с меньшим количеством пользовательских взаимодействий, чем другие. Другими словами, некоторые элементы, которые хранятся в базе 260 данных, связаны с ограниченными пользовательскими взаимодействиями. Например, некоторые элементы могут быть использованными элементами, которые часто были использованы пользователями поисковой системы, и, следовательно, они связаны с достаточным количеством пользовательских взаимодействий, а другие элементы могут быть новыми элементами, которые связаны с ограниченным количеством пользовательских взаимодействий, поскольку они были "просмотрены поисковых роботом" только недавно и редко были представлены пользователям или не были представлены вовсе.

[92] База 260 данных может также быть выполнена с возможностью сохранять информацию в отношении множества запросов, введенных в поисковую систему различными пользователями. Это означает, что база 260 данных может быть выполнена с возможностью сохранять факторы запросов, связанных с запросами, введенными в поисковую систему. Факторы запросов могут включать в себя статистическую информацию в отношении введенных запросов, например, частоту вводов любого запроса в поисковую систему сервера 230 за последнее время. Частота вводов данного запроса за последнее время может соответствовать общему числу вводов данного запроса, например, в последние 24 часа. Другая статистическая информация в отношении вводов запроса может сохраняться в базе 260 данных, не выходя за границы настоящей технологии.

[93] В некоторых вариантах осуществления настоящей технологии, сервер 230 также реализует систему 250 ранжирования для выбора обще-релевантных элементов и элемента ранжирования в ответ на запросы, введенные в нее пользователями поисковой системы. В общем случае, данная система ранжирования выполнена с возможностью выбирать элементы, которые обще-релевантны данному запросу, и собирать указания на пользовательские взаимодействия, связанные с этими элементами для дальнейшего ранжирования на основе их релевантности данному запросу. Другими словами, данная система ранжирования может включать в себя данный алгоритм ранжирования на основе пользовательских взаимодействий, который выполнен с возможностью ранжировать элементы на основе пользовательских взаимодействий, с которыми они связаны.

[94] Как было упомянуто ранее, некоторые системы ранжирования не подходят для ранжирования всех элементов, которые обще-релевантны для данного запроса, поскольку некоторые элементы, которые могут быть обще-релевантны для данного запроса, могут быть связаны с ограниченными пользовательскими взаимодействиями. В самом деле, системы ранжирования, реализующие алгоритмы ранжирования на основе пользовательских взаимодействий, также подходят для ранжирования использованных элементов, которые часто использовались пользователями поисковой системы, поскольку они связаны с достаточным количеством пользовательских взаимодействий. Эти использованные элементы, которые связаны с достаточным количеством пользовательских взаимодействий, будут упоминаться здесь как "нативные элементы", поскольку они "могут ранжироваться" алгоритмом ранжирования на основе пользовательских взаимодействий и, следовательно, являются "нативными" для алгоритма ранжирования на основе пользовательских взаимодействий.

[95] Тем не менее, некоторые системы ранжирования не подходят для ранжирования новых элементов, поскольку они связаны с ограниченным количеством пользовательских взаимодействий. Эти новые элементы будут упоминаться как "ненативные элементы", поскольку они "не могут ранжироваться" алгоритмом ранжирования на основе пользовательских взаимодействий, поскольку они были недостаточно использованы пользователями поисковой системы для ранжирования алгоритмом ранжирования на основе пользовательских взаимодействий и, следовательно, являются "ненативными" для алгоритма ранжирования на основе пользовательских взаимодействий.

[96] В некоторых вариантах осуществления настоящей технологии, сервер 230 выполнен с возможностью ранжировать как нативные элементы, так и ненативные элементы друг с другом с помощью неограничивающих вариантов осуществления настоящей технологии, которые описаны здесь. Сервер 230 включает в себя аппаратное и/или прикладное программное, и/или системное программное обеспечение или их комбинацию - для обучения системы 250 ранжирования прогнозированию оценок полезности ненативных элементов. Сервер 230 также включает в себя аппаратное и/или прикладное программное, и/или системное программное обеспечение или их комбинацию для определения ранжированных позиций ненативных элементов с помощью прогнозируемой оценки полезности. Чем являются оценки полезности, то как сервер 230 выполнен с возможностью обучать систему 250 ранжирования прогнозированию этих оценок полезности и то, как сервер 230 выполнен с возможностью определять ранжированные позиции ненативных элементов, будет более подробно описано далее.

[97] На Фиг. 3 представлена система 250 ранжирования сервера 230. Система 250 ранжирования выполнена с возможностью выполнять два алгоритма ранжирования: алгоритм 302 ранжирования на основе пользовательских взаимодействий и алгоритм 304 прогнозирования оценки полезности.

[98] Как уже ранее упоминалось ранее, алгоритм 302 ранжирования на основе пользовательских взаимодействий обучен ранжировать нативные элементы на основе пользовательских взаимодействий, связанных с ними. Например, алгоритм 302 ранжирования на основе пользовательских взаимодействий может быть алгоритмом машинного обучения (MLA), который был обучен на парах элементов-запросов, размеченных людьми, для прогнозирования оценок релевантности нативных элементов на основе, среди прочего, предыдущих пользовательских взаимодействий, связанных с ними, для данного запроса. Можно сказать, что алгоритм 302 ранжирования на основе пользовательских взаимодействий был обучен, в некотором смысле, обучаться скрытым взаимоотношениям или шаблонам данных в предыдущих пользовательских взаимодействиях, которые указывают на релевантность данного нативного элемента для данного запроса. Алгоритм 302 ранжирования на основе пользовательских взаимодействий никак конкретно не ограничен и может быть обучен с помощью различных способов. Достаточно сказать, что алгоритм 302 ранжирования на основе пользовательских взаимодействий был обучен ранжировать нативные элементы на основе, среди прочего, соответствующих предыдущих пользовательских взаимодействий с элементами, представленными предыдущих пользователям в ответ на введение аналогичного поискового запроса.

[99] Алгоритм 304 прогнозирования оценки полезности может быть обучен прогнозировать оценки полезности ненативных элементов для различных ранжированных позиций в ранжированном списке элементов в ответ на запрос. Алгоритм 304 прогнозирования оценки полезности может также быть реализован как MLA, что будет более подробно описано далее. То, как именно алгоритм 304 прогнозирования оценки полезности обучен прогнозировать оценки полезности ненативных элементов, будет описано со ссылками на Фиг. 2, 3, 4 и 5. Следует вспомнить, что для целей описания здесь используется пример элементов, которые являются элементами типа изображение.

[100] Предположим, что пользователь 211 взаимодействует с электронным устройством 210, которое, в ответ на пользовательское взаимодействие с электронным устройством 210, выполняет браузерное приложение. Пользователь 211 может далее использовать браузерное приложение для ввода данного запроса в поисковую систему сервера 230. Например, предположим, что пользователь 211 вводит запрос "Взрыв в метро" (англ. "Explosion in metro") в браузерное приложение. В ответ, электронное устройство 210 может быть выполнено с возможностью создавать подаваемый пакет 280 данных. Подаваемый пакет 280 данных может содержать информацию, указывающую на запрос "Взрыв в метро", может передаваться серверу 230 через сеть 240 передачи данных, тем самым подавая запрос "Взрыв в метро" в поисковую систему.

[101] При получении подаваемого пакета 280 данных, сервер 230 может передавать информацию, указывающую на запрос "Взрыв в метро" системе 250 ранжирования для дальнейшей обработки. Система 250 ранжирования может получать доступ к базе 260 данных для извлечения обще-релевантных элементов для запроса "Взрыв в метро". Система 250 ранжирования может определять, что данный элемент обще-релевантен для данного запроса на основе различных факторов. Например, система 250 ранжирования может:

- анализировать текстовую информацию, например, описание или имя файла, связанную с каждым элементом в базе 260 данных на предмет сходства текстовых строк с данным запросом;

- нумеровать дубликаты каждого элемента в базе 260 данных;

- анализировать единый указатель ресурса (URL), связанный с исходным ресурсом для каждого элемента в базе 260 данных на предмет сходства текстовых строк с данным запросом;

- анализировать информацию, собранную с помощью техник компьютерного зрения, связанную с каждым элементов в базе 260 данных; и

- анализировать любую другую присущую элементу характеристику каждого элемента.

[102] Следует иметь в виду, что то, как именно система 250 ранжирования может определять, что данный элемент является обще-релевантным для данного запроса, никак конкретно не ограничено, и система 250 ранжирования может может делать определение на основе альтернативных или дополнительных факторов по сравнению с теми, что были перечислены выше. Достаточно сказать, что обще-релевантные элементы являются подмножеством всех элементов, хранящихся в базе 260 данных, и которые определяются на основе нескольких факторов как по меньшей мере отдаленно релевантные для запроса, введенного в поисковую систему.

[103] Предположим, что система 250 ранжирования выбрала 36 элементов среди элементов, хранящихся в базе 260 данных, на основе их обще-релевантности запросу, введенному пользователем 211. Следует отметить, что в других вариантах осуществления настоящей технологии, система 250 ранжирования может выбирать другое общее число элементов, отличное от 36, на основе общей релевантности запросу, не выходя за границы настоящей технологии. Система 250 ранжирования также выполнена с возможностью получать пользовательские взаимодействия, связанные с каждым из таким образом выбранных обще-релевантных элементов.

[104] После получения пользовательских взаимодействий с 36 элементами, система 250 ранжирования может определить, что для шести элементов из 36 элементов присутствует связь с ограниченными пользовательскими взаимодействиям или же связанные пользовательские взаимодействия отсутствуют вовсе.

[105] Система 250 ранжирования может также быть выполнена с возможностью анализировать частоту вводов запроса "Взрыв в метро" за последнее время. Другими словами, система 250 ранжирования может быть выполнена с возможностью определять, вводился ли запрос "Взрыв в метро" часто в последнее время или, альтернативно, редко вводился в последнее время в поисковую систему на основе статистической информации по сравнению с вводами, хранящимися в базе 260 данных. Если система 250 ранжирования определяет, что запрос "Взрыв в метро" часто вводился в последнее время с поисковую систему, система 250 ранжирования может определять, что пользователь 211 может быть заинтересован в просмотре по меньшей некоторых новых элементов, которые были недавно просмотрены поисковым роботом. В самом деле, запрос "Взрыв в метро" может быть связан с недавно произошедшим событием и, следовательно, пользователь 211 вероятно будет заинтересован в новых элементах.

[106] Следовательно, система 250 ранжирования может быть выполнена с возможностью обрабатывать шесть элементов (т.е. которые связаны с ограниченными пользовательскими взаимодействиями или для которых пользовательские взаимодействия отсутствуют совсем), как шесть ненативных элементов для алгоритма 302 ранжирования на основе пользовательских взаимодействий, а другие тридцать элементов, которые связаны с пользовательскими взаимодействиями, как нативные элементы для алгоритма 302 ранжирования на основе пользовательских взаимодействий.

[107] С одной стороны, система 250 ранжирования может быть выполнена с возможностью вводить запрос, введенным пользователем 211, тридцать нативных элементов и их соответствующие пользовательские взаимодействия в алгоритм 302 ранжирования на основе пользовательских взаимодействий для ранжирования тридцати нативных элементов на основе их релевантности запросу, введенному пользователем 211. На Фиг. 4 представлен ранжированный список нативных элементов 400, созданных алгоритмом 302 ранжирования на основе пользовательских взаимодействий, который содержит все тридцать нативных элементов, введенных в него.

[108] С другой стороны, система 250 ранжирования не вводит множество ненативных элементов 410, которые включают в себя шесть ненативных элементов, а именно ненативные элементы 504, 505, 509, 518, 522 и 524, показанные на Фиг. 4, в алгоритм 302 ранжирования на основе пользовательских взаимодействий, поскольку, как было объяснено выше, они не ранжируются алгоритмом 302 ранжирования на основе пользовательских взаимодействий из-за недостаточного количества пользовательских взаимодействий с ними.

[109] В результате, система 250 ранжирования может выполнять процедуру искусственного объединения для комбинации тридцати нативных элементов в ранжированном списке нативных элементов 400 и множества ненативных элементов 410 в ранжированный список элементов 420. Во время процедуры искусственного объединения, система 250 ранжирования может быть выполнена с возможностью искусственно внедрять в ранжированной список нативных элементов 400 каждый из множества ненативных элементов 410 на искусственно выбранную позицию, тем самым формируя ранжированный список элементов 420. Для простоты иллюстрации, во время процедуры искусственного объединения, система 250 может внедрять:

- ненативный элемент 503 на искусственно выбранную позицию между третьим и четвертым нативными элементами в ранжированном списке нативных элементов 400, что в результате приводит к тому, что ненативный элемент 504 связан с четвертой ранжированной позицией в ранжированном списке элементов 420;

- ненативный элемент 503 на искусственно выбранную позицию также между третьим и четвертым нативными элементами в ранжированном списке нативных элементов 400, но после ненативного элемента 504, что в результате приводит к тому, что ненативный элемент 505 связан с пятой ранжированной позицией в ранжированном списке элементов 420;

- ненативный элемент 503 на искусственно выбранную позицию между шестым и седьмым нативными элементами в ранжированном списке нативных элементов 400, что в результате приводит к тому, что ненативный элемент 509 связан с девятой ранжированной позицией в ранжированном списке элементов 420;

- ненативный элемент 503 на искусственно выбранную позицию между четырнадцатым и пятнадцатым нативными элементами в ранжированном списке нативных элементов 400, что в результате приводит к тому, что ненативный элемент 518 связан с восемнадцатой ранжированной позицией в ранжированном списке элементов 420;

- ненативный элемент 503 на искусственно выбранную позицию между семнадцатым и восемнадцатым нативными элементами в ранжированном списке нативных элементов 400, что в результате приводит к тому, что ненативный элемент 522 связан с двадцать второй ранжированной позицией в ранжированном списке элементов 420; и

- ненативный элемент 503 на искусственно выбранную позицию между восемнадцатым и девятнадцатым нативными элементами в ранжированном списке нативных элементов 400, что в результате приводит к тому, что ненативный элемент 524 связан с двадцать четвертой ранжированной позицией в ранжированном списке элементов 420.

[110] Подразумевается, что в некоторых вариантах осуществления технологии, во время процедур искусственного объединения, система 250 ранжирования может случайным образом внедрять каждый из множества ненативных элементов 410 на искусственно выбранные позиции, которые являются случайно выбранными позициями, в ранжированный список нативных элементов 400 для формирования ранжированного списка элементов 420. В других вариантах осуществления технологии, во время процедур искусственного объединения, система 250 ранжирования может внедрять каждый из множества ненативных элементов 410 в соответствии с заранее определенным шаблоном внедрения, например, следуя заранее определенному распределению, в ранжированный список нативных элементов 400 для формирования ранжированного списка элементов 420. Заранее определенное распределение может быть определено оператором поисковой системы и будет зависеть, среди прочего, от конкретных вариантов осуществления настоящей технологии.

[111] Дополнительно, сервер 230 может быть выполнен с возможностью сохранять ранжированный список элементов 420 в базе 260 данных в связи с пользователем 211 и/или электронным устройством 210 и/или текущей браузерной сессией пользователя 211 для дальнейшей обработки его в ответ на завершение процедуры искусственного объединения.

[112] Сервер 230 также выполнен с возможностью создавать ответный пакет 290 данных, содержащий информацию, указывающую на ранжированный список элементов 420 и инициирующую информацию. Сервер 230 может ответный передавать пакет 290 данных запроса электронному устройству 210 через сеть 240 передачи данных. Ответный пакет 290 данных включает в себя инициирующую информацию, которая инициирует браузерное приложение отобразить пользователю 211 с помощью дисплея 150 электронного устройства 210 обучающую SERP 500, представленную на Фиг. 5.

[113] Следует отметить, что обучающая SERP 500 отображается в окне 550 браузерного приложения, обладающего размером окна. Размер окна 550 может быть основан на размере дисплея 150 электронного устройства 210 или может выбираться пользователем 211. В данном варианте осуществления технологии, размер окна 550 представляет собой область, которая обладает широтой от точки 560 до точки 562.

[114] Каждый элемент в ранжированном списке элементов 420 связан с соответствующей визуальной позицией на обучающей SERP 500 таким образом, что каждый элемент ранжированного списка элементов 420 структурирован в визуальную 2D структуру 555, которая обладает множеством вертикально-структурированных рядов 540. Нативные элементы, а именно нативные элементы 501, 502, 503, 506, 507, 508, 510, 511, 512, 513, 514, 515, 516, 517, 519, 520, 521, 523, 525, 526, 527, 528, 529, 530, 531, 532, 533, 534, 535 и 536 (т.е. тридцать нативных элементов) и ненативные элементы 504, 505, 509, 518, 522 и 524 (т.е. шесть ненативных элементов), которые заштрихованы на Фиг. 5, структурированы в визуальную 2D структуру 555 на основе (i) их соответствующих рангов в ранжированном списке элементов 420 (ii) их соответствующих размеров элементов и (iii) размера окна 550. То, как именно каждый элемент ранжированного списка элементов 420 структурирован в визуальную 2D структуру 555, будет описано далее.

[115] Например, наиболее высоко ранжированный элемент в ранжированном списке элементов 420 является нативным элементом 501, который структурирован как первый элемент в первом ряду визуальной 2D структуры 555. Второй высоко ранжированный элемент в ранжированном списке элементов 420 является нативным элементом 502, который структурирован как второй элемент в первом ряду визуальной 2D структуры 555. Следовательно, элементы являются горизонтально-структурированными в каждом ряду в соответствии с их соответствующими рангами в ранжированном списке элементов 420, где наиболее релевантный элемент в данном ряду визуально расположен первым элементом в этом ряду, а менее релевантный элемент в данном ряду визуально расположен последним элементом в этом ряду. Таким образом, можно сказать, что элементы структурированы слева направо в каждом ряду в соответствии с убывающим порядком релевантности соответствующему запросу. Естественно, элементы могут быть структурированы справа налево в соответствии с убывающим порядком релевантности.

[116] Следует отметить, что визуальная 2D структура 555 может упоминаться как "выровненная". Другими словами, первые элементы в каждом из множества вертикально-структурированных рядов 540 выровнены по левой границе, а последние элементы в каждом из множества вертикально-структурированных рядов 540 выровнены по правой границе. Присущая характеристика визуальной 2D структуры 555 в сочетании с размерами соответствующим элементов и размером окна 550, диктует выбор количества элементов, которые будут горизонтально организованы в каждом ряду.

[117] Например, нативный элемент 508 ранжирован сразу после нативного элемента 507 в ранжированном списке элементов 420; тем не менее, из-за присущей характеристики визуальной 2D структуры 555, которая должна быть выровнена, из-за размера окна 500 и из-за размеров элементов в первом ряду, нативный элемент 508 не подходит в первый ряд. Следовательно, нативный элемент 508 визуально расположен как первый элемент во втором ряду среду множества вертикально-структурированных рядов 540. Таким образом, можно сказать, что элементы структурированы в различных рядах верху вниз в соответствии с убывающим порядком релевантности соответствующему запросу.

[118] Обучающая SERP 500 отображается пользователю 211 на дисплее 150 электронного устройства, пользователь 211 может взаимодействовать с элементами, организованными в визуальную 2D структуру 555. В настоящем описании, пользовательские взаимодействия, связанные с элементами, структурированными в визуальную 2D структуру 555, будут описаны как выборы элементов, например, "клики". Тем не менее, другие типы пользовательских взаимодействий подразумеваются в других вариантах осуществления настоящей технологии, не выходя за границы настоящей технологии.

[119] Предположим, что во время взаимодействия с обучающей SERP 500 пользователь 211 кликнул на:

- ненативный элемент 504;

- нативный элемент 506;

- нативный элемент 508;

- нативный элемент 511;

- нативный элемент 515;

- ненативный элемент 518;

- ненативный элемент 522;

- нативный элемент 525;

- нативный элемент 528; и

- нативный элемент 536.

[120] Следует отметить, что вышеупомянутые клики пользователя 211 могли выполняться или не выполняться пользователем 211 в конкретном порядке, в котором они перечислены в вышеупомянутом списке. Также, каждый из вышеупомянутых кликов графически представлен на Фиг. 5 с помощью соответствующих клик-маркеров 581, 582, 583, 584, 585, 586, 587, 588, 589 и 590. Следует отметить, что конкретная область клика на данном элементе не является релевантной или, другими словами, конкретная область данного клик-маркера в отношении соответствующего элемента, была выбрана произвольно и не является релевантной. Вне зависимости от конкретной области клика пользователя 211 на данном элементе, связать каждого клик-маркера с соответствующим элементом означает только предположение о том, что пользователь 211 кликнул на каждый соответствующий элемент.

[121] Когда пользователь 211 перестает взаимодействовать с обучающей SERP 500 совсем (например, закрывает браузерную сессию), браузерное приложение может быть выполнено с возможностью инструктировать электронное устройство 210 создавать пакет 295 данных SERP (Фиг. 2). После создания пакета 295 данных SERP, электронное устройство 210 может передавать его серверу 230 для дальнейшей обработки.

[122] Пакет 295 данных SERP может содержать информацию, относящуюся к факторам SERP обучающей SERP 500. Факторы обучающей SERP 500 могут включать в себя SERP-центричные факторы и по меньшей мере некоторые факторы запроса "Взрыв в метро". SERP-центричные факторы, связанные с обучающей SERP, могут включать в себя, например, размер окна 550 браузерного приложения, отображающего обучающую SERP 500, и размер каждого элемента, отображаемого на обучающей SERP 500.

[123] Таким образом, можно сказать, что пакет 295 данных SERP включает в себя достаточное количество информации для установления визуально-позиционных отношений между элементами в ранжированном списке элементов 420, как если бы они отображались пользователю 211 на обучающей SERP 500 в окне 550 браузерного приложения электронного устройства 210. Другими словами, пакет 295 данных SERP включает в себя информацию, которая указывает на соответствующую визуальную позицию каждого элемента в отношении друг друга, когда они структурированы в визуальной 2D структуре 555 и отображаются в окне 550 браузерного приложения электронного устройства 210.

[124] Пакет 295 данных SERP также содержит указания на пользовательские взаимодействия с обучающей SERP 500. Например, пакет 295 данных SERP может включать в себя информацию в отношении кликов, связанных с соответствующими клик-маркерами 581, 582, 583, 584, 585, 586, 587, 588, 589 и 590. Дополнительно, пакет 295 данных SERP может содержать информацию в отношении других пользовательских взаимодействий, выполняемых пользователем 211, отличных от выбора элементов, не выходя за границы настоящей технологии.

[125] Сервер 230 может получать пакет 295 данных SERP и может сохранят информацию, которая получена через пакет 295 данных SERP, в базе 260 данных для дальнейшей обработки. Во время фазы обучения системы 250 ранжирования, сервер 230 может быть выполнена с возможностью создавать соответствующую оценку полезности для каждого из ненативных элементов 504, 505, 509, 518, 522 и 524, расположенных на их соответствующих визуальных позициях, структурированных в визуальную 2D структуру 555. Далее будет описано то, как сервер 230 выполнен с возможностью создавать соответствующую оценку полезности для соответствующего ненативного элемента, расположенного в соответствующей визуальной позиции.

[126] В широком смысле, во время создания соответствующей оценки полезности для данного ненативного элемента, расположенного на соответствующей визуальной позиции, сервер 230 выполнен с возможностью (i) анализировать пользовательские взаимодействия, связанные с данным ненативным элементом; (ii) анализировать пользовательские взаимодействия с элементами, которые горизонтально-структурированы после данного ненативного элемента; и (iii) анализировать пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после данного ненативного элемента.

[127] Настоящая технология основывается на предположении о том, что пользовательские взаимодействия с данным ненативным элементом на соответствующей визуальной позиции означают, что данный ненативный элемент был подходящим образом визуально расположен на обучающей SERP 500. Следовательно, пользовательские взаимодействия, связанные с данным ненативным элементом, считаются указывающими на положительные пользовательские взаимодействия с данным ненативным элементов.

[128] Настоящая технология также основывается на предположении о том, что пользовательские взаимодействия с элементами, которые горизонтально-структурированы после данного ненативного элемента, и/или с элементами, которые вертикально-структурированы после данного ненативного элемента, означают, что данный ненативный элемент не был подходящим образом визуально расположен на обучающей SERP 500. Следовательно, пользовательские взаимодействия, связанные с элементами, которые горизонтально-структурированы после данного ненативного элемента, и/или с элементами, которые вертикально-структурированы после данного ненативного элемента, считаются указывающими на отрицательные пользовательские взаимодействия с данным ненативным элементом.

[129] Сервер 230 может быть выполнен с возможностью создавать соответствующую оценку полезности для данного ненативного элемента, который расположен на данной визуальной позиции в соответствии с функцией профицита, которая учитывает как положительные, так и отрицательные пользовательские взаимодействия с данным ненативным элементом, такие как:

где выигрыш (win) определяется соответствующими положительными пользовательскими взаимодействиями, а проигрыш (loss) определяется соответствующими отрицательными пользовательскими взаимодействиями. Следует отметить, что весовой коэффициент b может обладать обратным знаком по сравнению с весовым коэффициентом а. Следовательно, можно сказать, что сервер 230 может создавать соответствующую оценку полезности для данного ненативного элемента, расположенного в данной визуальной позиции на основе взвешенной суммы соответствующих положительных пользовательских взаимодействий и соответствующих негативных пользовательских взаимодействий. Весовые коэффициенты а и b могут быть определены оператором поисковой системы и будут зависеть, среди прочего, от конкретных вариантов осуществления настоящей технологии. Например, в одном варианте осуществления технологии, весовой коэффициент а может соответствовать значению "1", а весовой коэффициент b может соответствовать значению "-1.4".

[130] То, как именно сервер 230 выполнен с возможностью анализировать (i) пользовательские взаимодействия, связанные с данным ненативным элементом, (ii) пользовательские взаимодействия, связанные с элементами, которые горизонтально-структурированы после данного ненативного элемента и (iii) пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после данного ненативного элемента для того чтобы (a) определить как положительные, так и отрицательные пользовательские взаимодействия, связанные с данным ненативным элементом, и, в свою очередь, для того чтобы (b) создать соответствующую оценку полезности для данного ненативного элемента, расположенного в соответствующей визуальной позиции, будет описано далее с отсылкой на Фиг. 6.

[131] На Фиг. 6 представлена визуальная иллюстрация 600 процедуры создания оценки полезности, выполняемая сервером 230 как часть обработки пользовательских взаимодействий, связанных с обучающей SERP 500 для того чтобы (a) определить как положительные так и отрицательные пользовательские взаимодействия, связанные с каждым ненативным элементом и (b) создать соответствующую оценку полезности для каждого ненативного элемента, расположенного в соответствующей визуальной позиции. Сервер 230 способен выполнять процедуру создания оценки полезности, что визуально представлено на Фиг. 6, поскольку сервер 230 получает пакет 295 данных SERP, который включает в себя информацию, которая указывает на соответствующую визуальную позицию каждого элемента в отношении друг друга, когда они структурированы в визуальной 2D структуре 555 и отображаются в окне 550 браузерного приложения электронного устройства 210.

[132] Следует иметь в виду, тем не менее, что визуальная иллюстрация 600 представлена на Фиг. 6 только для целей иллюстрации, и что серверу 230 не требуется создавать визуальную иллюстрацию 600, вместо этого он выполнен с возможностью выполнять процедуру создания оценки полезности в соответствии с тем, что показано на Фиг. 6.

[133] Для целей описания, все ненативные элементы, показанные на Фиг. 6, заштрихованы и обведены тонкими штриховыми линиями. Все элементы, которые горизонтально-структурированы после данного ненативного элемента, обведены полужирными линиями. Все элементы, которые вертикально-структурированы после данного ненативного элемента, обведены полужирными штриховыми линиями. То, как идентификация элементов, которые горизонтально-структурированы после данного ненативного элемента, и идентификация элементов, которые вертикально-структурированы после данного ненативного элемента выполняются сервером 230 для каждого ненативного элемента, будет далее описано со ссылкой на несколько следующих примеров.

Оценка полезности ненативного элемента 509

[134] В первом примере описано то. как сервер 230 определяет оценку полезности ненативного элемента 509. Сервер 230 выполнен с возможностью анализировать (i) пользовательские взаимодействия, связанные с ненативным элементом 509, (ii) пользовательские взаимодействия, связанные с элементами, которые горизонтально-структурированы после ненативного элемента 509 и (iii) пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после ненативного элемента 509 для того чтобы (а) определить как положительные, так и отрицательные пользовательские взаимодействия, связанные с ненативным элементом 509, и, в свою очередь, для того чтобы (b) создать соответствующую оценку полезности для ненативного элемента 509, расположенного в своей соответствующей визуальной позиции. Следует отметить, что в этом примере ненативный элемент 509 не позиционирован визуально (вертикально или горизонтально) после любого другого ненативного элемента.

[135] Во время анализа пользовательских взаимодействий, связанных с ненативным элементом 509, сервер 230 может быть выполнен с возможностью проверять, взаимодействовал ли пользователь 211 (или в данном случае кликнул) с ненативным элементом 509. В результате анализа пользовательских взаимодействий, связанных с ненативным элементом 509, и учитывая пользовательские взаимодействия, выполняемые пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 не взаимодействовал с ненативным элементом 509 и, следовательно, ненативный элемент 509 не связан с какими-либо положительными пользовательскими взаимодействиями.

[136] Во время анализа пользовательских взаимодействий, связанных с элементами, которые горизонтально-структурированы после ненативного элемента 509, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные со следующим горизонтально-структурированном элементом, расположенным сразу после ненативного элемента 509. В данном случае, следующий соседний горизонтально-структурированный элемент, расположенный сразу после ненативного элемента 509 является нативным элементом 510. Таким образом, сервер 230 может быть выполнен с возможностью проверять, взаимодействовал ли пользователь 211 (или, в данном случае, кликал) с нативным элементом 510. В результате, и с учетом пользовательских взаимодействий, выполняемых пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 не взаимодействовал с нативным элементом 511 и, следовательно, ненативный элемент 509 не связан с каким-либо отрицательным пользовательским взаимодействием, которое выполнялось на элементах, которые горизонтально-структурированы после ненативного элемента 509.

[137] Следует отметить, что, несмотря на то что пользователь 211 кликнул на нативный элемент 508, пользовательское взаимодействие не учитывается сервером 230 как отрицательное пользовательское взаимодействие, связанное с ненативным элементом 509, поскольку нативный элемент 508 не является следующим соседним горизонтально-структурированным элементом, а является предыдущим соседним горизонтально-структурированным элементом, расположенным непосредственно перед ненативным элементом 509.

[138] Следует отметить, что, несмотря на то что пользователь 211 кликнул на нативный элемент 511, пользовательское взаимодействие не учитывается сервером 230 как отрицательное пользовательское взаимодействие, связанное с ненативным элементом 509, поскольку нативный элемент 511 не является следующим соседним горизонтально-структурированным элементом, а является вторым следующим горизонтально-структурированным элементом, который не расположен непосредственно перед ненативным элементом 509.

[139] Во время анализа пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после ненативного элемента 509, сервер 230 может быть выполнен с возможностью определять зону 602 вертикальной близости для ненативного элемента 509.

[140] В общем случае, данная зона вертикальной близости для данного ненативного элемента определяется (i) в следующем ряду, расположенном прямо под текущим рядом данного ненативного элемента и (ii) между горизонтальными границами данного ненативного элемента. Другими словами, данная зона вертикальной близости для данного ненативного элемента может определяться как зона, которая будет перекрываться данным ненативным элементом, в то время как данный ненативный элемент гипотетически "перетаскивают" вертикально из его текущего ряда в следующий ряд, расположенный прямо под текущим рядом.

[141] Следовательно, зона 602 вертикальной близости для ненативного элемента 509 определяется (i) в третьему ряду из множества вертикально-структурированных рядов 540, расположенном сразу после второго ряда из множества вертикально-структурированных рядов 540, который является текущим рядом ненативного элемента 509, и (ii) между горизонтальных границ (отдельно не пронумеровано) ненативного элемента 509.

[142] Также, после определения зоны 602 вертикальной близости для ненативного элемента 509 и во время анализа пользовательских взаимодействий с элементами, которые вертикально-структурированы после ненативного элемента 509, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с элементами, которые по меньшей мере частично перекрываются зоной 602 вертикальной близости ненативного элемента 509.

[143] В этом случае, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с любым элементом, расположенном в третьем ряду (т.е. следующий ряд по отношению к текущему ряду ненативного элемента 509), и которые частично перекрываются зоной 602 вертикальной близости. Единственный элемент, который по меньшей мере частично перекрывается зоной 602 вертикальной близости, - это нативный элемент 515. Таким образом, сервер 230 может быть выполнен с возможностью проверять, взаимодействовал ли пользователь 211 с нативным элементом 515. В результате, и с учетом пользовательских взаимодействий, выполняемых пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 взаимодействовал с нативным элементом 515 и, следовательно, ненативный элемент 509 связан с одним отрицательным пользовательским взаимодействием, которое выполнялось на данном элементе, который вертикально-структурирован (в данном случае, нативный элемент 515) после ненативного элемента 509.

[144] Далее, когда сервер 230 определил как положительные, так и отрицательные пользовательские взаимодействия, связанные с ненативным элементом 509, сервер 230 выполнена с возможностью создавать соответствующую оценку полезности для ненативного элемента 509, расположенного на соответствующей визуальной позицией. Сервер 230 может применять Уравнение 1 для создания оценки полезности, используя значение "0" для выигрыша, поскольку ненативный элемент 509 не связан с положительными пользовательскими взаимодействиями, и значение "1" для проигрыша, поскольку ненативный элемент 509 связан с одним отрицательным пользовательским взаимодействием, которое было выполнено над данным элементом, который вертикально-структурирован (в данном случае, нативный элемент 515) после ненативного элемента 509.

[145] Следует отметить, что оценка полезности данного ненативного элемента может варьироваться на основе его данной визуальной позиции. В самом деле, пользователь 211 мог взаимодействовать иначе с (i) ненативным элементом 509, (ii) элементами, которые горизонтально-структурированы после ненативного элемента 509 и (iii) элементами, которые вертикально-структурированы после ненативного элемента 509, если ненативный элемент 509 был связан с другой визуальной позицией на обучающей SERP 500. Дополнительно, как будет описано в следующем примере, соответствующая визуальная позиция данного ненативного элемента может влиять на ряд элементов, перекрывающихся соответствующей зоной вертикальной близости.

Оценка полезности ненативного элемента 522

[146] Во втором примере описано то. как сервер 230 определяет оценку полезности ненативного элемента 522. Сервер 230 выполнен с возможностью анализировать (i) пользовательские взаимодействия, связанные с ненативным элементом 522, (ii) пользовательские взаимодействия, связанные с элементами, которые горизонтально-структурированы после ненативного элемента 522 и (iii) пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после ненативного элемента 522 для того чтобы (а) определить как положительные, так и отрицательные пользовательские взаимодействия, связанные с ненативным элементом 522, и, в свою очередь, для того чтобы (b) создать соответствующую оценку полезности для ненативного элемента 522, расположенного в своей соответствующей визуальной позиции. Следует отметить, что в этом примере ненативный элемент 522 не позиционирован визуально (вертикально или горизонтально) после любого другого ненативного элемента.

[147] Во время анализа пользовательских взаимодействий, связанных с ненативным элементом 522, сервер 230 может быть выполнен с возможностью проверять, взаимодействовал ли пользователь 211 (или в данном случае кликнул) с ненативным элементом 522. В результате анализа пользовательских взаимодействий, связанных с ненативным элементом 522, и учитывая пользовательские взаимодействия, выполняемые пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 взаимодействовал с ненативным элементом 522 и, следовательно, ненативный элемент 522 связан с одним положительным пользовательским взаимодействием.

[148] Во время анализа пользовательских взаимодействий, связанных с элементами, которые горизонтально-структурированы после ненативного элемента 522, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные со следующим горизонтально-структурированном элементом, расположенным сразу после ненативного элемента 522. В данном случае, следующий соседний горизонтально-структурированный элемент, расположенный сразу после ненативного элемента 522 является нативным элементом 523. Таким образом, сервер 230 может быть выполнен с возможностью проверять, взаимодействовал ли пользователь 211 (или, в данном случае, кликал) с нативным элементом 523. В результате, и с учетом пользовательских взаимодействий, выполняемых пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 не взаимодействовал с нативным элементом 523 и, следовательно, ненативный элемент 522 не связан с каким-либо отрицательным пользовательским взаимодействием, которое выполнялось на элементах, которые горизонтально-структурированы после ненативного элемента 522.

[149] Следует отметить, что, несмотря на то что пользователь 211 кликнул на нативный элемент 525, пользовательское взаимодействие не учитывается сервером 230 как отрицательное пользовательское взаимодействие, связанное с ненативным элементом 522, поскольку нативный элемент 525 не является следующим соседним горизонтально-структурированным элементом.

[150] Во время анализа пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после ненативного элемента 522, сервер 230 может быть выполнен с возможностью определять зону 604 вертикальной близости для ненативного элемента 522.

[151] Зона 604 вертикальной близости может быть определена для ненативного элемента 522 аналогично тому, как зона 602 вертикальной близости определяется для ненативного элемента 509. Таким образом, зона 604 вертикальной близости для ненативного элемента 522 определяется (i) в пятом ряду из множества вертикально-структурированных рядов 540, расположенном сразу под четвертым рядом из множества вертикально-структурированных рядов 540, который является текущим рядом ненативного элемента 522, и (ii) между горизонтальных границ ненативного элемента 522.

[152] Также, после определения зоны 604 вертикальной близости для ненативного элемента 522 и во время анализа пользовательских взаимодействий с элементами, которые вертикально-структурированы после ненативного элемента 522, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с элементами, которые по меньшей мере частично перекрываются зоной 604 вертикальной близости ненативного элемента 522.

[153] В этом случае, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с любым элементом, расположенном в пятом ряду (т.е. следующий ряд по отношению к текущему ряду ненативного элемента 522), и которые частично перекрываются зоной 604 вертикальной близости. В этом случае, два элемента по меньшей мере частично перекрываются зоной 604 вертикальной близости (в отличие от одного элемента в первом примере), а именно нативные элементы 528 и 529. Таким образом, сервер 230 может быть выполнен с возможностью проверять, взаимодействовал ли пользователь 211 с нативными элементами 528 и 529. В результате, и с учетом пользовательских взаимодействий, выполняемых пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 взаимодействовал с нативным элементом 528 и не взаимодействовал с нативным элементом 529, и, следовательно, ненативный элемент 522 связан с одним отрицательным пользовательским взаимодействием, которое выполнялось на данном элементе, который вертикально-структурирован (в данном случае, нативный элемент 528) после ненативного элемента 522.

[154] Далее, когда сервер 230 определил как положительные, так и отрицательные пользовательские взаимодействия, связанные с ненативным элементом 522, сервер 230 выполнена с возможностью создавать соответствующую оценку полезности для ненативного элемента 522, расположенного на соответствующей визуальной позицией. Сервер 230 может применять Уравнение 1 для создания оценки полезности, используя значение "1" для выигрыша, поскольку ненативный элемент 522 связан с одним положительным пользовательским взаимодействием, и значение "1" для проигрыша, поскольку ненативный элемент 522 связан с одним отрицательным пользовательским взаимодействием, которое было выполнено над данных элементом, который вертикально-структурирован (в данном случае, нативный элемент 528) после ненативного элемента 522.

[155] В некоторых вариантах осуществления настоящей технологии, до создания соответствующей оценки полезности для данного ненативного элемента, расположенного в соответствующей визуальной позиции, сервер 230 может быть выполнен с возможностью определять, является ли данный ненативный элемент частью визуальной группы ненативных элементов.

[156] В широком смысле, сервер 230 может быть возможностью идентифицировать данную визуальную группу ненативных элементов, если данный ненативный элемент является соседним горизонтально-структурированным или соседним вертикально-структурированным по отношению к любому другому ненативному элементу.

[157] Например, сервер 230 может быть выполнен с возможностью идентифицировать визуальную группу ненативных элементов 610, которые включает в себя два соседних горизонтально-структурированных ненативных элемента, а именно ненативные элементы 504 и 505. Подразумевается, что сервер 230 может быть выполнен с возможностью идентифицировать данную визуальную группу ненативных элементов, когда N ненативных элементов являются соседними горизонтально-структурированными друг за другом, и где N - является целым числом больше единицы (1).

[158] В другом примере, сервер 230 может быть выполнен с возможностью идентифицировать визуальную группу ненативных элементов 612, которые включает в себя два соседних вертикально-структурированных ненативных элемента, а именно ненативные элементы 518 и 524. Подразумевается, что сервер 230 может быть выполнен с возможностью идентифицировать данную визуальную группу ненативных элементов, когда N ненативных элементов являются соседними вертикально-структурированными друг за другом, и где N - является целым числом больше единицы (1).

[159] То, как оценки полезности для ненативных элементов, которые находятся в визуальных группах ненативных элементов, создаются сервером 230, будет описано далее в отношении ко двум примерам, по одному из каждой из визуальных групп ненативных элементов 610 и 612.

Оценки полезности ненативных элементов 504 и 505 в визуальной группе ненативных элементов 610

[160] Как упоминалось ранее, визуальная группа ненативных элементов 610 включает в себя по меньшей мере два соседних горизонтально-структурированных ненативных элемента, а именно ненативные элементы 504 и 505.

[161] Создание оценки полезности для ненативного элемента 504, расположенного на своей соответствующей визуальной позиции, и который находится в визуальной группе ненативных элементов 610, будет описано далее.

[162] В настоящем примере, при создании оценки полезности для ненативного элемента 504, сервер 230 может быть выполнен с возможностью анализировать (i) пользовательские взаимодействия, связанные с каждым из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов в визуальной группе ненативных элементов 610, а именно - пользовательские взаимодействия, связанные с ненативными элементами 504 и 505, (ii) пользовательские взаимодействия, связанные с N следующих соседних горизонтально-структурированных элементов после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов из визуальной группы ненативных элементов 610 (где N - равно числу элементов среди по меньшей мере двух соседних горизонтально-структурированных ненативных элементов из визуальной группы ненативных элементов 610), и (iii) пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов из визуальной группы ненативных элементов 610 для (а) определения как положительных, так и отрицательных пользовательских взаимодействий, связанных с ненативным элементом 504 и, в свою очередь, для того чтобы (b) создать соответствующую оценку полезности для ненативного элемента 504, расположенного на его соответствующей визуальной позиции.

[163] Во время анализа пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов в визуальной группе ненативных элементов 610, а именно - пользовательских взаимодействий, связанных с ненативными элементами 504 и 505, сервер 230 может быть выполнен с возможностью проверить, взаимодействовал ли пользователь 211 с (или, в данном случае, кликнул) ненативными элементами 504 и 505.

[164] В результате анализа пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов в визуальной группе ненативных элементов 610, и учитывая пользовательские взаимодействия, выполняемые пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 взаимодействовал с ненативным элементом 504, но не взаимодействовал с ненативным элементом 505 и, следовательно, ненативный элемент 504 связан с одним положительным пользовательским взаимодействием.

[165] Во время анализа пользовательских взаимодействий с N соседних следующих горизонтально-структурированных элементов после по меньшей мере двух следующих горизонтально-структурированных ненативных элементов из визуальной группы ненативных элементов 610 (где N - равно числу элементов среди по меньшей мере двух следующих горизонтально-структурированных ненативных элементов из визуальной группы ненативных элементов 610), в данном случае сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с двумя соседними следующими горизонтально-структурированными элементами, расположенными сразу после двух соседних горизонтально-структурированных ненативных элементов (ненативных элементов 514 и 505). Следовательно, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с нативными элементами 506 и 507. Таким образом, сервер 230 может быть выполнен с возможностью проверять, взаимодействовал ли пользователь 211 (или, в данном случае, кликал) с нативными элементами 506 и 507.

[166] В результате, и с учетом пользовательских взаимодействий, выполняемых пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 взаимодействовал с нативным элементом 506, но и не взаимодействовал с нативным элементом 507, и, следовательно, ненативный элемент 504 связан с одним отрицательным пользовательским взаимодействием, которое выполнялось на N (в данном случае, двух) соседних следующих горизонтально-структурированных элементах (в данном случае, нативных элементах 506 и 507) после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов (в данном случае, ненативных элементов 504 и 505) из визуальной группы ненативных элементов 610.

[167] Во время анализа пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после по меньшей мере двух соседних горизонтально-структурированных ненативных элемента из визуальной группы ненативных элементов 610, сервер 230 может быть выполнен с возможностью определять зону 606 вертикальной близости для визуальной группы ненативных элементов 610.

[168] В этом случае, зона 606 вертикальной близости для визуальной группы ненативных элементов 610 определяется (i) во втором ряду из множества вертикально-структурированных рядов 540, расположенном сразу под первом рядом из множества вертикально-структурированных рядов 540, который является текущим рядом по меньшей мере двух соседних горизонтально-структурированных ненативных элементов (ненативных элементов 504 и 505), и (ii) между горизонтальных границ визуальной группы ненативных элементов 610. Подразумевается, что горизонтальные границы визуальной группы ненативных элементов 610 являются наиболее дальними горизонтальными границами из всех горизонтальных границ по меньшей мере двух соседних горизонтально-структурированных ненативных элементов из визуальной группы ненативных элементов 610.

[169] Также, после определения зоны 606 вертикальной близости для визуальной группы ненативных элементов 610 и во время анализа пользовательских взаимодействий с элементами, которые вертикально-структурированы после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов из визуальной группы ненативных элементов 610, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с элементами, которые по меньшей мере частично перекрываются зоной 606 вертикальной близости визуальной группы ненативных элементов 610. В этом случае, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с любым элементом, расположенном во втором ряду (т.е. следующий ряд по отношению к текущему ряду ненативных элементов 504 и 505), и которые частично перекрываются зоной 606 вертикальной близости. В этом случае, два элемента по меньшей мере частично перекрываются зоной 606 вертикальной близости, а именно нативные элементы 511 и 512. Таким образом, сервер 230 может быть выполнен с возможностью проверять, взаимодействовал ли пользователь 211 с нативными элементами 511 и 512.

[170] В результате, и с учетом пользовательских взаимодействий, выполняемых пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 взаимодействовал с нативным элементом 511 и не взаимодействовал с нативным элементом 512, и, следовательно, ненативный элемент 504 связан с одним отрицательным пользовательским взаимодействием, которое выполнялось на данном элементе, который вертикально-структурирован после по меньшей мере двух соседних горизонтально-структурированных элементов (в данном случае, нативный элемент 511) из визуальной группы ненативных элементов 610.

[171] Далее, когда сервер 230 определил как положительные, так и отрицательные пользовательские взаимодействия, связанные с ненативным элементом 509, сервер 230 выполнена с возможностью создавать соответствующую оценку полезности для ненативного элемента 509, расположенного на соответствующей визуальной позицией. Сервер 230 может применять Уравнение 1 для создания оценки полезности, используя значение "1" для выигрыша, поскольку ненативный элемент 504 связан с одним положительным пользовательским взаимодействием, и значение "2" для проигрыша, поскольку ненативный элемент 504 связан с двумя отрицательными пользовательскими взаимодействиями.

[172] Создание оценки полезности для ненативного элемента 505, расположенного на своей соответствующей визуальной позиции, и который находится в визуальной группе ненативных элементов 610, будет описано далее.

[173] В настоящем примере, при создании оценки полезности для ненативного элемента 505, сервер 230 может быть выполнен с возможностью анализировать (i) пользовательские взаимодействия, связанные с каждым из по меньшей мере двух ненативных элементов в визуальной группе ненативных элементов 610, а именно - пользовательские взаимодействия, связанные с ненативными элементами 504 и 505, (ii) пользовательские взаимодействия, связанные с N следующих соседних горизонтально-структурированных элементов после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов из визуальной группы ненативных элементов 610 (где N - равно числу элементов среди по меньшей мере двух соседних горизонтально-структурированных ненативных элементов из визуальной группы ненативных элементов 610), и (iii) пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов из визуальной группы ненативных элементов 610 для (а) определения как положительных, так и отрицательных пользовательских взаимодействий, связанных с ненативным элементом 505 и, в свою очередь, для того чтобы (b) создать соответствующую оценку полезности для ненативного элемента 505, расположенного на его соответствующей визуальной позиции.

[174] Следует иметь в виду, что пользовательские взаимодействия, которые анализируются во время создания оценки пользователя для ненативного элемента 504, расположенного на его соответствующей визуальной позиции, являются идентичными пользовательским взаимодействиям, которые анализируются во время создания оценки полезности для ненативного элемента 505, расположенного на его соответствующей визуальной позиции. В самом деле, поскольку оба ненативных элемента 504 и 505 находятся в визуальной группе ненативных элементов 610, ненативные элементы 504 и 505 будут оба связаны с идентичной оценкой полезности, но эта идентичная оценка полезности будет связана с (i) ненативным элементом 504, расположенным на визуальной позиции ненативного элемента 504 и (ii) ненативным элементом 505, расположенным на визуальной позиции ненативного элемента 505.

[175] Другими словами, подразумевается, что все ненативные элементы в данной визуальной группе ненативных элементов могут быть связаны с идентичной оценкой полезности, но оценка полезности будет связана с каждым из этих ненативных элементов, находящихся на их соответствующих визуальных позициях.

Оценки полезности ненативных элементов 518 и 524 в визуальной группе ненативных элементов 612

[176] Как упоминалось ранее, визуальная группа ненативных элементов 612 включает в себя по меньшей мере два соседних вертикально-структурированных ненативных элемента, расположенных в непосредственно соседних рядах, а именно ненативные элементы 518 и 524 в непосредственно соседних третьем и четвертом рядах.

[177] Создание оценки полезности для ненативного элемента 518, расположенного на своей соответствующей визуальной позиции, и который находится в визуальной группе ненативных элементов 612, будет описано далее.

[178] В настоящем примере, при создании оценки полезности для ненативного элемента 518, сервер 230 может быть выполнен с возможностью анализировать (i) пользовательские взаимодействия, связанные с каждым из по меньшей мере двух соседних вертикально-структурированных ненативных элементов в визуальной группе ненативных элементов 612, а именно - пользовательские взаимодействия, связанные с ненативными элементами 518 и 524, (ii) пользовательские взаимодействия, связанные с соседними следующими горизонтально-структурированными элементами, расположенными сразу после по меньшей мере двух соседних вертикально-структурированных ненативных элементов из визуальной группы ненативных элементов 610, и (iii) пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после по меньшей мере двух соседних вертикально-структурированных ненативных элементов из визуальной группы ненативных элементов 612 для (а) определения как положительных, так и отрицательных пользовательских взаимодействий, связанных с ненативным элементом 518 и, в свою очередь, для того чтобы (b) создать соответствующую оценку полезности для ненативного элемента 518, расположенного на его соответствующей визуальной позиции.

[179] Во время анализа пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних вертикально-структурированных ненативных элементов в визуальной группе ненативных элементов 612, а именно - пользовательские взаимодействия, связанные с ненативными элементами 518 и 524, сервер 230 может быть выполнен с возможностью проверить, взаимодействовал ли пользователь 211 с (или, в данном случае, кликнул) ненативными элементами 518 и 524.

[180] В результате анализа пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних вертикально-структурированных ненативных элементов в визуальной группе ненативных элементов 612, и учитывая пользовательские взаимодействия, выполняемые пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 взаимодействовал с ненативным элементом 518, но не взаимодействовал с ненативным элементом 524 и, следовательно, ненативный элемент 518 связан с одним положительным пользовательским взаимодействием.

[181] Во время анализа пользовательских взаимодействий, связанных с соседними следующими горизонтально-структурированными элементами, расположенными сразу после по меньшей мере двух следующих вертикально-структурированных ненативных элементов из визуальной группы ненативных элементов 612, в данном случае, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с ненативными элементами 519 и 525. Таким образом, сервер 230 может быть выполнен с возможностью проверять, взаимодействовал ли пользователь 211 (или, в данном случае, кликал) с нативными элементами 519 и 525.

[182] В результате, и с учетом пользовательских взаимодействий, выполняемых пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 взаимодействовал с нативным элементом 525, но и не взаимодействовал с нативным элементом 519, и, следовательно, ненативный элемент 518 связан с одним отрицательным пользовательским взаимодействием, которое выполнялось на соседних следующих горизонтально-структурированных элементах (в данном случае, нативных элементах 519 и 525), расположенных сразу после по меньшей мере двух соседних вертикально-структурированных ненативных элементов (в данном случае, ненативных элементов 518 и 524) из визуальной группы ненативных элементов 612.

[183] Во время анализа пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после по меньшей мере двух соседних вертикально-структурированных ненативных элемента из визуальной группы ненативных элементов 612, сервер 230 может быть выполнен с возможностью определять зону 608 вертикальной близости для визуальной группы ненативных элементов 612.

[184] В данном случае, зона 608 вертикальной близости для визуальной группы ненативных элементов 612 определяется (i) в N следующих рядах, расположенных сразу под нижним рядом непосредственно соседних рядом по меньшей мере двух соседних вертикально-организованных ненативных элементов (где N - равно числу элементов среди по меньшей мере двух соседних вертикально-структурированных ненативных элементов) и (ii) между горизонтальными границами из визуальной группы ненативных элементов 612. Другими словами, зона 608 вертикальной близости для визуальной группы ненативных элементов 612 определяется в (i) двух последующих рядах, расположенных непосредственно под четвертым рядом (самый нижний ряд непосредственно соседних рядов из по меньшей мере двух соседних вертикально-структурированных ненативных элементов), а именно - пятый и шестой ряд, и (ii) между наиболее дальними горизонтальными границами среди всех горизонтальных границ по меньшей мер двух соседних вертикально-структурированных ненативных элементов из визуальной группы ненативных элементов 612.

[185] Также, после определения зоны 608 вертикальной близости для визуальной группы ненативных элементов 612 и во время анализа пользовательских взаимодействий с элементами, которые вертикально-структурированы после по меньшей мере двух соседних вертикально-структурированных ненативных элементов из визуальной группы ненативных элементов 612, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с элементами, которые по меньшей мере частично перекрываются зоной 608 вертикальной близости визуальной группы ненативных элементов 612. В этом случае, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные с любым элементом, расположенном в пятом и шестом рядах (т.е. два следующих ряда после самого нижнего ряда ненативных элементов 518 и 524), и которые частично перекрываются зоной 608 вертикальной близости. В этом случае, три элемента по меньшей мере частично перекрываются зоной 608 вертикальной близости, а именно нативные элементы 530, 535 и 536. Таким образом, сервер 230 может быть выполнен с возможностью проверять, взаимодействовал ли пользователь 211 с нативными элементами 530, 535 и 536.

[186] В результате, и с учетом пользовательских взаимодействий, выполняемых пользователем 211 на обучающей SERP 500, сервер 230 определяет, что пользователь 211 взаимодействовал с нативным элементом 536 и не взаимодействовал ни с одним из нативных элементов 530 и 535, и, следовательно, ненативный элемент 518 связан с одним отрицательным пользовательским взаимодействием, которое выполнялось на элементах, которые вертикально-структурированы после по меньшей мере двух соседних вертикально-структурированных элементов из визуальной группы ненативных элементов 612.

[187] Далее, когда сервер 230 определил как положительные, так и отрицательные пользовательские взаимодействия, связанные с ненативным элементом 518, сервер 230 выполнена с возможностью создавать соответствующую оценку полезности для ненативного элемента 518, расположенного на соответствующей визуальной позицией. Сервер 230 может применять Уравнение 1 для создания оценки полезности, используя значение "1" для выигрыша, поскольку ненативный элемент 518 связан с одним положительным пользовательским взаимодействием, и значение "2" для проигрыша, поскольку ненативный элемент 518 связан с двумя отрицательными пользовательскими взаимодействиями.

[188] В альтернативном варианте осуществления технологии, сервер 230 может использовать взвешенные значения отрицательных пользовательских взаимодействий для определения данного значения для проигрыша. Другими словами, сервер 230 может быть выполнен с возможностью оценивать значение данных отрицательных пользовательских взаимодействий на основе расстояния между данной визуальной группой элементов и элементов, на котором выполняется отрицательное взаимодействие. Например, отрицательное пользовательское взаимодействие было выполнено на нативном элементе 525, может быть связано с весовым коэффициентом "1", поскольку нативный элемент 525 является первым следующим горизонтальным элементом (горизонтально соседним) для визуальной группы ненативных элементов 612, а отрицательное пользовательское взаимодействие, которое было выполнено с нативным элементом 536, может быть связано с весовым коэффициентом "1/2", поскольку нативный элемент 536 является вторым вертикальным следующим элементом для визуальной группы ненативных элементов 612. Следовательно, в этом альтернативном варианте осуществления технологии, сервер 230 может использовать значение "1.5" для проигрыша (например, 1*1 для пользовательского взаимодействия с нативным элементом 525 и 1*1/2 для пользовательского взаимодействия с нативным элементом 536).

[189] Создание оценки полезности для ненативного элемента 524, расположенного на своей соответствующей визуальной позиции, и который находится в визуальной группе ненативных элементов 612, будет описано далее.

[190] В настоящем примере, при создании оценки полезности для ненативного элемента 524, сервер 230 может быть выполнен с возможностью анализировать (i) пользовательские взаимодействия, связанные с каждым из по меньшей мере двух соседних вертикально-структурированных ненативных элементов в визуальной группе ненативных элементов 612, а именно - пользовательские взаимодействия, связанные с ненативными элементами 518 и 524, (ii) пользовательские взаимодействия, связанные с соседними горизонтально-структурированными элементами, расположенными сразу после по меньшей мере двух соседних вертикально-структурированных ненативных элементов из визуальной группы ненативных элементов 610, и (iii) пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после по меньшей мере двух соседних вертикально-структурированных ненативных элементов из визуальной группы ненативных элементов 612 для (а) определения как положительных, так и отрицательных пользовательских взаимодействий, связанных с ненативным элементом 524 и, в свою очередь, для того чтобы (b) создать соответствующую оценку полезности для ненативного элемента 524, расположенного на его соответствующей визуальной позиции.

[191] Следует иметь в виду, что пользовательские взаимодействия, которые анализируются во время создания оценки пользователя для ненативного элемента 518, расположенного на его соответствующей визуальной позиции, являются идентичными пользовательским взаимодействиям, которые анализируются во время создания оценки полезности для ненативного элемента 524, расположенного на его соответствующей визуальной позиции. В самом деле, поскольку оба ненативных элемента 518 и 524 находятся в визуальной группе ненативных элементов 612, ненативные элементы 518 и 524 будут оба связаны с идентичной оценкой полезности, но эта идентичная оценка полезности будет связана с ненативным элементом 518, расположенным на визуальной позиции ненативного элемента 518 и, будет связана с ненативным элементом 524, расположенным на визуальной позиции ненативного элемента 524.

[192] Подразумевается, что в некоторых вариантах осуществления настоящей технологии, сервер 230 может быть выполнен с возможностью создавать данную оценку полезности для данного ненативного элемента, который находится в данной группе ненативного элемента для его соответствующей визуальной позиции и, далее, вместо создания данной оценки полезности для другого данного ненативного элемента, который находится в той же данной визуальной группе ненативного элемента для его соответствующей визуальной позиции, сервер 230 может быть выполнен с возможностью назначать ту же данную оценку полезности, что была создана для данного ненативного элемента другому данного ненативному элементу, но для соответствующей позиции другого данного ненативного элемента.

[193] В дополнительных вариантах осуществления технологии, данные ненативные элементы в данной визуальной группе ненативных элементов, могут быть связаны с другими оценками полезности. Другими словами, подразумевается, что каждый ненативный элемент в визуальной группе ненативных элементов может быть связан с другими положительными пользовательскими взаимодействиями. Например, положительные пользовательские взаимодействия, связанные с данным ненативным элементов в визуальной группе ненативных элементов, могут быть определены на основе анализа пользовательских взаимодействий, связанных только с данным ненативным элементом в визуальной группе ненативных элементов, а не основаны на анализе пользовательских взаимодействий, связанных с каждым из ненативных элементов в визуальной группе ненативных элементов.

[194] Также подразумевается, что каждый ненативный элемент в визуальной группе ненативных элементов может быть связан с другими отрицательными пользовательскими взаимодействиями. Например, для данного ненативного элемента в данной визуальной группе ненативных элементов, во время анализа пользовательских взаимодействий, связанных с соседними следующими горизонтально-структурированными элементами, расположенными непосредственно после ненативных элементов данной визуальной группы ненативных элементов, сервер 230 может быть выполнен с возможностью анализировать пользовательские взаимодействия, связанные только с соседними следующими горизонтально-структурированными элементами, расположенными непосредственно после данного ненативного элемента вместо анализа пользовательских взаимодействий, связанных с соседними следующими горизонтально-структурированными элементами, расположенными непосредственно после каждого ненативного элемента из данной визуальной группы ненативных элементов.

[195] Во время фазы обучения системы 250 ранжирования, после создания соответствующей оценки для каждого из множества ненативных элементов 410 (см. Фиг. 4), расположенных на их соответствующих визуальных позициях, сервер 230 выполнен с возможностью обучать алгоритм 304 прогнозирования оценки полезности (см. Фиг. 3) прогнозированию соответствующей оценки полезности для данного используемого ненативного элемента для соответствующей ранжированной позиции в данном ранжированном списке используемых элементов в ответ на данный используемый запрос. То, как именно сервер 230 обучает алгоритм 304 прогнозирования оценки полезности, будет описано далее.

[196] Во время первой итерации обучения алгоритма 304 прогнозирования оценки полезности, который является MLA, сервер 230 может быть выполнен с возможностью вводить в алгоритм 304 прогнозирования оценки полезности (i) ранжированный список элементов 420, (ii) факторы обучающей SERP 500 и (iii) соответствующую оценку полезности каждого из множества ненативных элементов 410 в ранжированном списке элементов 420. Можно утверждать, что алгоритм 304 прогнозирования оценки полезности изучает, в некотором смысле, скрытые взаимоотношения и шаблоны данных среди (i) ранжированного списка элементов 420, (ii) факторов обучающей SERP 500 и (iii) соответствующей оценки полезности каждого из множества ненативных элементов 410 для поиска логических шаблонов между оценками полезности каждого из множества ненативных элементов 410 и их соответствующих оценок полезности каждого из множества ненативных элементов 410 и их соответствующих ранжированных позиций в ранжированном списке элементов 420 с учетом факторов обучающей SERP 500 и, следовательно, с учетом их соответствующих визуальных позиций на обучающей SERP 500.

[197] После того как было произведено большое количество обучающих итераций, аналогичных первой обучающей итерации, но с другим ранжированным списком элементов, другой обучающей SERP, и, следовательно, другими факторами SERP и другими оценками полезности для других ненативных элементов, алгоритм 304 прогнозирования оценки полезности способен выводить (прогнозировать) на основе (i) данных факторов SERP данной SERP и (ii) данного ранжированного списка нативных элементов, соответствующую оценку полезности для данного ненативного элемента для каждой возможной ранжированной позиции данного ненативного элемента, если данный ненативный элемент будет искусственно внедрен в данный ранжированный список нативных элементов на каждую возможную ранжированную позицию, и далее отображен на данной SERP, связанной с данными факторами SERP.

[198] После завершения фазы обучения системы 250 ранжирования, за время которой алгоритм 304 прогнозирования оценки полезности был обучен прогнозировать соответствующую оценку полезности для данного используемого ненативного элемента для соответствующей ранжированной позиции в данном ранжированном списке используемых элементов в ответ на данный используемый запрос, может начинаться фаза использования системы 250 ранжирования.

[199] Во время фазы использования системы 250 ранжирования, сервер 250 ранжирования может быть выполнен с возможностью получать подаваемый пакет 282 данных через сеть 240 передачи данных. Подаваемый пакет 282 данных может передаваться, например, через электронное устройство 212, связанное с пользователем 213. Подаваемый пакет 282 данных может содержать информацию, указывающую на используемый запрос, введенный пользователем 213 в поисковую систему сервера 230. Кроме того, подаваемый пакет 282 данных может включать в себя информацию, указывающую по меньшей мере на некоторые SERP-центричные факторы, связанные с используемой SERP, как если бы используемая SERP визуально отображалась в браузерном приложении электронного устройства 212. Например, подаваемый пакет 282 данных может включать в себя информацию, указывающую на размер окна браузерного приложения электронного устройства 212, на котором пользователь 213 желает просмотреть используемую SERP.

[200] После получения подаваемого пакета 282 данных, сервер 230 может анализировать содержимое подаваемого пакета 282 данных и может идентифицировать факторы запроса, связанные с используемым запросом, введенным пользователем 213. Сервер 230 может далее выбирать обще-релевантные элементы из базы 260 данных в ответ на используемый запрос, аналогично тому, как сервер 230 выбирает обще-релевантные элементы из базы 260 данных в ответ на запрос, введенный пользователем 211.

[201] Предположим, что обще-релевантные элементы, выбранные сервером 230 из базы 260 данных, в ответ на используемый запрос, содержит множество используемых нативных элементов и используемый ненативный элемент. Сервер 230 может быть выполнен с возможностью идентифицировать информацию, указывающую по меньшей мере на некоторые SERP-центричные характеристики, основанные на множестве используемых нативных элементов и используемом ненативном элементе. Например, сервер 230 может получать соответствующие размеры элементов для каждого используемого элемента среди множества используемых нативных элементов и используемого ненативного элемента.

[202] Таким образом, сервер 230 может вводить множество используемых нативных элементов, их соответствующие связанные предыдущие пользовательские взаимодействия и используемый запрос в алгоритм 302 ранжирования на основе пользовательских взаимодействий системы 250 ранжирования. В результате, алгоритм 302 ранжирования на основе пользовательских взаимодействий может создавать ранжированный список используемых нативных элементов в ответ на используемый запрос, введенный запросом 213.

[203] Сервер 230 далее выполнен с возможностью определять оптимальную ранжированную позицию используемого ненативного элемента в ранжированном списке используемых элементов, который будет отображен пользователю 213. Для того чтобы определить оптимальную ранжированную позицию используемого ненативного элемента в ранжированном списке используемых элементов, сервер 230 выполнен с возможностью вводить в уже обученный алгоритм 304 прогнозирования оценки полезности системы 250 ранжирования (i) ранжированный список используемых нативных элементов, созданный алгоритм 302 ранжирования на основе пользовательских взаимодействий и (ii) факторы используемой SERP.

[204] В результате, алгоритм 304 прогнозирования оценки полезности будет выводить (прогнозировать) соответствующую оценку полезности для используемого ненативного элемента для каждой возможной ранжированной позиции используемого ненативного элемента в ранжированном списке используемых элементов, если используемый ненативный элемент будет искусственно внедрен на эту ранжированную позицию и далее отображен пользователю 213 на используемой SERP в окне браузерного приложения электронного устройства 212.

[205] Сервер 230 может далее сравнивать все оценки полезности, прогнозированные для используемого ненативного элемента, и быть выполнен с возможностью идентифицировать наибольшую оценку полезности, прогнозированную для используемого ненативного элемента. Таким образом, сервер 230 определяет, что оптимальная ранжированная позиция используемого ненативного элемента в ранжированном списке используемых элементов является ранжированной позицией, связанной с наибольшей оценкой полезности, прогнозированной для используемого ненативного элемента.

[206] Сервер 230 также выполнен с возможностью осуществлять внедрение используемого ненативного элемента в ранжированном списке используемых нативных элементов на оптимальной ранжированной позиции, формирование тем самым ранжированного списка используемых элементов. Сервер 230 также выполнен с возможностью инициировать визуальное отображение используемых элементов из ранжированного списка используемых элементов на используемой SERP пользователю 213 электронного устройства 212. С этой целью, сервер 230 выполнен с возможностью создавать ответный пакет 292 данных, содержащий информацию, указывающую на ранжированный список используемых элементов и инициирующую информацию. Сервер 230 может ответный передавать пакет 292 данных запроса электронному устройству 212 через сеть 240 передачи данных. Ответный пакет 292 данных включает в себя инициирующую информацию, которая инициирует браузерное приложение отобразить пользователю 211 с помощью дисплея 150 электронного устройства 212 используемую SERP.

[207] На Фиг. 7 представлена блок-схема способа 700 определения ранжированных позиций ненативных элементов с помощью системы 250 ранжирования. Система 250 ранжирования была обучена ранжировать данные нативные элементы на основе предыдущих пользовательских взаимодействий, связанных с этими нативными элементами, и данные ненативные элементы связаны с ограниченными предыдущими пользовательскими взаимодействиями и, следовательно, не ранжируются системой 250 ранжирования. Способ 700 выполняется сервером 230 и включает в себя фазу обучения системы 250 ранжирования и фазы использования системы 250 ранжирования. Способ 700 будет подробно описан ниже.

ЭТАП 702: получение указания на пользовательские взаимодействия, связанные с ранжированным списком элементов

[208] Способ 700 начинается на этапе 702 во время фазы обучения системы 250 ранжирования, где сервер 230 получает указание на пользовательские взаимодействия, связанные с ранжированным списком элементов 420 (см. Фиг. 4).

[209] В некоторых вариантах осуществления технологии, пользовательские взаимодействия включают в себя по меньшей мере одно из:

- выбор данного элемента;

- долгий выбор данного элемента;

- выбор данного элемента и дальнейший переход на веб-ресурс; и

- наведение на данный элемент.

[210] Элементы ранжированного списка элементов 420 визуально отображались на обучающей SERP 500 (см. Фиг 5) пользователю 211 электронного устройства 210 в ответ на запрос "Взрыв в метро", который был получен от электронного устройства 210. Как уже ранее упоминалось, информация, которая указывает на запрос, введенный пользователем 211, может быть получена сервером 230 в подаваемом пакете 280 данных через сеть 240 передачи данных.

[211] В некоторых вариантах осуществления настоящей технологии, элементы в ранжированном списке элементе 420 могут представлять собой одно из: элемент типа изображение и элемент типа видеозапись.

[212] Ранжированный список элементов 420 включает в себя нативные элементы 501, 502, 503, 506, 507, 508, 510, 511, 512, 513, 514, 515, 516, 517, 519, 520, 521, 523, 525, 526, 527, 528, 529, 530, 531, 532, 533, 534, 535 и 536 и по меньшей мере один ненативный элемент. В этом случае, по меньшей мере один ненативный элемент соответствует ненативным элементам 504, 505, 509, 518, 522 и 524. Нативные элементы 501, 502, 503, 506, 507, 508, 510, 511, 512, 513, 514, 515, 516, 517, 519, 520, 521, 523, 525, 526, 527, 528, 529, 530, 531, 532, 533, 534, 535 и 536 были ранжированы системой 250 ранжирования с помощью алгоритма 302 ранжирования на основе пользовательских взаимодействий (см. Фиг. 3) в ранжированный список нативных элементов 400.

[213] В некоторых вариантах осуществления технологии, на сервере 230 может быть размещен исполняемый на компьютере сервис, например, поисковая система и система 250 ранжирования выполняется исполняемым на компьютере сервисом. Нативные элементы 501, 502, 503, 506, 507, 508, 510, 511, 512, 513, 514, 515, 516, 517, 519, 520, 521, 523, 525, 526, 527, 528, 529, 530, 531, 532, 533, 534, 535 и 536 могут представлять собой элементы, которые часто использовались пользователями исполняемого на компьютере сервиса, а ненативные элементы 504, 505, 509, 518, 522 и 524 являются новыми элементами, которые были недостаточно использованы пользователями исполняемого на компьютере сервиса и, следовательно, не ранжируются с помощью алгоритма 302 ранжирования на основе пользовательских взаимодействий (алгоритма нативного ранжирования) системы 250 ранжирования.

[214] По меньшей мере один ненативный элемент был искусственным образом внедрен в ранжированный список нативных элементов 400 в искусственно-выбранную позицию, тем самым формируя ранжированный список элементов 420. Искусственное внедрение может выполняться как часть процедуры искусственного объединения, выполняемой системой 250 ранжирования.

[215] В некоторых вариантах осуществления настоящей технологии, по меньшей мере один ненативный элемент может представлять собой по меньшей мере один ненативный элемент, внедренный в ранжированный список нативных элементов случайным образом 400. В других вариантах осуществления настоящей технологии, по меньшей мере один ненативный элемент может представлять собой по меньшей мере один ненативный элемент, внедренный в ранжированный список нативных элементов случайным образом 400 в соответствии с заранее определенным шаблоном внедрения.

[216] Каждый элемент в ранжированном списке элементов 420 связан с соответствующей визуальной позицией на обучающей SERP 500 таким образом, что нативные элементы 501, 502, 503, 506, 507, 508, 510, 511, 512, 513, 514, 515, 516, 517, 519, 520, 521, 523, 525, 526, 527, 528, 529, 530, 531, 532, 533, 534, 535 и 536 и по меньшей мере один ненативный элемент структурированы в визуальную 2D структуру 555, обладающую множеством вертикально-структурированных рядов 540. Визуальная позиция данного элемента основана на (i) ранжированном списке элементов 420 и (ii) факторах обучающей SERP 500. Каждый ряд визуальной 2D структуры 555 содержит по меньшей мере два горизонтально-структурированных элемента из ранжированного списка элементов 420.

[217] В общем случае, факторы данной SERP могут включать в себя:

- факторы запроса, связанные с соответствующим запросом;

- размер окна браузерного приложения, отображающего данную SERP; и

- размер визуального элемента каждого элемента в соответствии с ранжированным списком элементов.

[218] В некоторых вариантах осуществления технологии, факторы данного запроса могут содержать частоту передач данного запроса на сервер 230 при выполнения поиска за последнее время. По меньшей мере некоторые факторы запроса могут храниться в базе 260 данных вместе с информацией, указывающей на все элементы, которые могут потенциально представлены данному пользователю как часть выполнения поиска.

[219] В некоторых вариантах осуществления настоящей технологии, факторы обучающей SERP 500 включают в себя SERP-центричные факторы обучающей SERP 500 и факторы обучающего запроса, введенного пользователем 211 электронного устройства 210.

ЭТАП 704: создание сервером соответствующей оценки полезности для каждого из по меньшей мере одного ненативного элемента, расположенного на соответствующей визуальной позиции

[220] Способ 700 продолжается на этапе 704, во время фазы обучения системы 250 ранжирования, где сервер 230 создает соответствующую оценку полезности для каждого из по меньшей мере одного ненативного элемента, расположенного на соответствующей визуальной позиции.

[221] В широком смысле, во время создания соответствующей оценки полезности для данного ненативного элемента, расположенного на соответствующей визуальной позиции, сервер 230 выполнен с возможностью (i) анализировать пользовательские взаимодействия, связанные с данным ненативным элементом; (ii) анализировать пользовательские взаимодействия с элементами, которые горизонтально-структурированы после данного ненативного элемента; и (iii) анализировать пользовательские взаимодействия, связанные с элементами, которые вертикально-структурированы после данного ненативного элемента.

[222] Настоящая технология основывается на предположении о том, что пользовательские взаимодействия с данным ненативным элементом на соответствующей визуальной позиции означают, что данный ненативный элемент был подходящим образом визуально расположен на обучающей SERP 500. Следовательно, пользовательские взаимодействия, связанные с данным ненативным элементом, считаются указывающими на положительные пользовательские взаимодействия с данным ненативным элементов.

[223] Настоящая технология также основывается на предположении о том, что пользовательские взаимодействия с элементами, которые горизонтально-структурированы после данного ненативного элемента, и/или с элементами, которые вертикально-структурированы после данного ненативного элемента, означают, что данный ненативный элемент не был подходящим образом визуально расположен на обучающей SERP 500. Следовательно, пользовательские взаимодействия, связанные с элементами, которые горизонтально-структурированы после данного ненативного элемента, и/или с элементами, которые вертикально-структурированы после данного ненативного элемента, считаются указывающими на отрицательные пользовательские взаимодействия с данным ненативным элементом.

[224] Сервер 230 может быть выполнен с возможностью создавать соответствующую оценку полезности для данного ненативного элемента, который расположен на данной визуальной позиции в соответствии с функцией профицита, которая учитывает как положительные, так и отрицательные пользовательские взаимодействия с данным ненативным элементом, таким как:

[225] где выигрыш (win) определяется соответствующими положительными пользовательскими взаимодействиями, а проигрыш (loss) определяется соответствующими отрицательными пользовательскими взаимодействиями. Следует отметить, что весовой коэффициент b может обладать обратным знаком по сравнению с весовым коэффициентом а.

[226] Следовательно, в некоторых вариантами осуществления настоящей технологии, сервер 230 может создавать соответствующую оценку полезности для данного ненативного элемента, расположенного в данной визуальной позиции на основе взвешенной суммы соответствующих положительных пользовательских взаимодействий и соответствующих негативных пользовательских взаимодействий.

[227] В некоторых вариантах осуществления настоящей технологии, анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, может включать в себя анализ сервером 230 пользовательских взаимодействий, связанных со следующих горизонтально-структурированным элементом, находящимся сразу после данного ненативного элемента из по меньшей мере одного ненативного элемента.

[228] Также подразумевается, что анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя определение сервером 230 зоны вертикальной близости для данного ненативного элемента из по меньшей мере одного ненативного элемента на основе факторов SERP. Например, сервер 230 выполнен с возможностью создавать зону 604 вертикальной близости (см. Фиг. 6) для ненативного элемента 522 на основе факторов обучающей SERP 500. Таким образом, сервер 230 может анализировать пользовательские взаимодействия, связанные с элементами, которые по меньшей мере частично перекрываются зоной 604 вертикальной близости, а именно пользовательские взаимодействия, связанные с нативными элементами 528 и 529.

[229] Данная зона вертикальной близости определяется (i) в следующем ряду, расположенному сразу под текущим рядом данного ненативного элемента из по меньшей мере одного ненативного элемента; и (ii) между горизонтальными границами данного ненативного элемента из по меньшей мере одного ненативного элемента.

[230] В некоторых вариантах осуществления настоящей технологии, анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, может включать в себя анализ сервером 230 пользовательских взаимодействий, связанных с любым элементом, расположенным в следующем ряду и по меньшей мере частично перекрытым данной зоной вертикальной близости. Опять же, в примере с зоной 604 вертикальной близости ненативного элемента 522, элементы, которые расположены в следующем рядом и которые по меньшей мере частично перекрываются зоной 604 вертикальной близости, являются нативными элементами 528 и 529.

[231] В других вариантах осуществления настоящей технологии, по меньшей мере один ненативный элемент может включать в себя данную визуальную группу ненативных элементов. Например, визуальная группа ненативных элементов 610 может включать в себя по меньшей мере два соседних горизонтально-структурированных ненативных элемента, например, ненативные элементы 504 и 505. В качестве другого примера, визуальная группа ненативных элементов 610 может включать в себя по меньшей мере два соседних вертикально-структурированных ненативных элемента, расположенных в непосредственно соседних рядах, например, ненативные элементы 504 и 505.

[232] Если данный ненативный элемент находится в данной визуальной группе ненативных элементов, обладающей по меньшей мере двумя соседними горизонтально-структурированными ненативными элементами (например, визуальная группа ненативных элементов 610), анализ пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента включает в себя анализ сервером 230 пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов, а именно - ненативных элементов 504 и 505. Также, анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента включает в себя: анализ сервером 230 пользовательских взаимодействий, связанных с N соседними последующими горизонтально-структурированными элементами после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов 610, где N равно числу элементов среди по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов 610. В этом случае, это означает, что будет проанализировано пользовательское взаимодействие, связанное с нативными элементами 506 и 507. Также анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя анализ сервером 230 пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после по меньшей мере двух соседних вертикально-структурированных ненативных элементов визуальной группы ненативных элементов 610. В этом случае, это означает, что будут проанализированы пользовательские взаимодействия, связанные с нативными элементами 511 и 512.

[233] Если данный ненативный элемент находится в данной визуальной группе вертикально-структурированными ненативными элементами (например, визуальная группа ненативных элементов 612), анализ пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента включает в себя анализ сервером 230 пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних вертикально-структурированных ненативных элементов, а именно - ненативных элементов 518 и 524. В данном случае, визуальная группа ненативных элементов 610 связана с зоной 608 вертикальной близости, которая определяется в (i) N следующих рядов, расположенных непосредственно под самым нижним рядом непосредственно соседних рядов (т.е. самым нижним рядом является четвертый ряд из непосредственно соседних третьего и четвертого рядов), и (ii) между горизонтальными границами визуальной группы ненативных элементов 612, и где N - равно числу элементов среди по меньшей мере двух соседних вертикально-структурированных ненативных элементов (т.е. ненативных элементов 518 и 524). В результате, анализ пользовательских взаимодействий, связанных с элементами, которые вертикально-структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, включает в себя анализ сервером 230 пользовательских взаимодействий, связанных с любым элементом, расположенным в N (т.е. двух) следующих рядах и по меньшей мере частично перекрытым зоной 608 вертикальной близости. Это означает, что будут проанализированы пользовательские взаимодействия с нативными элементами 530, 535 и 536.

ЭТАП 706: обучение ранжированной системы прогнозированию прогнозированных оценок полезности.

[234] Способ продолжается на этапе 704, который является последним этапом фазы обучения системы 250 ранжирования, где сервер 230 обучает систему 250 ранжирования и, конкретнее, алгоритм 304 прогнозирования оценки полезности, прогнозировать соответствующую прогнозированную оценку полезности для данного используемого ненативного элемента для соответствующей ранжированной позиции в данном ранжированном списке используемых элементов в ответ на данный используемый запрос.

[235] Система 250 ранжирования была обучена на основе по меньшей мере (i) ранжированного списка элементов 420, (ii) факторов обучающей SERP 500 и (iii) соответствующей оценки полезности каждого из по меньшей мере одного ненативного элемента, а именно ненативные элементы 504, 505, 509, 518, 522 и 524.

[236] В самом деле, во время первой итерации обучения алгоритма 304 прогнозирования оценки полезности, который является MLA, сервер 230 может быть выполнен с возможностью вводить в алгоритм 304 прогнозирования оценки полезности (i) ранжированный список элементов 420, (ii) факторы обучающей SERP 500 и (iii) соответствующая оценка полезности каждого из множества ненативных элементов 410 в ранжированном списке элементов 420. Можно утверждать, что алгоритм 304 прогнозирования оценки полезности изучает, в некотором смысле, скрытые взаимоотношения и шаблоны данных среди (i) ранжированного списка элементов 420, (ii) факторов обучающей SERP 500 и (iii) соответствующей оценки полезности каждого из множества ненативных элементов 410 для определения логических шаблонов между оценками полезности каждого из множества ненативных элементов 410 и их соответствующих оценок полезности каждого из множества ненативных элементов 410 и их соответствующих ранжированных позиций в ранжированном списке элементов 420 с учетом факторов обучающей SERP 500 и, следовательно, с учетом их соответствующих визуальных позиций на обучающей SERP 500.

[237] После того как было произведено большое количество обучающих итераций, аналогичных первой обучающей итерации, но с другим ранжированным списком элементов, другой обучающей SERP, и, следовательно, другими факторами SERP и другими оценками полезности для других ненативных элементов, алгоритм 304 прогнозирования оценки полезности способен выводить (прогнозировать) на основе (i) данных факторов SERP данной SERP и (ii) данного ранжированного списка нативных элементов, соответствующую оценку полезности для данного ненативного элемента для каждой возможной ранжированной позиции данного ненативного элемента, если данный ненативный элемент будет искусственно внедрен в данный ранжированный список нативных элементов на каждую возможную ранжированную позицию, и далее отображен на данной SERP, связанной с данными факторами SERP.

ЭТАП 708: получение используемого запроса от используемого устройства

[238] Способ 700 продолжается на этапе 708, который является первым этапом фазы использования системы 250 ранжирования, где сервер 230 получает используемый запрос от электронного устройства 212 для визуального отображения используемой SERP, связанной со факторами SERP.

[239] В самом деле, во время фазы использования системы 250 ранжирования, сервер 250 ранжирования может быть выполнен с возможностью получать подаваемый пакет 282 данных через сеть 240 передачи данных. Подаваемый пакет 282 данных может передаваться, например, через электронное устройство 212, связанное с пользователем 213. Подаваемый пакет 282 данных может содержать информацию, указывающую на используемый запрос, введенный пользователем 213 в поисковую систему сервера 230. Кроме того, подаваемый пакет 282 данных может включать в себя информацию, указывающую по меньшей мере на некоторые SERP-центричные факторы, связанные с используемой SERP, как если бы используемая SERP визуально отображалась в браузерном приложении электронного устройства 212. Например, подаваемый пакет 282 данных может включать в себя информацию, указывающую на размер окна браузерного приложения электронного устройства 212, на котором пользователь 213 желает просмотреть используемую SERP.

ЭТАП 710: создание ранжированного списка используемых ненативных элементов в ответ на используемый запрос

[240] Способ продолжается на этапе 710, во время фазы использования системы 250 ранжирования, где сервер 230 создает ранжированный список используемых ненативных элементов в ответ на используемый запрос, введенный пользователем 213.

[241] В самом деле, после получения подаваемого пакета 282 данных, сервер 230 может анализировать содержимое подаваемого пакета 282 данных и может идентифицировать факторы запроса, связанные с используемым запросом, введенным пользователем 213. Сервер 230 может далее выбирать обще-релевантные элементы из базы 260 данных в ответ на используемый запрос, аналогично тому, как сервер 230 выбирает общерелевантные элементы из базы 260 данных в ответ на запрос, введенный пользователем 211.

[242] Сервер 230 может быть выполнен с возможностью идентифицировать информацию, указывающую по меньшей мере на некоторые SERP-центричные характеристики, основанные на множестве используемых нативных элементов и используемом ненативном элементе (т.е. обще-релеватные элементы из базы 260 данных в ответ на используемый запрос). Например, сервер 230 может получать соответствующие размеры элементов для каждого используемого элемента среди множества используемых нативных элементов и используемого ненативного элемента.

[243] Таким образом, сервер 230 может вводить множество используемых нативных элементов, их соответствующие связанные предыдущие пользовательские взаимодействия и используемый запрос в алгоритм 302 ранжирования на основе пользовательских взаимодействий системы 250 ранжирования. В результате, алгоритм 302 ранжирования на основе пользовательских взаимодействий может создавать ранжированный список используемых нативных элементов в ответ на используемый запрос, введенный запросом 213.

ЭТАП 712: определение оптимальной ранжированной позиции используемого ненативного элемента

[244] Способ 700 продолжается на этапе 712, во время фазы использования системы 250 ранжирования, где сервер 230 определяет оптимальную ранжированную позицию используемого ненативного элемента в ранжированном списке используемых элементов на основе по меньшей мере (i) ранжированного списка используемых нативных элементов и (ii) факторов SERP для используемой SERP.

[245] Действительно, сервер 230 выполнен с возможностью вводить в уже обученный алгоритм 304 прогнозирования оценки полезности системы 250 ранжирования (i) ранжированный список используемых нативных элементов, созданный алгоритм 302 ранжирования на основе пользовательских взаимодействий и (ii) факторы используемой SERP.

[246] В результате, алгоритм 304 прогнозирования оценки полезности будет выводить (прогнозировать) соответствующую оценку полезности для используемого ненативного элемента для каждой возможной ранжированной позиции используемого ненативного элемента в ранжированном списке используемых элементов, если используемый ненативный элемент будет искусственно внедрен на эту ранжированную позицию и далее отображен пользователю 213 на используемой SERP в окне браузерного приложения электронного устройства 212.

[247] Сервер 230 определяет, что оптимальная ранжированная позиция используемого ненативного элемента в ранжированном списке используемых элементов является ранжированной позицией, связанной с наибольшей оценкой полезности, прогнозированной для используемого ненативного элемента.

ЭТАП 714: внедрение используемого ненативного элемента в ранжированном списке используемых нативных элементов на оптимальной ранжированной позиции

[248] Способ 700 завершается на этапе 714, где сервер 230 внедряет используемый ненативный элемент в ранжированный список используемых нативных элементов на оптимальной ранжированной позиции, формирование тем самым ранжированного списка используемых элементов.

[249] Сервер 230 также выполнен с возможностью инициировать визуальное отображение используемых элементов из ранжированного списка используемых элементов на используемой SERP пользователю 213 электронного устройства 212. С этой целью, сервер 230 выполнен с возможностью создавать ответный пакет 292 данных, содержащий информацию, указывающую на ранжированный список используемых элементов и инициирующую информацию. Ответный пакет 292 данных включает в себя инициирующую информацию, которая инициирует браузерное приложение отобразить пользователю 211 с помощью дисплея 150 электронного устройства 212 используемую SERP.

[250] Специалистам в данной области техники будет понятно, что по меньшей мере некоторые варианты осуществления настоящей технологии нацелены на расширение диапазона технических решений, связанных с конкретной технической проблемой, конкретнее - определением ранжированных позиций ненативных элементов с помощью системы ранжирования.

[251] Важно иметь в виду, что не все упомянутые здесь технические результаты могут проявляться в каждом из вариантов осуществления настоящего технического решения. Например, варианты осуществления настоящего технического решения могут быть выполнены без проявления некоторых технических результатов, другие могут быть выполнены с проявлением других технических результатов или вовсе без них.

[252] Модификации и улучшения вышеописанных вариантов осуществления настоящей технологии будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не устанавливает никаких ограничений. Таким образом, объем настоящей технологии ограничен только объемом прилагаемой формулы изобретения.

Группа изобретений относится к ранжированию элементов, а именно к способам и системам определения ранжированных позиций ненативных элементов с помощью системы ранжирования. Технический результат – разработка способов и систем для определения ранжированных позиций ненативных элементов с помощью системы ранжирования, а также способов и систем, которые позволяют обучать систему ранжирования прогнозированию оценок полезности ненативных элементов для различных ранжированных позиций и использовать прогнозируемые оценки полезности для выбора размещения ненативных элементов среди нативных элементов на данной SERP. Для этого каждый элемент связан с визуальной позицией на SERP таким образом, что нативные элементы и ненативный элемент структурированы в визуальную 2D структуру, обладающую рядами, каждый ряд обладает двумя горизонтально-структурированными элементами. Способ включает в себя обучение ранжированной системы прогнозированию прогнозированной оценки полезности. Способ также включает в себя определение оптимальной ранжированной позиции для ненативного элемента с помощью системы ранжирования в фазе использования. 3 н. и 34 з.п. ф-лы, 7 ил.

1. Способ определения ранжированных позиций ненативных элементов с помощью системы ранжирования, обученной ранжировать нативные элементы на основе предыдущих пользовательских взаимодействий, связанных с нативными элементами, ненативные элементы связаны с ограниченными предыдущими пользовательскими взаимодействиями и не ранжируются системой ранжирования, способ, исполняемый на сервере, который реализует систему ранжирования, способ, включающий в себя:

во время фазы обучения системы ранжирования:

получение сервером указания на пользовательские взаимодействия, связанные с ранжированным списком элементов, причем элементы ранжированного списка элементов визуально отображаются на обучающей странице результатов поиска (SERP) для пользователя обучающего устройства в ответ на то, что обучающий запрос был получен от обучающего устройства, причем ранжированный список элементов содержит нативные элементы и по меньшей мере один ненативный элемент, причем нативные элементы ранжированы с помощью системы ранжирования в ранжированный список нативных элементов, при этом по меньшей мере один ненативный элемент был искусственно внедрен в ранжированный список нативных элементов на искусственно выбранную позицию, тем самым формируя ранжированный список элементов;

каждый элемент в ранжированном списке элементов связан с соответствующей визуальной позицией на обучающей SERP таким образом, что нативные элементы и по меньшей мере один ненативный элемент структурированы в 2D структуру, обладающую множеством вертикально-структурированных рядов, причем визуальная позиция данного элемента основана на (i) ранжированном списке элементов и (ii) факторах обучающей SERP, причем каждый ряд визуальной 2D структуры содержит по меньшей мере два горизонтально-структурированных элемента из ранжированного списка элементов;

создание сервером соответствующей оценки полезности для каждого из по меньшей мере одного ненативного элемента, расположенного на соответствующей визуальной позиции, причем создание включает в себя, для данного ненативного элемента из по меньшей мере одного ненативного элемента:

анализ сервером пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента;

анализ сервером пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента; и

анализ сервером пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента;

обучение сервером системы ранжирования прогнозированию соответствующей прогнозированной оценки полезности для используемого ненативного элемента в соответствующей ранжированной позиции в ранжированном списке используемых элементов в ответ на используемый запрос, причем система ранжирования обучается на основе, по меньшей мере, (i) ранжированного списка элементов, (ii) факторов обучающей SERP и (iii) соответствующей оценки полезности каждого из по меньшей мере одного ненативного элемента; и

во время фазы использования системы ранжирования:

получение сервером используемого запроса от используемого устройства для визуального отображения используемой SERP, связанной с факторами SERP;

создание сервером ранжированного списка используемых нативных элементов в ответ на используемый запрос;

определение сервером оптимальной ранжированной позиции используемого ненативного элемента в ранжированном списке используемых элементов на основе, по меньшей мере, (i) ранжированного списка используемых нативных элементов и (ii) факторов SERP для используемой SERP; и

внедрение сервером используемого ненативного элемента в ранжированный список используемых нативных элементов на оптимальной ранжированной позиции и формирование тем самым ранжированного списка используемых элементов.

2. Способ по п. 1, в котором способ далее включает в себя инициирование визуального отображения используемых элементов из ранжированного списка используемых элементов на используемой SERP - для пользователя используемого устройства.

3. Способ по п. 1, в котором на сервере размещен исполняемый на компьютере сервис, и система ранжирования выполняется исполняемым на компьютере сервисом и в котором нативные элементы являются использованными элементами, которые часто использовались пользователями исполняемого на компьютере сервиса, а ненативные элементы являются новыми элементами, которые недостаточно использовались пользователями исполняемого на компьютере сервиса, и, следовательно, не ранжируются нативным алгоритмом ранжирования системы ранжирования.

4. Способ по п. 3, в котором данный элемент является одним из элемента-изображения или элемента-видео.

5. Способ по п. 1, в котором по меньшей мере один ненативный элемент содержит одно из:

- по меньшей мере один ненативный элемент, внедренный в ранжированный список нативных элементов случайным образом; и

- по меньшей мере один ненативный элемент, внедренный в ранжированный список нативных элементов в соответствии с заранее определенным шаблоном внедрения.

6. Способ по п. 1, в котором пользовательские взаимодействия включают в себя по меньшей мере одно из:

- выбор данного элемента;

- долгий выбор данного элемента;

- выбор данного элемента и дальнейший переход на веб-ресурс; и

- наведение на данный элемент.

7. Способ по п. 1, в котором факторы данной SERP включают в себя:

- факторы запроса, связанные с соответствующим запросом;

- размер окна браузерного приложения, отображающего данную SERP; и

- размер визуального элемента каждого элемента в соответствии с ранжированным списком элементов.

8. Способ по п. 7, в котором факторы данного запроса содержат частоту передач данного запроса на сервер при выполнении поиска за последнее время.

9. Способ по п. 1, в котором анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя анализ сервером пользовательских взаимодействий, связанных со следующим горизонтально-структурированным элементом, находящимся сразу после данного ненативного элемента из по меньшей мере одного ненативного элемента.

10. Способ по п. 1, в котором по меньшей мере один ненативный элемент включает в себя визуальную группу ненативных элементов, которая включает в себя по меньшей мере два последовательно горизонтально-структурированных ненативных элемента, данный ненативный элемент из по меньшей мере одного ненативного элемента является ненативным элементом из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов, и при этом:

анализ пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента, включает в себя:

анализ сервером пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов;

анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя:

анализ сервером пользовательских взаимодействий, связанных с N соседними последующими горизонтально-структурированными элементами после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов, N равно числу элементов среди по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов; и

анализ пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя:

анализ сервером пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов.

11. Способ по п. 1, в котором анализ сервером пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя:

определение сервером зоны вертикальной близости для данного ненативного элемента из по меньшей мере одного ненативного элемента на основе факторов SERP; и

анализ сервером пользовательских взаимодействий, связанных с элементами, которые по меньшей мере частично перекрываются зоной вертикальной близости.

12. Способ по п. 11, в котором зона вертикальной близости определяется:

(i) в следующем ряду, расположенном сразу под текущим рядом данного ненативного элемента из по меньшей мере одного ненативного элемента; и

(ii) между горизонтальными границами данного ненативного элемента из по меньшей мере одного ненативного элемента; и в котором

анализ пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, включает в себя анализ сервером пользовательских взаимодействий, связанных с любым элементом, расположенным в следующем ряду и по меньшей мере частично перекрытым зоной вертикальной близости.

13. Способ по п. 11, в котором по меньшей мере один ненативный элемент включает в себя визуальную группу ненативных элементов, которая включает в себя по меньшей мере два последовательно вертикально-структурированных ненативных элемента, расположенных в соседних рядах, данный ненативный элемент из по меньшей мере одного ненативного элемента является ненативным элементом из по меньшей мере двух соседних вертикально-структурированных ненативных элементов, и при этом:

анализ пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента, включает в себя:

анализ сервером пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних вертикально-структурированных ненативных элементов; и

зона вертикальной близости определяется:

(i) в N последующих рядах, расположенных сразу под нижним рядом следующих соседних рядов; и

(ii) между горизонтальными границами визуальной группы ненативных элементов; N равно числу элементов среди по меньшей мере двух соседних вертикально-структурированных ненативных элементов; и в котором

анализ пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, включает в себя анализ сервером пользовательских взаимодействий, связанных с любым элементом, расположенным в N следующих рядах и по меньшей мере частично перекрытым зоной вертикальной близости.

14. Способ по п. 1, в котором:

пользовательские взаимодействия, связанные с данным ненативным элементом из по меньшей мере одного ненативного элемента, указывают на положительные пользовательские взаимодействия с данным ненативным элементом из по меньшей мере одного ненативного элемента; и

пользовательские взаимодействия, связанные с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, и пользовательские взаимодействия, связанные с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, указывают на отрицательные пользовательские взаимодействия с данным ненативным элементом из по меньшей мере одного ненативного элемента.

15. Способ по п. 14, в котором соответствующая оценка полезности является взвешенной суммой соответствующих положительных пользовательских взаимодействий и соответствующих отрицательных пользовательских взаимодействий.

16. Способ по п. 14, в котором создание соответствующей оценки полезности включает в себя применение функции профицита, где выигрыш (win) определяется соответствующими положительными пользовательскими взаимодействиями, а проигрыш (loss) определяется соответствующими отрицательными пользовательскими взаимодействиями.

17. Способ по п. 1, в котором факторы обучающей SERP включают в себя факторы обучающего запроса и размер окна браузерного приложения или размер каждого элемента, отображаемого на обучающей SERP.

18. Способ по п. 1, в котором факторы используемой SERP включают в себя факторы используемого запроса и размер окна браузерного приложения или размер каждого элемента, отображаемого на используемой SERP.

19. Способ обучения системы ранжирования прогнозированию оценки полезности ненативного элемента для соответствующей ранжированной позиции в ранжированном списке элементов в ответ на запрос, система ранжирования была обучена ранжировать нативные элементы на основе предыдущих пользовательских взаимодействий, связанных с нативными элементами, ненативные элементы связаны с ограниченными предыдущими пользовательскими взаимодействиями и не ранжируются системой ранжирования, способ, исполняемый на сервере, который реализует систему ранжирования, способ, включающий в себя:

получение сервером указания на пользовательские взаимодействия, связанные с ранжированным списком элементов, причем элементы ранжированного списка элементов визуально отображаются на обучающей странице результатов поиска (SERP) для пользователя обучающего устройства в ответ на то, что обучающий запрос был получен от обучающего устройства, причем ранжированный список элементов содержит нативные элементы и по меньшей мере один ненативный элемент, причем нативные элементы ранжированы с помощью системы ранжирования в ранжированный список нативных элементов, при этом по меньшей мере один ненативный элемент был искусственно внедрен в ранжированный список нативных элементов на искусственно выбранную позицию, тем самым формируя ранжированный список элементов,

каждый элемент в ранжированном списке элементов связан с соответствующей визуальной позицией на обучающей SERP таким образом, что нативные элементы и по меньшей мере один ненативный элемент структурированы в 2D структуру, обладающую множеством вертикально-структурированных рядов, причем визуальная позиция данного элемента основана на (i) ранжированном списке элементов и (ii) факторах обучающей SERP, каждый ряд визуальной 2D структуры содержит по меньшей мере два горизонтально-структурированных элемента из ранжированного списка элементов;

создание сервером соответствующей оценки полезности для каждого из по меньшей мере одного ненативного элемента, расположенного на соответствующей визуальной позиции, создание включает в себя, для данного ненативного элемента из по меньшей мере одного ненативного элемента:

анализ сервером пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента;

анализ сервером пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента; и

анализ сервером пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента;

обучение сервером системы ранжирования прогнозированию соответствующей оценки полезности для используемого ненативного элемента в соответствующей ранжированной позиции в ранжированном списке используемых элементов в ответ на используемый запрос, система ранжирования была обучена на основе, по меньшей мере, (i) ранжированного списка элементов, (ii) факторов обучающей SERP и (iii) соответствующей оценки полезности каждого из по меньшей мере одного ненативного элемента.

20. Сервер для определения ранжированных позиций ненативных элементов с помощью системы ранжирования, обученной ранжировать нативные элементы на основе предыдущих пользовательских взаимодействий, связанных с нативными элементами, ненативные элементы связаны с ограниченными предыдущими пользовательскими взаимодействиями и не ранжируются системой ранжирования, сервер, реализующий систему ранжирования и выполненный с возможностью осуществлять:

во время фазы обучения системы ранжирования:

получение указания на пользовательские взаимодействия, связанные с ранжированным списком элементов, причем элементы ранжированного списка элементов визуально отображаются на обучающей странице результатов поиска (SERP) для пользователя обучающего устройства в ответ на то, что обучающий запрос был получен от обучающего устройства, причем ранжированный список элементов содержит нативные элементы и по меньшей мере один ненативный элемент, нативные элементы ранжированы с помощью системы ранжирования в ранжированный список нативных элементов, при этом по меньшей мере один ненативный элемент был искусственно внедрен в ранжированный список нативных элементов на искусственно выбранную позицию, тем самым формируя ранжированный список элементов,

каждый элемент в ранжированном списке элементов связан с соответствующей визуальной позицией на обучающей SERP таким образом, что нативные элементы и по меньшей мере один ненативный элемент структурированы в 2D структуру, обладающую множеством вертикально-структурированных рядов, причем визуальная позиция данного элемента основана на (i) ранжированном списке элементов и (ii) факторах обучающей SERP, каждый ряд визуальной 2D структуры содержит по меньшей мере два горизонтально-структурированных элемента из ранжированного списка элементов;

создание соответствующей оценки полезности для каждого из по меньшей мере одного ненативного элемента, расположенного на соответствующей визуальной позиции, причем создание включает в себя для данного ненативного элемента из по меньшей мере одного ненативного элемента:

анализ пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента, включает в себя:

анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента; и

анализ пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента;

обучение системы ранжирования прогнозированию соответствующей прогнозированной оценки полезности для используемого ненативного элемента в соответствующей ранжированной позиции в ранжированном списке используемых элементов в ответ на используемый запрос, причем система ранжирования обучается на основе, по меньшей мере, (i) ранжированного списка элементов, (ii) факторов обучающей SERP и (iii) соответствующей оценки полезности каждого из по меньшей мере одного ненативного элемента; и

во время фазы использования системы ранжирования:

получение используемого запроса от используемого устройства для визуального отображения используемой SERP, связанной с факторами SERP;

создание ранжированного списка используемых нативных элементов в ответ на используемый запрос;

определение оптимальной ранжированной позиции используемого ненативного элемента в ранжированном списке используемых элементов на основе, по меньшей мере, (i) ранжированного списка используемых нативных элементов и (ii) факторов SERP для используемой SERP; и

внедрение используемого ненативного элемента в ранжированном списке используемых нативных элементов на оптимальной ранжированной позиции; и

формирование тем самым ранжированного списка используемых элементов.

21. Сервер по п. 20, в котором сервер далее выполнен с возможностью инициировать визуальное отображение используемых элементов из ранжированного списка используемых элементов на используемой SERP - для пользователя используемого устройства.

22. Сервер по п. 20, в котором на сервере размещен исполняемый на компьютере сервис, и система ранжирования выполняется исполняемым на компьютере сервисом и в котором нативные элементы являются использованными элементами, которые часто использовались пользователями исполняемого на компьютере сервиса, а ненативные элементы являются новыми элементами, которые недостаточно использовались пользователями исполняемого на компьютере сервиса и, следовательно, не ранжируются нативным алгоритмом ранжирования системы ранжирования.

23. Сервер по п. 22, в котором данный элемент является одним из элемента-изображения или элемента-видео.

24. Сервер по п. 20, в котором по меньшей мере один ненативный элемент содержит одно из:

- по меньшей мере один ненативный элемент, внедренный в ранжированный список нативных элементов случайным образом; и

- по меньшей мере один ненативный элемент, внедренный в ранжированный список нативных элементов в соответствии с заранее определенным шаблоном внедрения.

25. Сервер по п. 20, в котором пользовательские взаимодействия включают в себя по меньшей мере одно из:

- выбор данного элемента;

- долгий выбор данного элемента;

- выбор данного элемента и дальнейший переход на веб-ресурс; и

- наведение на данный элемент.

26. Сервер по п. 20, в котором факторы данной SERP включают в себя:

- факторы запроса, связанные с соответствующим запросом;

- размер окна браузерного приложения, отображающего данную SERP; и

- размер визуального элемента каждого элемента в соответствии с ранжированным списком элементов.

27. Сервер по п. 26, в котором факторы данного запроса содержат частоту передач данного запроса на сервер при выполнении поиска за последнее время.

28. Сервер по п. 20, в котором сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных со следующим горизонтально-структурированным элементом, находящимся сразу после данного ненативного элемента из по меньшей мере одного ненативного элемента.

29. Сервер по п. 20, в котором по меньшей мере один ненативный элемент включает в себя визуальную группу ненативных элементов, которая включает в себя по меньшей мере два последовательно горизонтально-структурированных ненативных элемента, данный ненативный элемент из по меньшей мере одного ненативного элемента является ненативным элементом из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов, и при этом:

сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента, включает в себя:

сервер выполнен с возможностью осуществлять анализ сервером пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних горизонтально-структурированных ненативных элементов;

сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, анализ, включающий в себя:

анализ сервером пользовательских взаимодействий, связанных с N соседними последующими горизонтально-структурированными элементами после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов, N равно числу элементов среди по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов; и

сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, включает в себя:

сервер выполнен с возможностью осуществлять анализ сервером пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после по меньшей мере двух соседних горизонтально-структурированных ненативных элементов визуальной группы ненативных элементов.

30. Сервер по п. 20, в котором сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, анализ, включающий в себя:

определение сервером зоны вертикальной близости для данного ненативного элемента из по меньшей мере одного ненативного элемента на основе факторов SERP; и

анализ сервером пользовательских взаимодействий, связанных с элементами, которые по меньшей мере частично перекрываются зоной вертикальной близости.

31. Сервер по п. 30, в котором зона вертикальной близости определяется:

(i) в следующем ряду, расположенном сразу под текущим рядом данного ненативного элемента из по меньшей мере одного ненативного элемента; и

(ii) между горизонтальными границами данного ненативного элемента из по меньшей мере одного ненативного элемента; и в котором

сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, включает в себя:

сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с любым элементом, расположенным в следующем ряду и по меньшей мере частично перекрытым зоной вертикальной близости.

32. Сервер по п. 30, в котором по меньшей мере один ненативный элемент включает в себя визуальную группу ненативных элементов, которая включает в себя по меньшей мере два последовательно вертикально-структурированных ненативных элемента, расположенных в соседних рядах, данный ненативный элемент из по меньшей мере одного ненативного элемента является ненативным элементом из по меньшей мере двух соседних вертикально-структурированных ненативных элементов, и при этом:

сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с данным ненативным элементом из по меньшей мере одного ненативного элемента, включает в себя:

сервер выполнен с возможностью осуществлять анализ сервером пользовательских взаимодействий, связанных с каждым из по меньшей мере двух соседних вертикально-структурированных ненативных элементов; и

зона вертикальной близости определяется:

(i) в N последующих рядах, расположенных сразу под нижним рядом следующих соседних рядов; и

(ii) между горизонтальными границами визуальной группы ненативных элементов; N равно числу элементов среди по меньшей мере двух соседних вертикально-структурированных ненативных элементов; и в котором

сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей одного ненативного элемента, включает в себя:

сервер выполнен с возможностью осуществлять анализ пользовательских взаимодействий, связанных с любым элементом, расположенным в N следующих рядах и по меньшей мере частично перекрытым зоной вертикальной близости.

33. Сервер по п. 20, в котором:

пользовательские взаимодействия, связанные с данным ненативным элементом из по меньшей мере одного ненативного элемента, указывают на положительные пользовательские взаимодействия с данным ненативным элементом из по меньшей мере одного ненативного элемента; и

пользовательские взаимодействия, связанные с элементами, которые горизонтально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, и пользовательские взаимодействия, связанные с элементами, которые вертикально структурированы после данного ненативного элемента из по меньшей мере одного ненативного элемента, указывают на отрицательные пользовательские взаимодействия с данным ненативным элементом из по меньшей мере одного ненативного элемента.

34. Сервер по п. 33, в котором соответствующая оценка полезности является взвешенной суммой соответствующих положительных пользовательских взаимодействий и соответствующих отрицательных пользовательских взаимодействий.

35. Сервер по п. 33, в котором сервер выполнен с возможностью создавать соответствующую оценку полезности, включает в себя сервер, выполненный с возможностью применять функцию профицита, где выигрыш (win) определяется соответствующими положительными пользовательскими взаимодействиями, а проигрыш (loss) определяется соответствующими отрицательными пользовательскими взаимодействиями.

36. Сервер по п. 20, в котором факторы обучающей SERP включают в себя факторы обучающего запроса и размер окна браузерного приложения или размер каждого элемента, отображаемого на обучающей SERP.

37. Сервер по п. 20, в котором факторы используемой SERP включают в себя факторы используемого запроса и размер окна браузерного приложения или размер каждого элемента, отображаемого на используемой SERP.