СПОСОБ И СЕРВЕР ОПРЕДЕЛЕНИЯ ИЗМЕНЕНИЙ В ПОЛЬЗОВАТЕЛЬСКОМ ИНТЕРАКТИВНОМ ВЗАИМОДЕЙСТВИИ СО СТРАНИЦЕЙ РЕЗУЛЬТАТОВ ПОИСКА Российский патент 2017 года по МПК G06F17/30 G06F17/18 G06F3/00 G06Q30/02 

Область техники, к которой относится изобретение

[01] Настоящее техническое решение относится к системам и способам определения изменений в пользовательском интерактивном взаимодействии между первой и второй версией страницы результатов поиска (SERP).

Уровень техники

[02] За последние годы А/В тестирование воплотилось в современном уровне техники как инструмент улучшения веб-сервисов на основе ориентированных на данные решений. Они используются многими компаниями, связанными с сетью и поисковыми системами, включая такие поисковые системы как Bing и Google, социальные сети, например, Facebook и т.д. Самые большие веб-сервисы создали специальные экспериментальные платформы, которые позволяют им запускать А/В тестирование крупномасштабно. А/В тестирование сравнивает два варианта сервиса одновременно, обычно его текущую версию (контроль) и новую (опыт), предлагая их двум группам пользователей.

[03] Целью эксперимента с контролем является определение причинно-следственного влияния обновлений системы на ее производительность, основываясь на критерии, который коррелирует с качеством системы. Открытой проблемой является выбор подходящего критерия, применимого на практике, поскольку критерий должен соответствовать двум определяющим условиям, которые часто противоречат друг другу.

[04] Во-первых, критерий должен предоставлять количественное значение, которое позволит сделать заключение об изменении качества системы, в частности, о признаке и степени этого изменения. Другими словами, значение критерия должно обладать четкой интерпретацией. В данной области техники известно, что многие критерии могут привести к противоречивым интерпретациям, и их использование на практике может вводить в заблуждение. Следовательно, верный выбор подходящего критерия является сложной задачей.

[05] Во-вторых, когда существует эффект условий опыта (например, эффект модификаций на поведении пользователя), критерий должен определять различие двух версий системы на высоком уровне статистической значимости для различения эффекта условий опыта в шуме, наблюдаемом, когда эффект условий опыта не проявляется. Это качество называется чувствительностью измерения. Распространенной проблемой является низкая чувствительность показателей в тех случаях, когда тестируется лишь незначительная модификация, или когда изменение в системе влияет лишь на небольшой объем пользовательского трафика.

[06] Критерии текущего уровня техники для оценки производительности двух версий, в основном, основаны на средних значениях показателей пользовательского поведения. Однако основным недостатком этих критериев является то, что средние значения показателей пользовательского поведения могут и не измениться, даже если их распределения изменились значительно.

[07] В случае поисковой системы существуют разнообразные компоненты, и их модификации могут влиять на распределение показателей пользовательского поведения по-разному. Наиболее важными компонентами страницы результатов поиска (SERP) являются те, что обыкновенно представляют данные из разных источников: органические поисковые результаты, рекламные результаты, вертикальные результаты и другие. Если обновление влияет только на рекламные результаты, то сложно оценить общее качество всей страницы результатов поиска (SERP), потому что реклама занимает менее 10% трафика поисковой системы. Следовательно, проблема низкой чувствительности подходящего критерия встает особенно остро в этом случае.

Раскрытие изобретения

[08] Задачей предлагаемого технического решения является устранение по меньшей мере некоторых недостатков, присущих известному уровню техники.

[09] Первым объектом настоящего технического решения является способ определения изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP); причем вторая версия страницы результатов поиска (SERP) является модифицированной версией страницы результатов поиска (SERP), а способ выполняется на сервере. Способ включает в себя: представление первой страницы результатов поиска (SERP) первой группе пользователей, а второй страницы результатов поиска (SERP) второй группе пользователей; оценку первых и вторых показателей пользовательского взаимодействия с первой и второй версиями страницы результатов поиска (SERP) соответственно, причем пользовательские взаимодействия принадлежат к предварительно выбранному типу пользовательских взаимодействий; определение первого и второго распределений первых показателей и вторых показателей пользовательских взаимодействий соответственно; анализ первого и второго распределений совместно для определения степени изменений в пользовательском интерактивном взаимодействии. Анализ включает в себя: определение набора соотношений, причем каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого показателя пользовательского интерактивного взаимодействия соответственно; определение самого низкого соотношения и самого высокого соотношения в наборе соотношений, причем самое низкое соотношение указывает на самое малое относительное изменение между первым и вторым распределениями, а самое высокое соотношение указывает на самое большое относительное изменение между первым и вторым распределениями; определение степени изменений в пользовательском интерактивном взаимодействии на основе сочетания самого низкого и самого высокого соотношения; определение статистической значимости степени изменений в пользовательском интерактивном взаимодействии. Способ также включает в себя, в ответ на тот факт, что степень изменения в пользовательском интерактивном взаимодействии статистически значима, определение того, что в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP) произошло изменение.

[10] В некоторых вариантах осуществления способа анализ дополнительно включает в себя: определение пары распределений по меньшей мере частично на основе самого высокого и самого низкого соотношений; определение включает в себя разложение первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно, и определение того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным, на основе пары распределений.

[11] В некоторых вариантах осуществления технологии определение первого и второго распределений включает в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины (от англ. bin - ячейка, столбик гистограммы) показателей пользовательских взаимодействий, причем анализ включает в себя каждое соотношение в наборе соотношений, которое является соотношением между значением первого распределения и соответствующего значения второго распределения для каждого бина показателей пользовательских взаимодействий, соответственно.

[12] В некоторых вариантах осуществления способа сочетание самого низкого и самого высокого соотношения определяется с использованием:

[13] В некоторых вариантах осуществления способа определение статистической значимости степени изменений в пользовательских интерактивных взаимодействиях включает в себя применение по меньшей мере одного из: критерия Колмогорова-Смирнова или сочетания способа «вытаскивания»/бутстреппинга (bootstrapping technique) с одновыборочным критерием Стьюдента.

[14] В некоторых вариантах осуществления способа определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии, основанное на паре распределений, включает в себя сравнение соответствующих средних значений каждого распределения в паре распределений с учетом предварительно определенного типа пользовательских взаимодействий. Технический результат заключается в повышении качества тестирования изменений в пользовательском взаимодействии между первой версией и второй версией страницы результатов поиска.

[15] В некоторых вариантах осуществления способа у бинов первых показателей пользовательских взаимодействий такие же интервалы, как у бинов вторых показателей пользовательских взаимодействий.

[16] Вторым объектом настоящего технического решения является сервер, включающий в себя процессор и машиночитаемые инструкции для определения

изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP); причем вторая версия страницы результатов поиска (SERP) является модифицированной версией страницы результатов поиска (SERP). Процессор выполнен с возможностью осуществлять: представление первой страницы результатов поиска (SERP) первой группе пользователей, а второй страницы результатов поиска (SERP) второй группе пользователей; оценку первых и вторых показателей пользовательского взаимодействия с первой и второй версиями страницы результатов поиска (SERP) соответственно, причем пользовательские взаимодействия принадлежат к предварительно выбранному типу пользовательских взаимодействий; определение первого и второго распределений первых показателей и вторых показателей пользовательских взаимодействий соответственно; анализ первого и второго распределений совместно для определения степени изменений в пользовательском интерактивном взаимодействии. Анализ включает в себя: определение набора соотношений, причем каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого показателя пользовательского интерактивного взаимодействия соответственно; определение самого низкого соотношения и самого высокого соотношения в наборе соотношений, причем самое низкое соотношение указывает на самое малое относительное изменение между первым и вторым распределениями, а самое высокое соотношение указывает на самое большое относительное изменение между первым и вторым распределениями; определение степени изменений в пользовательском интерактивном взаимодействии на основе сочетания самого низкого и самого высокого соотношения; определение статистической значимости степени изменений в пользовательском интерактивном взаимодействии. Сервер также выполнен с возможностью осуществлять, в ответ на тот факт, что степень изменения в пользовательском интерактивном взаимодействии статистически значима, определение того, что в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP) произошло изменение.

[17] В некоторых вариантах осуществления сервера анализ также включает в себя: определение пары распределений по меньшей мере частично на основе самого высокого и самого низкого соотношений; определение пары распределений, по меньшей мере, частично основанных на самых высоких и самых низких соотношениях, включает в себя разложение первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно, и определение того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным, на основе пары распределений.

[18] В некоторых вариантах осуществления сервера определение первого и второго распределений включает в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины показателей пользовательских взаимодействий, причем анализ включает в себя каждое соотношение в наборе соотношений, которое является соотношением между значением первого распределения и соответствующего значения второго распределения для каждого бина показателей пользовательских взаимодействий, соответственно.

[19] В некоторых вариантах осуществления сервера сочетание самого низкого и самого высокого соотношения определяется с использованием: .

[20] В некоторых вариантах осуществления сервера определение статистической значимости степени изменений в пользовательских интерактивных взаимодействиях включает в себя применение по меньшей мере одного критерия из: критерия Колмогорова-Смирнова или сочетания способа «вытаскивания»/бутстреппинга (bootstrapping technique) в одном выборочном исследовании критерия Стьюдента.

[21] В некоторых вариантах осуществления сервера определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии, основанное на паре распределений, включает в себя сравнение соответствующих средних значений каждого распределения в паре распределений с учетом предварительно определенного типа пользовательских взаимодействий.

[22] В некоторых вариантах осуществления сервера у бинов первых показателей пользовательских взаимодействий такие же интервалы, как и у бинов вторых показателей пользовательских взаимодействий.

[23] В контексте настоящего описания, если конкретно не указано иное, «сервер» подразумевает под собой компьютерную программу, работающую на соответствующем оборудовании, которая способна получать запросы (например, от клиентских устройств) по сети и выполнять эти запросы или инициировать выполнение этих запросов. Оборудование может представлять собой один физический компьютер или одну физическую компьютерную систему, но ни то, ни другое не является обязательным для настоящего технического решения. В контексте настоящего технического решения использование выражения «сервер» не означает, что каждая задача (например, полученные команды или запросы) или какая-либо конкретная задача будет получена, выполнена или инициирована к выполнению одним и тем же сервером (то есть одним и тем же программным обеспечением и/или аппаратным обеспечением); это означает, что любое количество элементов программного обеспечения или аппаратных устройств может быть вовлечено в прием/передачу, выполнение или инициирование выполнения любого запроса или последствия любого запроса, связанного с клиентским устройством, и все это программное и аппаратное обеспечение может быть одним сервером или несколькими серверами, оба варианта включены в выражение «по меньшей мере один сервер».

[24] В контексте настоящего описания, если конкретно не указано иное, «клиентское устройство» подразумевает под собой аппаратное устройство, способное работать с программным обеспечением, подходящим к решению соответствующей задачи. Примерами клиентских устройств, среди прочего, являются персональные компьютеры (настольные компьютеры, ноутбуки и т.д.), смартфоны и планшеты. Следует иметь в виду, что устройство, ведущее себя как клиентское устройство в настоящем контексте, может вести себя как сервер по отношению к другим клиентским устройствам. Использование выражения «клиентское устройство» не исключает возможности использования множества клиентских устройств для получения/отправки, выполнения или инициирования выполнения любой задачи или запроса, или же последствий любой задачи или запроса, или же этапов любого вышеописанного способа.

[25] В контексте настоящего описания, если конкретно не указано иное, термин «база данных» подразумевает под собой любой структурированный набор данных, не зависящий от конкретной структуры, программного обеспечения по управлению базой данных, аппаратного обеспечения компьютера, на котором данные хранятся, используются или иным образом оказываются доступны для использования. База данных может находиться на том же оборудовании, выполняющем процесс, который сохраняет или использует информацию, хранящуюся в базе данных, или же она может находиться на отдельном оборудовании, например, выделенном сервере или множестве серверов.

[26] В контексте настоящего описания, если конкретно не указано иное, термин «компонент» подразумевает под собой программное обеспечение (соответствующее конкретному аппаратному контексту), которое является необходимым и достаточным для выполнения конкретной(ых) указанной(ых) функции(й).

[27] В контексте настоящего описания, если конкретно не указано иное, термин «используемый компьютером носитель компьютерной информации» подразумевает под собой носитель абсолютно любого типа и характера, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д.

[28] В контексте настоящего описания, если конкретно не указано иное, термин «интерактивный» подразумевает под собой, что нечто (или по меньшей мере его часть) может реагировать на пользовательский ввод.

[29] В контексте настоящего описания, если четко не указано иное, «указание» информационного элемента может представлять собой сам информационный элемент или указатель, отсылку, ссылку или другой косвенный способ, позволяющий получателю указания найти сеть, память, базу данных или другой машиночитаемый носитель, из которого может быть извлечен информационный элемент. Например, указание на файл может включать в себя сам файл (т.е. его содержимое), или же оно может являться уникальным дескриптором файла, идентифицирующим файл по отношению к конкретной файловой системе, или каким-то другими средствами передавать получателю указание на сетевую папку, адрес памяти, таблицу в базе данных или другое место, в котором можно получить доступ к файлу. Как будет понятно специалистам в данной области техники, степень точности, необходимая для такого указания, зависит от степени первичного понимания того, как должна быть интерпретирована информация, которой обмениваются получатель и отправитель указателя. Например, если до установления связи между отправителем и получателем понятно, что указание информационного элемента принимает вид ключа базы данных для записи в конкретной таблице заранее установленной базы данных, включающей в себя информационный элемент, то передача ключа базы данных - это все, что необходимо для эффективной передачи информационного элемента получателю, несмотря на то, что сам по себе информационный элемент не передавался между отправителем и получателем указания. Каждый вариант осуществления настоящего технического решения преследует по меньшей мере одну из вышеупомянутых целей и/или объектов. Следует иметь в виду, что некоторые объекты настоящего технического решения, полученные в результате попыток достичь вышеупомянутой цели, могут удовлетворять и другим целям, отдельно не указанным здесь.

[30] Дополнительные и/или альтернативные характеристики, аспекты и преимущества вариантов осуществления настоящего технического решения станут очевидными из последующего описания, прилагаемых чертежей и прилагаемой формулы изобретения.

Краткое описание чертежей

[31] Для лучшего понимания настоящего технического решения, а также других его аспектов и характерных черт сделана ссылка на следующее описание, которое должно использоваться в сочетании с прилагаемыми чертежами, где:

На Фиг. 1 схематически представлена сетевая система, выполненная в соответствии с вариантом осуществления настоящего технического решения;

На Фиг. 2 представлены первые показатели пользовательских взаимодействий, обработанных сервером и сохраненных в хранилище;

На Фиг. 3 представлены вторые показатели пользовательских взаимодействий, обработанных сервером и сохраненных в хранилище;

На Фиг. 4 представлен пример набора решений для весовых коэффициентов, обработанных сервером в варианте осуществления настоящего технического решения;

На Фиг. 5 представлена блок-схема способа определения изменений в пользовательском интерактивном взаимодействии между первой и второй версией страницы результатов поиска (SERP).

На Фиг. 6 представлен первый сценарий определения того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным;

На Фиг. 7 представлен второй сценарий определения того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным; и

На Фиг. 8 представлен третий сценарий определения того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным.

На Фиг. 9 представлен четвертый сценарий определения того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным.

На Фиг. 10 представлена таблица результатов трех экспериментов.

Осуществление изобретения

[32] На Фигуре 1 схематически изображена сетевая система 100, которая соединена по сети 114 передачи данных. Важно иметь в виду, что нижеследующее описание сетевой системы 100 представляет собой описание показательных вариантов осуществления настоящего технического решения. Таким образом, следующее описание должно рассматриваться только как описание иллюстративного варианта осуществления настоящего технического решения. Это описание не предназначено для определения объема или установления границ настоящего технического решения. Некоторые полезные примеры модификаций сетевой системы 100 также могут быть охвачены нижеследующим описанием. Целью этого является также исключительно помощь в понимании, а не определение объема и границ настоящего технического решения. Эти модификации не представляют собой исчерпывающий список, и специалистам в данной области техники будет понятно, что возможны и другие модификации. Кроме того, те случаи, в которых не были представлены примеры модификаций, не должны интерпретироваться как то, что никакие модификации невозможны, и/или что то, что было описано, является единственным вариантом осуществления этого элемента настоящего технического решения. Как будет понятно специалисту в данной области техники, это, скорее всего, не так. Кроме того, следует иметь в виду, что сетевая система 100 представляет собой в некоторых конкретных проявлениях достаточно простой вариант осуществления настоящего технического решения, и в подобных случаях представлена здесь с целью облегчения понимания. Как будет понятно специалисту в данной области техники, многие варианты осуществления настоящего технического решения будут обладать гораздо большей сложностью.

[33] Реализация линии (не изображена) передачи данных никак конкретно не ограничена и будет зависеть от того, какие устройства подключены к сети 114 передачи данных. В качестве неограничивающего примера, соединение сервера 116 с сетью 114 передачи данных может быть выполнено с помощью проводного соединения (например, соединение на основе сети Ethernet). В то же время другие устройства могут быть соединены другим способом. В тех примерах, где присоединенное устройство (не изображено) представляет собой беспроводное устройство связи (например, смартфон), соединение представляет собой беспроводную сеть передачи данных (например, среди прочего, линию передачи данных 3G, линию передачи данных 4G, беспроводной интернет Wireless Fidelity или коротко WiFi®, Bluetooth® и т.п.). В тех примерах, где первое электронное устройство 104 и второе электронное устройство 110 представляют собой стационарные компьютеры, линия передачи данных может быть как беспроводной, так и проводной (соединение на основе сети Ethernet).

Сетевая система 100 может включать в себя сервер 116. Сервер 116 может представлять собой обычный компьютерный сервер. В примере варианта осуществления настоящего технического решения, сервер 116 может представлять собой сервер Dell™ PowerEdge™, на котором используется операционная система Microsoft™ Windows Server™. Излишне говорить, что сервер 116 может представлять собой любое другое подходящее аппаратное и/или прикладное программное, и/или системное программное обеспечение или их комбинацию. В представленном варианте осуществления настоящего технического решения, не ограничивающем его объем, сервер 116 является одиночным сервером. В других вариантах осуществления настоящего технического решения, не ограничивающих его объем, функциональность сервера 116 может быть разделена, и может выполняться с помощью нескольких серверов. В некоторых вариантах осуществления настоящего технического решения сервер 116 может включать в себя программное обеспечение поисковой системы (не изображено) и может также управляться поставщиком поисковой системы, например, Яндекс.

[34] Сервер 116 включает в себя носитель 118 информации, который может использоваться сервером 116. В общем случае носитель 118 информации может быть выполнен как носитель любого характера и вида, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д., а также их комбинацию.

[35] Варианты осуществления сервера 116 хорошо известны. Таким образом, достаточно отметить, что сервер 116 включает в себя, среди прочего, интерфейс сетевой связи (например, модем, сетевую карту и тому подобное) для двусторонней связи по сети 114 передачи данных; и процессор (не изображен), соединенный с интерфейсом сетевой связи, который выполнен с возможностью выполнять различные процедуры, включая те, что описаны ниже. С этой целью процессор может сохранять или иметь доступ к машиночитаемым инструкциям, хранящимся на носителе 118 информации, выполнение которых инициирует процессор выполнять различные описанные здесь процедуры. Носитель 118 информации сервера 116 выполнен с возможностью хранить данные, включая машиночитаемые инструкции и базы данных.

[36] В некоторых вариантах осуществления настоящего технического решения носитель 118 информации выполнен с возможностью сохранять различные данные, например, индексы веб-страниц, с которых была собрана информация, с помощью приложения поискового робота (не изображен) программного обеспечения поисковой системы, доступного на сервере 116. В других вариантах осуществления настоящего технического решения носитель 118 информации может хранить иные данные, полученные сервером 116.

[37] Сетевые системы 100 включают в себя первое электронное устройство 104 и второе электронное устройство 110. Первое электронное устройство 104 связано с первой группой 102 пользователей, а второе устройство 110 связано со второй группой 108 пользователей. Следует отметить, что тот факт, что первое электронное устройство 104 связано с первой группой 102 пользователей, а второе устройство 110 связано со второй группой 108 пользователей, не подразумевает какого-либо конкретного режима работы, равно как и необходимости входа в систему, регистрации, или чего-либо подобного. В некоторых вариантах осуществления настоящего технического решения первое электронное устройство 104 и второе электронное устройство 110 могут быть реализованы как одно и то же электронное устройство. В других вариантах осуществления настоящего технического решения первая группа 102 пользователей и вторая группа 108 пользователей могут включать в себя по меньшей мере одного общего пользователя. Другими словами, первое электронное устройство 104, второе электронное устройство 110, первая группа 102 пользователей и вторая группа 108 пользователей показаны на Фиг. 1 как отдельные исключительно с целью облегчения понимания. В дополнительных вариантах осуществления настоящего технического решения первое электронное устройство 104 может быть первым множеством электронных устройств, а второе электронное устройство 110 может быть вторым множеством электронных устройств. Другими словами, первое и второе электронные устройства 104 и 110 были изображены как одиночные электронные устройства на Фиг. 1 исключительно для упрощения.

[38] В некоторых вариантах осуществления настоящего технического решения размер первой группы 102 пользователей и размер второй группы 108 пользователей может быть идентичен. Другими словами, число пользователей в первой группе 102 пользователей может быть идентично числу пользователей во второй группе 108 пользователей. В альтернативных вариантах осуществления настоящего технического решения размер первой группы 102 пользователей и размера второй группы 108 пользователей может быть сравним. Другими словами, число пользователей в первой группе 102 пользователей может быть близко к числу пользователей во второй группе 108 пользователей. Например, число пользователей в первой группе 102 пользователей и число пользователей во второй группе 108 пользователей может составлять сотни тысяч. Однако, следует отметить, что число пользователей в первой группе 102 пользователей и второй группе 108 пользователей не должно являться ограничивающим фактором настоящего технического решения.

[39] Первое электронное устройство 104 и второе электронное устройство 110 каждое включают в себя носитель информации (не изображен). В общем случае носитель информации может быть выполнен как носитель любого характера и вида, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д., а также их комбинацию. Носитель информации может хранить файлы пользователя и программные инструкции. В частности, носитель информации может хранить программное обеспечение для реализации браузерного приложения. В некоторых вариантах осуществления настоящего технического решения первое электронное устройство 104 может реализовать браузер 106, а второе электронное устройство 110 может реализовать браузер 112. В общем случае задачей браузера 106 и браузера 112 является предоставление первой группе 102 пользователей и второй группе 108 пользователей возможности запрашивать данные веб-страниц и отображать их. В некоторых вариантах осуществления настоящего технического решения браузер 106 и браузер 112 могут быть предоставлены одним и тем же поставщиком, а в других вариантах осуществления настоящего технического решения браузер 106 и браузер 112 могут быть предоставлены разными поставщиками.

[40] Варианты осуществления первого электронного устройства 104 и второго электронного устройства 110 никак конкретно не ограничены, но в качестве примера первое электронное устройство 104 и второе электронное устройство 110 могут быть реализованы как персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.) или беспроводное устройство передачи данных (мобильные телефоны, смартфоны, планшеты и т.п.). На Фиг. 1 первое электронное устройство 104 и второе электронное устройство 110 выполнены как ноутбуки, например, как Apple™ MacBook Pro™. Первое электронное устройство 104 может реализовать браузер 106, который является браузерным приложением Яндекс. Второе электронное устройство 110 может реализовать браузер 112, который является иным браузерным приложением. В некоторых вариантах осуществления настоящего технического решения браузер 106 может быть идентичен браузеру 112. Важно иметь в виду, что любое другое коммерчески доступное или собственное браузерное приложение может быть использовано для реализации вариантов осуществления настоящего технического решения, не ограничивающих его объем. Кроме того, следует отметить, что браузер 106, а также и браузер 112, и поисковая система, доступная на сервере 116, могут иметь общего или разных поставщиков.

[41] Каждый пользователь в первой группе 102 пользователей может получить доступ к веб-сайту поисковой системы поставщика, например, www.yandex.com например, через браузер 106, для просмотра набора поисковых результатов, связанных с пользовательским запросом. Другими словами, пакет 120 данных может быть создан браузером 106 и может быть отправлен серверу 116 по сети 114 передачи данных. Пакет 120 данных включает в себя пользовательский запрос на получение страницы результатов поиска (SERP). В некоторых вариантах осуществления настоящего технического решения программное обеспечение поисковой системы сервера 116 может определять набор поисковых результатов и может создавать и отправлять пакет 124 данных первому электронному устройству 104. Пакет 124 данных может включать в себя первую версию страницы результатов поиска SERP и инструкции для браузера 106 на отображение первой версии страницы результатов поиска SERP на экране первого электронного устройства 104. То, как создается страница результатов поиска SERP, никак конкретно не ограничено, и для ее создания могут использоваться любые известные методы.

[42] В некоторых вариантах осуществления настоящего технического решения пакет 120 данных может включать в себя первое множество пакетов данных, причем каждый пакет данных из первого множества пакетов данных отправлен с соответствующего электронного устройства из первого множества электронных устройств. Аналогично, пакет 124 данных может включать в себя второе множество пакетов данных, причем каждый пакет данных из второго множества пакетов данных отправлен с соответствующего электронного устройства из первого множества электронных устройств.

[43] Аналогично, каждый пользователь во второй группе 108 пользователей может получить доступ к веб-сайту поисковой системы поставщика, например, через браузер 112, для просмотра набора поисковых результатов, связанных с пользовательским запросом. Другими словами, пакет 122 данных может быть создан браузером 112 и может быть отправлен серверу 116 по сети 114 передачи данных. Пакет 122 данных включает в себя пользовательский запрос на получение страницы результатов поиска (SERP). В некоторых вариантах осуществления настоящего технического решения программное обеспечение поисковой системы сервера 116 может определять набор поисковых результатов и может создавать и отправлять пакет 126 данных второму электронному устройству 110. Пакет 126 данных может включать в себя вторую версию страницы результатов поиска SERP и инструкции для браузера 112 на отображение второй версии страницы результатов поиска SERP на экране второго электронного устройства 110.

[44] В некоторых вариантах осуществления настоящего технического решения пакет 122 данных может включать в себя третье множество пакетов данных, причем каждый пакет данных из третьего множества пакетов данных отправлен с соответствующего электронного устройства из второго множества электронных устройств. Аналогично, пакет 126 данных может включать в себя четвертое множество пакетов данных, причем каждый пакет данных из четвертого множества пакетов данных отправлен с соответствующего электронного устройства из второго множества электронных устройств.

[45] Вторая версия страницы результатов поиска (SERP) отличается от первой версии страницы результатов поиска (SERP). В некоторых вариантах осуществления настоящего технического решения вторая версия страницы результатов поиска (SERP) может быть модифицированной версией страницы результатов поиска (SERP). Другими словами, вторая версия страницы результатов поиска (SERP) может быть первой версией страницы результатов поиска (SERP), включающей в себя модификацию (т.е., модифицированной первой версией страницы результатов поиска (SERP). Например, модификации может подвергнуться пользовательский интерфейс страницы результатов поиска (SERP), или алгоритм ранжирования страницы результатов поиска (SERP), расположение элементов на странице результатов поиска (SERP) и так далее, или комбинация перечисленного. В других вариантах осуществления настоящего технического решения вторая версия страницы результатов поиска (SERP) может обладать, по сравнению с первой версией страницы результатов поиска (SERP), модифицированным дизайном рекламы, модифицированным фоновым цветом, модифициронными фрагментами информации (сниппетами, от англ. Snippets), модифицированным представлением рекламы в конкретном расположении на странице результатов поиска (SERP) или любой комбинацией вышеперечисленного. В другом варианте осуществления настоящего технического решения первая версия страницы результатов поиска (SERP) может быть текущей выпускаемой версией страницы результатов поиска (SERP), реализованной программным обеспечением поисковой системы, а вторая версия страницы результатов поиска (SERP) может быть обновлением текущей выпускаемой версией страницы результатов поиска (SERP). Следует отметить, что в настоящем техническом решении могут быть предусмотрены другие модификации, отличные от тех, что перечислены выше.

[46] Кроме того, после получения пакета 124 данных и пакета 126 данных первым электронным устройством 104 и вторым электронным устройством 110, соответственно, браузер 106 может отобразить первую версию страницы результатов поиска (SERP), содержащуюся в пакете 124 данных, первой группе 102 пользователей, а браузер 112 может отобразить вторую версию страницы результатов поиска (SERP), содержащуюся в пакете 126 данных, второй группе 108 пользователей. После отображения первой версии страницы результатов поиска (SERP), первая группа 102 пользователей может решить осуществить пользовательские взаимодействия с первой версией страницы результатов поиска (SERP). Аналогично, после отображения второй версии страницы результатов поиска (SERP), вторая группа 108 пользователей может решить осуществить пользовательские взаимодействия со второй версией страницы результатов поиска (SERP).

[47] В общем случае первая группа 102 пользователей и вторая группа 108 пользователей может «взаимодействовать» со страницей результатов поиска (SERP) множеством способов. В некоторых примерах это множество способов, с помощью которых первая группа 102 пользователей и вторая группа 108 пользователей может взаимодействовать со страницей результатов поиска (SERP), включает в себя выбор конкретного поискового результата или ссылки, отправку переформулированного запроса или иного запроса, проведение определенного количества времени на странице результатов поиска (SERP) или на странице конкретного поискового результата и так далее. Следовательно, в некоторых вариантах осуществления настоящего технического решения типы пользовательского взаимодействия могут быть следующими: щелчки мышью (клики) на странице результатов поиска (SERP), переходы на другие веб-страницы со страницы результатов поиска (SERP), отправка запросов, время, проведенное на странице результатов поиска (SERP) или на другой веб-странице, пользовательская сессия страницы результатов поиска (SERP) и так далее. Информация, связанная с пользовательскими взаимодействиями, может храниться в кэше (не изображен) браузера 106 и/или браузера 112. Следует отметить, что первая группа 102 пользователей и вторая группа 108 пользователей может взаимодействовать со страницей результатов поиска (SERP) другими способами, отличными от тех способов, что перечислены выше. Множество способов взаимодействия со страницей результатов поиска (SERP) были представлены исключительно для облегчения понимания и, следовательно, в некоторых вариантах осуществления настоящего технического решения могут быть предусмотрены другие пользовательские взаимодействия и другие типы пользовательских взаимодействий.

[48] В других вариантах осуществления настоящего технического решения пакет 128 данных может быть отправлен первым электронным устройством 104 серверу 116. Пакет 128 данных включает в себя информацию, относящуюся к пользовательским взаимодействиям первой группы 102 пользователей с первой версией страницы результатов поиска (SERP). Аналогично, пакет 130 данных может быть отправлен вторым электронным устройством 110 серверу 116. Пакет 130 данных включает в себя информацию, относящуюся к пользовательским взаимодействиям второй группы 108 пользователей со второй версией страницы результатов поиска (SERP).

[49] В некоторых вариантах осуществления настоящего технического решения пакет 128 данных может включать в себя пятое множество пакетов данных, причем каждый пакет данных из пятого множества пакетов данных отправлен с соответствующего электронного устройства из первого множества электронных устройств. Аналогично, пакет 130 данных может включать в себя шестое множество пакетов данных, причем каждый пакет данных из шестого множества пакетов данных отправлен с соответствующего электронного устройства из второго множества электронных устройств.

[50] В других вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью сохранять информацию, относящуюся к пользовательским взаимодействиям первой группы 102 пользователей с первой версией страницы результатов поиска (SERP), и информацию, относящуюся к пользовательским взаимодействиям второй группы 108 пользователей со второй версией страницы результатов поиска (SERP).

[51] В альтернативных вариантах осуществления настоящего технического решения сервер 116 может фильтровать информацию, связанную с пользовательскими взаимодействиями, для получения информации, связанной с предварительно выбранным типом пользовательского взаимодействия. В одном варианте осуществления настоящего технического решения предварительно выбранный тип пользовательского взаимодействия может быть предварительно выбран экспертом. В другом варианте осуществления настоящего технического решения предварительно выбранный тип пользовательского взаимодействия может быть предварительно выбран сервером 116 на основе модификации, примененной ко второй версии страницы результатов поиска (SERP), сравненной с первой версией страницы результатов поиска (SERP). Например, если модификация применена к алгоритму ранжирования поисковых результатов, сервер 116 может фильтровать информацию, относящуюся к пользовательским взаимодействиям для получения информации, относящейся ко времени, проведенному на выбранном поисковом результате. Обычно предварительно выбранный тип пользовательского взаимодействия предварительно выбран на основе того, насколько хорошо предварительно выбранный тип пользовательского взаимодействия может отразить изменение в пользовательском поведении между первой и второй версиями страницы результатов поиска (SERP).

[52] В других вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью отправлять другую инструкцию (не изображена) первому электронному устройству 104 и второму электронному устройству 112 для включения в пакет 128 и 130 данных информации, относящейся к пользовательским взаимодействиям, которые относятся только к предварительно определенному типу пользовательского взаимодействия, соответственно.

[53] В некоторых вариантах осуществления настоящего технического решения сервер 116 может также быть выполнен с возможностью оценивать первые показатели пользовательских взаимодействий, которые относятся только к предварительно определенному типу пользовательского взаимодействия с первой версией страницы результатов поиска (SERP) и вторые показатели пользовательских взаимодействий, которые относятся только к предварительно определенному типу пользовательского взаимодействия со второй версией страницы результатов поиска (SERP). Как указано выше, первые и вторые показатели пользовательских взаимодействий могут принадлежать к любому типу показателей, относящихся к взаимодействию между любым пользователем из первой и второй группы 102 и 108 пользователей и страницей результатов поиска (SERP) (например, количество времени, проведенной на странице данных поисковых результатов, количество времени, проведенное между последовательными сессиями на странице результатов поиска (SERP), число щелчков на странице результатов поиска (SERP), число отправленных запросов, число переформулировок запросов и так далее). В другом варианте осуществления настоящего технического решения оценка первых показателей пользовательских взаимодействий и вторых показателей пользовательских взаимодействий может включать в себя группировку информации, связанную с пользовательскими взаимодействиями, которые принадлежат к предварительно определенному типу пользовательской информации. С целью облегчения понимания на Фиг. 2 изображена таблица 200 и на Фиг. 3 изображена таблица 202, иллюстрирующие первые и вторые показатели пользовательских взаимодействий, которые принадлежат к предварительно определенному типу пользовательского взаимодействия.

[54] Таблица 200 включает в себя первые показатели пользовательских взаимодействий с первой версией страницы результатов поиска (SERP) после того, как первые показатели пользовательских взаимодействий были оценены сервером 116. Излишне говорить, что первые показатели пользовательских взаимодействий с первой версией страницы результатов поиска (SERP) относятся к пользовательским взаимодействиям, которые принадлежат к предварительно определенному типу пользовательского взаимодействия, осуществленному каждым пользователем в первой группе 102 пользователей (т.е. Пользователь А, В, С, D, Е, как изображено на Фиг. 2). Столбец 204 включает в себя первые показатели пользовательских взаимодействий (в данном случае предварительно определенный тип пользовательского взаимодействия является числом сессий), соответствующие каждому пользователю в первой группе 102 пользователей. Например, сервер 116 определил показатель количества сессий как 4 сессии для пользователя С.

[55] Таблица 202 (Фиг. 3) включает в себя вторые показатели пользовательских взаимодействий со второй версией страницы результатов поиска (SERP) после того, как вторые показатели пользовательских взаимодействий были оценены сервером 116. Излишне говорить, что вторые показатели пользовательских взаимодействий со второй версией страницы результатов поиска (SERP) относятся к пользовательским взаимодействиям, которые принадлежат к предварительно определенному типу пользовательского взаимодействия, осуществленному каждым пользователем во второй группе 108 пользователей (т.е. Пользователь F, G, Н, I, J, как изображено на Фиг. 3). Столбец 206 включает в себя вторые показатели пользовательских взаимодействий, соответствующих каждому пользователю во второй группе 108 пользователей. Например, сервер 116 определил показатель количества сессий как 6 сессий для пользователя J.

[56] Следует отметить, что число пользователей, приведенное в пример на Фиг. 2 и Фиг. 3 для первой и второй группы 102 и 108 пользователей было указано исключительно с целью облегчения понимания, и оно не должно рассматриваться как ограничивающий параметр настоящего технического решения. Кроме того, столбцы 204 и 206 могут включать в себя множество показателей, соответствующих каждому пользователю в первой и второй группах 102 и 108 пользователей. Например, если предварительно определенный тип пользовательского взаимодействия является временем задержки щелчка, столбцы 204 и 206 могут включать в себя множество показателей времени задержки щелчка для каждого пользователя в зависимости от того, сколько щелчков каждый пользователь сделал.

[57] В некоторых вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью сохранять таблицу 200, включающую в себя первые показатели пользовательских взаимодействий, и таблицу 202, включающую в себя вторые показатели пользовательских взаимодействий после первых и вторых показателей пользовательских взаимодействий, оцененных сервером 116. Например, сервер 116 может сохранять таблицу 200 и таблицу 202 на носителе 118 информации. В альтернативных вариантах осуществления настоящего технического решения таблицы 200 и 202 могут быть обработаны процессором сервера 116 для осуществления его дополнительной функциональности. Например, таблицы 200 и 202 могут быть обработаны процессором для определения первого и второго распределения первых и вторых показателей пользовательских взаимодействий, соответственно, как будет описано ниже.

[58] В другом варианте осуществления настоящего технического решения сервер 116 может также быть выполнен с возможностью определять первое распределение первых показателей пользовательских взаимодействий и второе распределение вторых показателей пользовательских взаимодействий. В статистике определение «распределения» значений в выборке означает определение частоты каждого значения в выборке. Пусть три пользователя в первой группе 102 пользователей осуществили 5 сессий. В данном случае частота первого показателя, равного 5 сессиям, равна числу три, поделенному на число пользователей в первой группе 102 пользователей, поскольку только три пользователя из числа пользователей в первой группе 102 пользователей провели 5 сессий. Следовательно, сервер 116 может определять частоту каждого из первых показателей пользовательских взаимодействий для определения первого распределения первых показателей пользовательский взаимодействий. Аналогично, сервер 116 может определять частоту каждого из вторых показателей пользовательских взаимодействий для определения второго распределения вторых показателей пользовательский взаимодействий.

[59] В альтернативном варианте осуществления настоящего технического решения определение первого и второго распределений может включать в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины показателей пользовательских взаимодействий. Другими словами, первые показатели и вторые показатели пользовательских взаимодействий могут быть поделены/дискретизированы на бины показателей пользовательских взаимодействий, где бины первых показателей пользовательских взаимодействий могут иметь интервалы, идентичные интервалам бинов вторых показателей пользовательских взаимодействий. Следовательно, сервер 116 может быть выполнен с возможностью определять первое и второе распределение бинов показателей пользовательских взаимодействий.

[60] Разработчики настоящего технического решения определили, что одним из многих недостатков критериев текущего уровня техники для определения того, произошли ли изменения в пользовательском интерактивном взаимодействии между первой версией и второй версией страницы результатов писка (SERP), является то, что изменение средних значений первых и вторых показателей пользовательских взаимодействий может быть незаметным или статистически не значимым. В соответствии с вариантами осуществления настоящего технического решения, с другой стороны, сервер 116 может проанализировать первое и второе распределения совместно для определения степени изменений в пользовательском интерактивном взаимодействии. Другими словами, сервер 116 может анализировать первое и второе распределения в целом для определения относительного изменения между ними.

[61] В некоторых вариантах осуществления настоящего технического решения относительное изменение между первым и вторым распределением может указывать на изменение в пользовательском интерактивном взаимодействии между первой и второй версией страницы результатов поиска (SERP). Следует отметить, что когда данный пользователь осуществляет данное пользовательское взаимодействие, данное пользовательское взаимодействие может рассматриваться как успешное или неуспешное для данного пользователя. В некоторых вариантах осуществления настоящего технического решения на основе того, что каждый показатель пользовательского интерактивного взаимодействия принадлежит к предварительно выбранному типу пользовательского интерактивного взаимодействия, причем взаимодействие может быть рассмотрено как успешное или неуспешное для каждого пользователя относительно его/ее цели на странице результатов поиска (SERP), первое распределение может быть разложено на первую взвешенную сумму пары распределений (т.е. распределения успешных пользовательских взаимодействий и распределения неуспешных пользовательских взаимодействий). Аналогично, второе распределение может быть разложено на вторую взвешенную сумму пары распределений. Уравнения (1) и (2) определяют первую и вторую взвешенные суммы пары распределений, соответственно:

где х соответствует показателю пользовательского взаимодействия, D_a и D_b отвечает первому распределению и второму распределению соответственно, F₀ a F₁ соответствует паре распределений, р_А и p_B отвечает, соответственно, первому и второму весовому коэффициенту, который может находиться в интервале от 0 до 1.

[62] Следовательно, степень изменения « между первым и вторым распределением может быть отнесена к различию между первым и вторым весовым факторами р_А. и p_B:

[63] Следует отметить, что используя уравнения (1), (2) и (4) F₀ и F₁ могут быть выражены с учетом ∝, р_А, р_в, D_a и D_b как:

[64] В соответствии с уравнениями (5), (6) и (7) F₀ и F₁ могут быть определены для каждой возможной пары (р_А, p_B). Набор 300 решений всех возможных пар (р_А, p_B), который может удовлетворить уравнениям (5), (6) и (7) изображен на Фиг. 4. Следует отметить, что набор 300 решений является центросимметричным относительно точки 302, которая расположена (0.5,0.5). Первая область 304 и вторая область 306 в наборе 300 решений включает в себя все возможные пары (р_А, p_B), которые могут удовлетворить уравнениям (5), (6) и (7).

[65] В некоторых вариантах осуществления настоящего технического решения первая область 304 и вторая область 306 могут быть определены относительно самого низкого соотношения m и самого высокого соотношения М, как показано на Фиг. 4. Самое низкое соотношение m и самое высокое соотношение М могут выглядеть так:

Другими словами, самое низкое соотношение m является самым низким соотношением значения первого распределения и соответствующего значения второго распределения для любого показателя пользовательского взаимодействия между первым и вторым показателями пользовательских взаимодействий. Аналогично, самое высокое соотношение М является самым высоким соотношением значения первого распределения и соответствующего значения второго распределения для любого показателя пользовательского взаимодействия между первым и вторым показателями пользовательских взаимодействий. В некоторых вариантах осуществления настоящего технического решения самое низкое соотношение может указывать на самое маленькое относительное изменение между первым и вторым распределением, а самое высокое соотношение может указывать на самое большое относительное изменение между первым и вторым распределением.

[66] В дополнительных вариантах осуществления настоящего технического решения сервер 116 может выбирать оптимальную пару 308, принадлежащую набору 300 решений, как возможную пару (p_A, p_B), которая минимизирует абсолютное значение степени (размеров) ∝ между первым и вторым распределением. Для наглядности, если минимальное абсолютное значение степени (размера) ∝ отличается от 0, изменение в пользовательском интерактивном взаимодействии возникло между первой и второй версией страницы результатов поиска (SERP). В других вариантах осуществления настоящего технического решения минимальное абсолютное значение степени (размеров) ∝ может быть степень (размером) изменений пользовательского интерактивного взаимодействия. Оптимальная пара 308 из набора 300 решений может быть выражена через М и m:

и следовательно,

[67] В дополнительных вариантах осуществления настоящего технического решения набор 300 решений может быть обработан процессором сервера 116 для выбора оптимальной пары 308. Другими словами, сервер 116 может быть выполнен с возможностью обрабатывать набор 300 решений для выбора возможной пары (p_A, p_B). которая минимизирует абсолютное значение степени (размеров) ∝ между первым и вторым распределением.

[68] В некоторых вариантах осуществления настоящего технического решения сервер 116 может определять статистическую значимость степени изменений в пользовательском интерактивном взаимодействии. Статистическая значимость может быть определена с помощью статистического критерия, который оценивает отличие друг от друга первого и второго распределения. В общем случае, как известно специалистам в данной области техники, статистический критерий принимает или опровергает нулевую (основную) гипотезу, которая заключается в том, что наблюдаемая разница между первым и вторым распределением вызвана случайными флюктуациями. Для определения статистической значимости степени изменения в пользовательском интерактивном взаимодействии можно использовать широкий спектр статистических критериев.

[69] В одном варианте осуществления настоящего технического решения для оценки нулевой гипотезы степени изменений в пользовательском интерактивном взаимодействии, отличном от 0, может быть использовано сочетание техники «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента. Техника «вытаскивания»/бутстреппинга начинается с получения выборок объектов с повторениями (bootstrap samples) первых и вторых показателей пользовательских интерактивных взаимодействий, соответственно. Затем, на основе выборок объектов с повторениями первых и вторых показателей пользовательских интерактивных взаимодействий сервер 116 может быть выполнен с возможностью определять первое и второе эмпирические распределения. Сервер 116 может быть выполнен с возможностью определять первое значение α⁰ относительно первого и второго эмпирических распределений. Кроме того, может быть получена другая выборка объектов с повторениями первых показателей пользовательских интерактивных взаимодействий. Сервер 116 может затем определять другое второе эмпирическое распределение с использованием другой выборки объектов с повторениями первых показателей пользовательских интерактивных взаимодействий. Другими словами, статистический критерий сравнивает выборку объектов с повторениями первых изменений пользовательских интерактивных взаимодействий с другой выборкой объектов с повторениями первых показателей пользовательских интерактивных взаимодействий. Второе значение α⁰ может затем быть определено относительно первого эмпирического распределения и другого, второго эмпирического распределения. Затем может быть определена разница между первым и вторым значением α⁰. Сервер 116 может выполнить технику «вытаскивания»/бутстреппинга множество раз для получения набора различий между первыми и вторыми значениями α⁰. Затем к набору различий между первыми и вторыми значениями α⁰ можно применить одновыборочный критерий Стьюдента.

[70] В других вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью выполнять способ 400 определения возникновения изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP), изображенный на Фиг. 5. Способ 400 будет подробно описан ниже.

ЭТАП 402: Представление первой и второй версий страницы результатов поиска (SERP)

[71] Способ 400 начинается на этапе 402, когда сервер 116 представляет первую версию страницы результатов поиска (SERP) первой группе 102 пользователей и вторую версию страницы результатов поиска (SERP) второй группе 108 пользователей.

[72] В некоторых вариантах осуществления настоящего технического решения программное обеспечение поисковой системы сервера 116 может создавать и отправлять пакет 124 данных первому электронному устройству 104 и пакет 126 данных второму электронному устройству 110. Пакет 124 данных может включать в себя первую версию страницы результатов поиска (SERP) и инструкции для браузера 106 на отображение первой версии страницы результатов поиска SERP на экране первого электронного устройства 104. Другими словами, пакет 124 данных может включать в себя первую версию страницы результатов поиска (SERP) и инструкции для ее представления первой группе 102 пользователей. Аналогично, пакет 126 данных может включать в себя вторую версию страницы результатов поиска SERP и инструкции для браузера 112 на отображение второй версии страницы результатов поиска (SERP) на экране второго электронного устройства 110. Другими словами, пакет 126 данных может включать в себя вторую версию страницы результатов поиска (SERP) и инструкции для ее представления второй группе 108 пользователей.

ЭТАП 404: Оценка первых показателей и вторых показателей пользовательских взаимодействий с первой и второй версией страницы результатов поиска (SERP) соответственно

[73] Способ 400 продолжается на этапе 404, на котором происходит оценка первых показателей и вторых показателей пользовательских взаимодействий с первой и второй версиями страницы результатов поиска (SERP) соответственно, причем пользовательские взаимодействия принадлежат к предварительно определенному типу пользовательских взаимодействий.

[74] В другом варианте осуществления настоящего технического решения пакет 128 данных может быть отправлен первым электронным устройством 104 на сервер 116, причем этот пакет включает в себя информацию, относящуюся к пользовательским взаимодействиям первой группы 102 пользователей с первой версией страницы результатов поиска (SERP). Аналогично пакет 130 данных может быть отправлен вторым электронным устройством 110 на сервер 116, причем этот пакет включает в себя информацию, относящуюся к пользовательским взаимодействиям второй группы 108 пользователей со второй версией страницы результатов поиска (SERP).

[75] В некоторых вариантах осуществления настоящего технического решения сервер 116 может фильтровать информацию, связанную с пользовательскими взаимодействиями первой группы 102 пользователей и второй группы 108 пользователей для получения информации, относящейся к предварительно выбранному типу пользовательских взаимодействий. В одном варианте осуществления настоящего технического решения предварительно выбранный тип пользовательского взаимодействия может быть предварительно выбран экспертом. В другом варианте осуществления настоящего технического решения предварительно выбранный тип пользовательского взаимодействия может быть предварительно выбран сервером 116 на основе модификации, примененной ко второй версии страницы результатов поиска (SERP), сравненной с первой версией страницы результатов поиска (SERP).

[76] В другом варианте осуществления настоящего технического решения оценка первых показателей пользовательских взаимодействий и вторых показателей пользовательских взаимодействий может включать в себя группировку информации, относящейся к пользовательским взаимодействиям, которые принадлежат к предварительно определенному типу пользовательских взаимодействий, первой группы 102 пользователей, в таблицу 200, изображенную на Фиг. 2, а информации, относящейся к пользовательским взаимодействиям, которые принадлежат к предварительно определенному типу пользовательских взаимодействий, второй группы 108 пользователей, в таблицу 202 (Фиг. 3).

ЭТАП 406: Определение первого и второго распределений первых и вторых показателей пользовательских взаимодействий соответственно

[77] Способ 400 переходит на этап 406, на котором происходит определение первого и второго распределений первых и вторых показателей пользовательских взаимодействий соответственно.

[78] В альтернативном варианте осуществления настоящего технического решения определение первого и второго распределений может включать в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины показателей пользовательских взаимодействий. Бины первых показателей пользовательских взаимодействий могут обладать такими же интервалами, как и бины вторых показателей пользовательских взаимодействий. Следовательно, сервер 116 может быть выполнен с возможностью определять первое и второе распределение бинов показателей пользовательских взаимодействий.

[79] Кроме того, сервер 116 может быть выполнен с возможностью анализировать первое и второе распределение совместно для определения степени изменения в пользовательских взаимодействиях. Анализ включает в себя этапы 408, 410, 412 и 414 способа 400.

ЭТАП 408: Определение набора соотношений

[80] Способ 400 переходит на этап 408, на котором происходит определение набора соотношений, причем каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого показателя пользовательского взаимодействия, соответственно. Например, одно соотношение в наборе соотношений может быть соотношением значения первого распределения и соответствующего значения второго распределения для одного показателя пользовательского взаимодействия между первым и вторым показателями пользовательских взаимодействий.

[81] В другом варианте осуществления настоящего технического решения определение первого и второго распределений включает в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины показателей пользовательских взаимодействий. Сервер 116 может определять набор соотношений, причем каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого бина показателей пользовательских взаимодействий, соответственно.

ЭТАП 410: Определение самого низкого соотношения и самого высокого соотношения в наборе соотношений

[82] Способ 400 переходит на этап 410, на котором происходит определение самого низкого соотношения и самого высокого соотношения в наборе соотношений, причем самое низкое соотношение указывает на самое малое относительное изменение между первым и вторым распределениями, а самое высокое соотношение указывает на самое большое относительное изменение между первым и вторым распределениями.

[83] В некоторых вариантах осуществления настоящего технического решения определение самого низкого и самого высокого соотношения выполняется с помощью проверки того, какие соотношения в наборе соотношений могут удовлетворить уравнениям (8) и (9), соответственно.

ЭТАП 412: Определение степени изменения в пользовательском интерактивном взаимодействии

[84] Способ 400 переходит на этап 412, на котором происходит определение степени изменения пользовательского интерактивного взаимодействия на основе сочетания самого низкого и самого высокого соотношений. В некоторых вариантах осуществления настоящего технического решения сочетание самого низкого и самого высокого соотношений могут быть определены уравнением (12), в котором М является самым высоким соотношением в наборе соотношений, а m является самым низким соотношением в наборе соотношений.

ЭТАП 414: Определение статистической значимости степени изменения в пользовательском интерактивном взаимодействии

[85] Способ 400 переходит на этап 414, на котором происходит определение статистической значимости степени изменений в пользовательском интерактивном взаимодействии. Следует отметить, что для определения статистической значимости степени изменения в пользовательском интерактивном взаимодействии можно использовать различные статистические критерии.

[86] Однако, в некоторых вариантах осуществления настоящего технического решения статистическая значимость может быть определена с помощью сочетание техники «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента. Сочетание техники «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента может быть использовано для оценки нулевой гипотезы степени изменений в пользовательском интерактивном взаимодействии, отличной от 0.

ЭТАП 416: Определение того, возникло или нет изменение в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP)

[87] Способ 400 может закончиться на этапе 416, на котором, в ответ на тот факт, что изменения в пользовательском интерактивном взаимодействии статистически значимы, сервер 116 может определить возникновение изменения в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP).

[88] В альтернативном варианте осуществления настоящего технического решения анализ первого и второго распределения совместно может также включать в себя определение пары распределений частично на основе самого низкого и самого высокого соотношений. Определение пары распределений может включать в себя разложение первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно, как показано в уравнениях (1) и (2).

[89] В других вариантах осуществления настоящего технического решения определение пары распределения может быть выполнено с помощью уравнений (5) и (6), которые частично основаны на самом низком и самом высоком соотношениях. Первый и второй весовой коэффициенты, которые используются в уравнениях (5) и (6), могут быть определены с помощью уравнений (10) и (11). Кроме того, степень (размеры) изменения, используемая в уравнениях (5) может быть степенью изменения в пользовательском интерактивном взаимодействии, определенном на этапе 412.

[90] В дополнительном варианте осуществления настоящего технического решения анализ первого и второго распределений совместно может также включать в себя определение того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным, на основе пары распределений.

[91] В некоторых вариантах осуществления настоящего технического решения определение того, является ли определенное изменение в пользовательском интерактивном взаимодействии (т.е. Степень изменения в пользовательском интерактивном взаимодействии, которая является статистически значимым) положительным или отрицательным, на основе пары распределений, может включать в себя анализ пары распределений. Следует отметить, что для определения того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным, в настоящем техническом решении предусмотрены различные анализы пары распределений.

[92] Например, в одном варианте осуществления настоящего технического решения анализ пары распределений может является сравнением соответствующих средних значений каждого распределения в паре распределений с учетом предварительно выбранного типа пользовательских взаимодействий. На Фиг. 6 и Фиг. 7 изображены первый сценарий 500 и второй сценарий 550, причем предварительно выбранный тип пользовательских взаимодействий является типом времени задержки щелчка. В некоторых вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью определять пару распределений по меньшей мере частично на основе самого низкого и самого высокого соотношений. Другими словами, определение пары распределений сервером 116 может включать в себя применение уравнений (5) и (6). Следует отметить, что уравнения (5) и (6) по меньшей мере частично основаны на самом высоком и самом низком соотношениях и были получены после разложения первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно.

[93] Пусть определение пары распределений сервером 116 с помощью уравнений (5) и (6) дает пару распределений 502 и 504 первого сценария 500. Кроме того, на основе уравнений (12), (1) и (2) степень изменений в пользовательском интерактивном взаимодействии соответствует увеличению значимости F_t во второй взвешенной сумме пары распределений по сравнению с первой взвешенной суммой пары распределений. Следует отметить, что более высокие показатели времени задержки щелчка рассматриваются как «хорошие», что будет понятно специалистам в данной области техники. Сервер 116 может определить соответствующие средние значения каждого распределения в паре распределений 502 и 504. В этом случае среднее значение F₁ уступает среднему значению F₀. Следовательно, учитывая предварительно выбранный тип пользовательских взаимодействий, F₁ может быть рассмотрено как «неуспешное» распределение пользовательских интерактивных взаимодействий, поскольку среднее значение F₁ соответствует более низкому показателю времени задержки щелчка, чем среднее значение F₀. Следовательно, поскольку степень изменений в пользовательском интерактивном взаимодействии соответствует увеличению значимости F₁ во второй взвешенной сумме пары распределений по сравнению с первой взвешенной суммой пары распределений, сервер 116 может определить, что определенное изменение в пользовательском интерактивном взаимодействии было отрицательным.

[94] Теперь пусть определение пары распределений сервером 116 с помощью уравнений (5) и (6) дает пару распределений 552 и 554 второго сценария 550 (Фиг. 7). Как было указано выше, на основе уравнений (12), (1) и (2) степень изменений в пользовательском интерактивном взаимодействии соответствует увеличению значимости F₁ во второй взвешенной сумме пары распределений по сравнению с первой взвешенной суммой пары распределений. Сервер 116 может определить соответствующие средние значения каждого распределения в паре распределений 552 и 554. В этом случае среднее значение F₁ превосходит среднее значение F₀. Следовательно, учитывая предварительно выбранный тип пользовательских взаимодействий, F₁ может быть рассмотрено как «успешное» распределение пользовательских интерактивных взаимодействий, поскольку среднее значение F₁ соответствует более высокому показателю времени задержки щелчка, чем среднее значение F₀. Следовательно, поскольку степень изменений в пользовательском интерактивном взаимодействии соответствует увеличению значимости F₁ во второй взвешенной сумме пары распределений по сравнению с первой взвешенной суммой пары распределений, сервер 116 может определить, что определенное изменение в пользовательском интерактивном взаимодействии было положительным.

[95] На Фиг. 8 и Фиг. 9 изображены третий сценарий 600 и четвертый сценарий 650, причем предварительно выбранный тип пользовательских взаимодействий является типом времени отсутствия. Пусть определение пары распределений сервером 116 с помощью уравнений (5) и (6) дает пару распределений 602 и 604 третьего сценария 600 (Фиг. 8). Как было указано выше, на основе уравнений (12), (1) и (2) степень изменений в пользовательском интерактивном взаимодействии соответствует увеличению значимости F₁ во второй взвешенной сумме пары распределений по сравнению с первой взвешенной суммой пары распределений. Следует отметить, что более высокие показатели времени отсутствия рассматриваются как «плохие», что будет понятно специалистам в данной области техники. Сервер 116 может определить соответствующие средние значения каждого распределения в паре распределений 602 и 604. В этом случае среднее значение F₁ уступает среднему значению F₀. Следовательно, учитывая предварительно выбранный тип пользовательских взаимодействий, F₁ может быть рассмотрено как «успешное» распределение пользовательских интерактивных взаимодействий, поскольку среднее значение F₁ соответствует более низкому показателю времени отсутствия, чем среднее значение F₀. Следовательно, поскольку степень изменений в пользовательском интерактивном взаимодействии соответствует увеличению значимости F₁ во второй взвешенной сумме пары распределений по сравнению с первой взвешенной суммой пары распределений, сервер 116 может определить, что определенное изменение в пользовательском интерактивном взаимодействии было положительным.

[96] Теперь пусть определение пары распределений сервером 116 с помощью уравнений (5) и (6) дает пару распределений 652 и 654 четвертого сценария 650 (Фиг. 9). Как было указано выше, на основе уравнений (12), (1) и (2) степень изменений в пользовательском интерактивном взаимодействии соответствует увеличению значимости F₁ во второй взвешенной сумме пары распределений по сравнению с первой взвешенной суммой пары распределений. Сервер 116 может определить соответствующие средние значения каждого распределения в паре распределений 652 и 654. В этом случае среднее значение F₁ превосходит среднее значение F₀. Следовательно, учитывая предварительно выбранный тип пользовательских взаимодействий, F₁ может быть рассмотрено как «неуспешное» распределение пользовательских интерактивных взаимодействий, поскольку среднее значение F₁ соответствует более высокому показателю времени отсутствия, чем среднее значение F₀. Следовательно, поскольку степень изменений в пользовательском интерактивном взаимодействии соответствует увеличению значимости F₁ во второй взвешенной сумме пары распределений по сравнению с первой взвешенной суммой пары распределений, сервер 116 может определить, что определенное изменение в пользовательском интерактивном взаимодействии было отрицательным.

[97] Для сравнения критериев текущего уровня техники и способа 400 определения возникновения изменений в пользовательском интерактивном взаимодействии между первой версией и второй версией страницы результатов поиска (SERP) было проведено множество экспериментов. Далее будет описано три эксперимента из этого множества, а также будут приведены их результаты. Каждый из указанных трех экспериментов проводился в течение двух недель, а первая группа 102 пользователей и вторая группа 108 пользователей были равным образом случайно подобраны и были примерно одинакового размера. Результаты трех экспериментов соответствовали множеству проведенных экспериментов.

[98] Первый эксперимент оценивал модификации дизайна рекламы, которая отображалась вместе с органическими поисковыми (алгоритмическими) результатами на странице результатов поиска (SERP). На первой версии страницы результатов поиска (SERP) рекламные результаты были помечены как определенная область страницы результатов поиска (SERP) с помощью легкого различия в тоне фонового цвета. На второй версии страницы результатов поиска (SERP) каждый рекламный фрагмент информации (сниппет) был помечен отдельно, а фон был таким же, как и остальная страница результатов поиска (SERP). Второй эксперимент оценивал ухудшение функционирования алгоритма органического поиска с помощью игнорирования пометок коммерческой принадлежности (рекламные результаты) на второй версии страницы результатов поиска (SERP). Третий эксперимент оценивал ухудшение функционирования органического алгоритма с помощью замены поисковых результатов на второй версии страницы результатов поиска (SERP).

[99] Для каждого из трех экспериментов предварительно выбранный тип пользовательского взаимодействия был типом времени задержки щелчка, а показателем пользовательских взаимодействий было количество времени, которое пользователь проводил, оценивая каждый выбранный поисковый результат. Кроме того, показатели пользовательских взаимодействий предварительно определенного типа были сгруппированы в три разных набора пользовательских взаимодействий. Первый набор показателей пользовательских взаимодействий относится ко времени задержки щелчков только на рекламные результаты (ADV). Второй набор показателей пользовательских взаимодействий относится ко времени задержки щелчков только на органические поисковые результаты (ORG). Третий набор показателей пользовательских взаимодействий относится ко времени задержки щелчков на все поисковые результаты (ALL).

[100] Статистическая значимость результатов трех экспериментов была определена с помощью двух статистических критериев: критерий Колмогорова-Смирнова (KS) или сочетания способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента (Boot). Уровень статистической значимости был установлен как 5%, как будет понятно специалистам в данной области техники. Результаты приведены в таблице (1) на Фиг. 10.

[101] С учетом результатов первого эксперимента в таблице (1) на Фиг. 10, следует отметить, что критерии современного уровня техники (т.е. среднее время задержки) определили изменение для трафика рекламных результатов (ADV) и для трафика всех поисковых результатов (ALL). Другими словами, время задержки среднего щелчка на рекламные результаты и на все результаты увеличилось. Кроме того, время задержки не изменилось для трафика результатов органического поиска (ORG). Следовательно, критерии текущего уровня техники определили, что первый эксперимент положителен, так как время задержки щелчков на рекламные результаты увеличивается без изменения времени задержки щелчков на результаты органического поиска.

[102] На основе степени изменений в пользовательском интерактивном взаимодействии, которые предусматриваются в настоящем техническом решении, были также определены изменения в трафике рекламных результатов и в трафике всех результатов. Однако, в отличие от критериев современного уровня техники степень изменений в пользовательском интерактивном взаимодействии была определена как статистически значимая (с использованием сочетания способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента) и для трафика органического поиска (ORG). Следовательно, способ 400, изображенный на Фиг. 5, определил значимое небольшое изменение даже в трафике органического поиска.

[103] Аналогичная ситуация может наблюдаться во втором и третьем эксперименте. Во-первых, способ 400, используя сочетание способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента для определения статистической значимости степени изменения в пользовательском интерактивном взаимодействии определил изменения для всех наборов показателей пользовательских взаимодействий, для которых критерии современного уровня техники определили изменения. Во-вторых, способ 400, используя сочетание способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента, определил изменения для некоторых наборов показателей пользовательских взаимодействий, для которых критерии современного уровня техники не определили изменения. В-третьих, способ 400, используя сочетание способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента, в общем случае показывает более низкие значения р, чем критерии современного уровня техники, что указывает на более высокую чувствительность способа 400, как будет понятно специалистам в данной области техники.

[104] Следовательно, проведенные эксперименты предоставляют потенциальный технический результат некоторых вариантов осуществления настоящего технического решения. Более конкретно, способ 400, используя сочетание способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента, превзошел по производительности критерии современного уровня техники в трех экспериментах и с точки зрения уровня чувствительности (т.е. значений p) и с точки зрения числа определенных изменений в пользовательском интерактивном взаимодействии.

[105] Важно иметь в виду, что варианты осуществления настоящего технического решения могут быть реализованы с проявлением и других технических результатов.

[106] Специалисты в данной области техники поймут, что в настоящем описании выражение «получение данных» от пользователя подразумевает получение электронным устройством данных от пользователя в виде электронного (или другого) сигнала. Кроме того, специалисты в данной области техники поймут, что отображение данных пользователю через графический интерфейс пользователя (например, экран компьютерного устройства и тому подобное) может включать в себя передачу сигнала графическому интерфейсу пользователя, этот сигнал содержит данные, которые могут быть обработаны, и по меньшей мере часть этих данных может отображаться пользователю через графический интерфейс пользователя.

[107] Некоторые из этих этапов, а также передача-получение сигнала хорошо известны в данной области техники и поэтому для упрощения были опущены в конкретных частях данного описания. Сигналы могут быть переданы-получены с помощью оптических средств (например, оптоволоконного соединения), электронных средств (например, проводного или беспроводного соединения) и механических средств (например, на основе давления, температуры или другого подходящего параметра).

[108] Модификации и улучшения вышеописанных вариантов осуществления настоящего технического решения будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не несет никаких ограничений. Таким образом, объем настоящего технического решения ограничен только объемом прилагаемой формулы изобретения.

[109] Таким образом, с одной точки зрения, варианты осуществления настоящего технического решения, описанные выше, можно изложить следующим образом, структурированно, пронумерованными пунктами.

[110] ПУНКТ 1. Способ определения изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP); причем вторая версия страницы результатов поиска (SERP) является модифицированной версией страницы результатов поиска (SERP), а способ выполняется на сервере (116) и включает в себя:

представление (402) первой версии страницы результатов поиска (SERP) первой группе (102) пользователей и второй версии страницы результатов поиска (SERP) второй группе (108) пользователей;

оценку (404) первых показателей и вторых показателей пользовательских взаимодействий с первой и второй версиями страницы результатов поиска (SERP) соответственно, причем пользовательские взаимодействия принадлежат к предварительно определенному типу пользовательских взаимодействий;

определение (406) первого и второго распределений первых и вторых показателей пользовательских взаимодействий соответственно;

анализ первого и второго распределений совместно для определения степени изменений в пользовательском интерактивном взаимодействии, причем анализ включает в себя:

определение (408) набора соотношений, причем каждое соотношений в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого показателя пользовательского взаимодействия, соответственно;

определение (410) самого низкого соотношения и самого высокого соотношения в наборе соотношений, причем самое низкое соотношение указывает на самое малое относительное изменение между первым и вторым распределениями, а самое высокое соотношение указывает на самое большое относительное изменение между первым и вторым распределениями;

определение (412) степени изменения пользовательского интерактивного взаимодействия на основе сочетания самого низкого и самого высокого соотношений; и

определение (414) статистической значимости степени изменения в пользовательском интерактивном взаимодействии;

в ответ на тот факт, что изменения в пользовательском интерактивном взаимодействии статистически значимы, определение (416) того, что в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP) произошло изменение.

[111] ПУНКТ 2. Способ по п. 1, в котором анализ дополнительно включает в себя:

определение пары распределений (502, 504), по меньшей мере частично основанных на самом высоком и самом невысоком соотношениях, причем определение включает в себя разложение первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно; и определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии на основе пары распределений.

[112] ПУНКТ 3. Способ по п. 1, в котором определение первого и второго распределений включает в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины (от англ. bin - ячейка, столбик гистограммы) показателей пользовательских взаимодействий, причем анализ включает в себя:

каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого бина показателей пользовательских взаимодействий, соответственно.

[113] ПУНКТ 4. Способ по п. 1, в котором сочетание самого низкого и самого высокого соотношения определяется с использованием: ,

где α⁰- сочетание самого низкого и самого высокого соотношений,

М - самое высокое соотношение в наборе соотношений,

m - самое низкое соотношение в наборе соотношений.

[114] ПУНКТ 5. Способ по п. 1, в котором определение статистической значимости степени изменения в пользовательском интерактивном взаимодействии включает в себя применение по меньшей мере одного из:

критерия Колмогорова-Смирнова;

сочетания способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента.

[115] ПУНКТ 6. Способ по п. 2, в котором определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии, основанное на паре распределений, включает в себя сравнение соответствующих средних значений каждого распределения в паре (502, 504) распределений с учетом предварительно определенного типа пользовательских взаимодействий.

[116] ПУНКТ 7. Способ по п. 3, в котором бины первых показателей пользовательских взаимодействий обладают такими же интервалами, как и бины вторых показателей пользовательских взаимодействий.

[117] ПУНКТ 8. Сервер (116), включающий в себя процессор и машиночитаемые инструкции для определения возникновения изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP); причем вторая версия страницы результатов поиска (SERP) является модифицированной версией страницы результатов поиска (SERP), а процессор выполнен с возможностью выполнять способ по пп. 1-7.

Изобретение относится к определению изменений в пользовательском интерактивном взаимодействии между первой и второй версией страницы результатов поиска. Технический результат – повышение качества тестирования изменений в пользовательском взаимодействии между первой версией и второй версией страницы результатов поиска. Способ определения изменений в пользовательском взаимодействии между первой и второй версиями страницы результатов поиска включает в себя: представление первой версии первой группе пользователей и второй версии второй группе пользователей; оценку первых и вторых показателей пользовательских взаимодействий с первой и второй версиями страницы результатов поиска соответственно, причем пользовательские взаимодействия принадлежат к предварительно определенному типу пользовательских взаимодействий; определение первого и второго распределений первых показателей и вторых показателей пользовательских взаимодействий, соответственно; анализ первого и второго распределений совместно для определения степени изменений в пользовательском интерактивном взаимодействии, в ответ на тот факт, что изменения в пользовательском интерактивном взаимодействии статистически значимы, определение того, что в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска произошло изменение. 2 н. и 12 з.п. ф-лы, 10 ил.

1. Способ определения изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP); причем вторая версия страницы результатов поиска (SERP) является модифицированной версией страницы результатов поиска (SERP), а способ выполняется на сервере и включает в себя:

представление первой версии страницы результатов поиска (SERP) первому набору пользователей и второй версии страницы результатов поиска (SERP) второму набору пользователей;

оценку первых показателей и вторых показателей пользовательских взаимодействий с первой и второй версиями страницы результатов поиска (SERP) соответственно, причем пользовательские взаимодействия принадлежат к предварительно определенному типу пользовательских взаимодействий;

определение первого и второго распределений первых и вторых показателей пользовательских взаимодействий соответственно;

анализ первого и второго распределений совместно для определения степени изменений в пользовательском интерактивном взаимодействии, причем анализ включает в себя:

определение набора соотношений, причем каждое соотношений в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого показателя пользовательского взаимодействия, соответственно;

определение самого низкого соотношения и самого высокого соотношения в наборе соотношений, причем самое низкое соотношение указывает на самое малое относительное изменение между первым и вторым распределениями, а самое высокое соотношение указывает на самое большое относительное изменение между первым и вторым распределениями;

определение степени изменения пользовательского интерактивного взаимодействия на основе сочетания самого низкого и самого высокого соотношений; и

определение статистической значимости степени изменения в пользовательском интерактивном взаимодействии;

в ответ на тот факт, что степень изменения в пользовательском интерактивном взаимодействии статистически значима, определение того, что в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP) произошло изменение.

2. Способ по п. 1, в котором анализ дополнительно включает в себя:

- определение пары распределений, по меньшей мере частично основанных на самом высоком и самом низком соотношениях, причем определение включает в себя разложение первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно; и

- определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии на основе пары распределений.

3. Способ по п. 1, в котором определение первого и второго распределений включает в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины показателей пользовательских взаимодействий, причем анализ включает в себя:

- каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого бина показателей пользовательских взаимодействий, соответственно.

4. Способ по п. 1, в котором сочетание самого низкого и самого высокого соотношения определяется с использованием: .

5. Способ по п. 1, в котором определение статистической значимости степени изменения в пользовательском интерактивном взаимодействии включает в себя применение по меньшей мере одного из:

- критерия Колмогорова-Смирнова

- сочетания способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента

6. Способ по п. 2, в котором определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии, основанное на паре распределений, включает в себя сравнение соответствующих средних значений каждого распределения в паре распределений с учетом предварительно определенного типа пользовательских взаимодействий.

7. Способ по п. 3, в котором бины первых показателей пользовательских взаимодействий обладают такими же интервалами, как и бины вторых показателей пользовательских взаимодействий.

8. Сервер, включающий в себя процессор и машиночитаемые инструкции для определения возникновения изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP); причем вторая версия страницы результатов поиска (SERP) является модифицированной версией страницы результатов поиска (SERP), причем процессор выполнен с возможностью осуществлять:

представление первой версии страницы результатов поиска (SERP) первому набору пользователей и второй версии страницы результатов поиска (SERP) второму набору пользователей;

оценку первых показателей и вторых показателей пользовательских взаимодействий с первой и второй версиями страницы результатов поиска (SERP) соответственно, причем пользовательские взаимодействия принадлежат к предварительно определенному типу пользовательских взаимодействий;

определение первого и второго распределений первых и вторых показателей пользовательских взаимодействий соответственно;

анализ первого и второго распределений совместно для определения степени изменений в пользовательском интерактивном взаимодействии, причем анализ включает в себя:

определение набора соотношений, причем каждое соотношений в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого показателя пользовательского взаимодействия, соответственно;

определение самого низкого соотношения и самого высокого соотношения в наборе соотношений, причем самое низкое соотношение указывает на самое малое относительное изменение между первым и вторым распределениями, а самое высокое соотношение указывает на самое большое относительное изменение между первым и вторым распределениями;

определение степени изменения пользовательского интерактивного взаимодействия на основе сочетания самого низкого и самого высокого соотношений; и

определение статистической значимости степени изменения в пользовательском интерактивном взаимодействии;

в ответ на тот факт, что степень изменения в пользовательском интерактивном взаимодействии статистически значима, определение того, что в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP) произошло изменение.

9. Сервер по п. 8, в котором анализ дополнительно включает в себя:

- определение пары распределений, по меньшей мере частично основанных на самом высоком и самом низком соотношениях, причем это определение включает в себя разложение первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно; и

- определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии на основе пары распределений.

10. Сервер по п. 8, в котором определение первого и второго распределений включает в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины показателей пользовательских взаимодействий, причем анализ включает в себя:

- каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого бина показателей пользовательских взаимодействий, соответственно.

11. Сервер по п. 8, в котором сочетание самого низкого и самого высокого соотношения определяется с использованием: .

12. Сервер по п. 8, в котором определение статистической значимости степени изменения в пользовательском интерактивном взаимодействии включает в себя применение по меньшей мере одного из:

- критерия Колмогорова-Смирнова

- сочетания способа «вытаскивания»/бутстреппинга с одновыборочным критерием Стьюдента

13. Сервер по п. 9, в котором определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии, основанное на паре распределений, включает в себя сравнение соответствующих средних значений каждого распределения в паре распределений с учетом предварительно определенного типа пользовательских взаимодействий.

14. Сервер по п. 10, в котором бины первых показателей пользовательских взаимодействий обладают такими же интервалами, как и бины вторых показателей пользовательских взаимодействий.