МНОГОЭТАПНОЕ ОБУЧЕНИЕ МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ ДЛЯ РАНЖИРОВАНИЯ РЕЗУЛЬТАТОВ ПОИСКА Российский патент 2024 года по МПК G06N3/08 G06F16/00 

Область техники, к которой относится изобретение

[01] Настоящая технология относится к способам машинного обучения, в частности, к способам и системам для обучения и применения моделей машинного обучения на основе трансформера для ранжирования результатов поиска.

Уровень техники

[02] Веб-поиск представляет собой важную задачу, связанную с ежедневной обработкой миллиардов пользовательских запросов. Современные системы веб-поиска обычно ранжируют результаты поиска согласно их релевантности поисковому запросу и другим критериям. Определение релевантности результатов поиска запросу часто предусматривает применение алгоритмов машинного обучения, обученных использованию нескольких определенных вручную признаков для оценивания различных показателей релевантности. Такое определение релевантности может рассматриваться, по меньшей мере частично, как проблема понимания языка, поскольку релевантность документа поисковому запросу имеет по меньшей мере некоторое отношение к семантическому пониманию запроса и результатов поиска, даже в случаях, когда запрос и результаты не содержат общих слов или когда результаты представляют собой изображения, музыку или другие нетекстовые результаты.

[03] Недавние разработки в области нейронной обработки естественного языка включают в себя использование трансформерных моделей машинного обучения, как описано в статье Vaswani et al., «Attention Is All You Need», Advances in neural information processing systems, pages 5998-6008, 2017. Трансформер представляет собой модель глубокого обучения (т.е. искусственную нейронную сеть или другую модель машинного обучения, содержащую несколько слоев), в которой для назначения одним частям входных данных большей значимости, чем другим, используется механизм внимания. При обработке естественного языка механизм внимания используется с целью определения контекста для слов из входных данных, при этом одно и то же слово в разных контекстах может иметь различные значения. Трансформеры способны параллельно обрабатывать множество слов или токенов естественного языка, что позволяет использовать параллельное обучение.

[04] На трансформерах основаны и другие достижения в области обработки естественного языка, включая заранее обучаемые системы, которые могут заранее обучаться с использованием большого набора данных, а затем «уточняться» для использования в конкретных приложениях. Примеры таких систем включают в себя модель «Представления двунаправленного кодера из трансформеров» (BERT, Bidirectional Encoder Representations from Transformers), описанную в работе Devlin et al., «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding», Proceedings of NAACL-HLT 2019, pages 4171-4186, 2019, и заранее обучаемый генеративный трансформер (GPT, Generative Pre-trained Transformer), описанный в работе Radford et al., «Improving Language Understanding by Generative Pre-Training», 2018.

[05] Несмотря на обеспечение трансформерами значительных успехов в задачах обработки естественного языка, при их использовании на практике для ранжирования результатов поиска возможны некоторые затруднения. Например, многие большие наборы данных о релевантности поиска содержат нетекстовые данные, такие как информация о выбранных пользователем ссылках, которая может быть полезна при обучении модели ранжирования.

Раскрытие изобретения

[06] Различные варианты осуществления настоящей технологии обеспечивают способы эффективного обучения трансформерных моделей на метаданных запроса и данных о релевантности поиска, таких как данные о «кликах», на этапе предварительного обучения. Затем эти модели могут уточняться с использованием меньших краудсорсинговых наборов данных о релевантности для применения при ранжировании результатов поиска. Описанная технология повышает эффективность систем, используемых для ранжирования результатов поиска, чтобы потенциально обслуживать десятки миллионов активных пользователей и обрабатывать тысячи запросов в секунду.

[07] Согласно одному аспекту настоящей технологии реализован компьютерный способ обучения модели машинного обучения ранжированию цифровых объектов этапа использования, сформированных с применением поискового запроса этапа использования. Способ выполняется процессором и включает в себя получение процессором первого множества обучающих цифровых объектов, при этом объект из первого множества обучающих цифровых объектов связан с параметром прошлых пользовательских действий, указывающим на пользовательские действия прошлых пользователей с объектом из первого множества обучающих цифровых объектов. Способ на первом этапе обучения модели машинного обучения дополнительно включает в себя основанное на первом множестве обучающих цифровых объектов обучение определению параметра прогнозируемых пользовательских действий для цифрового объекта этапа использования, при этом параметр прогнозируемых пользовательских действий указывает на пользовательские действия будущих пользователей с цифровым объектом этапа использования. Способ также включает в себя получение процессором второго множества обучающих цифровых объектов, при этом объект из второго множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования объекта из второго множества обучающих цифровых объектов, и (б) с первой сформированной оценщиком меткой, указывающей на степень релевантности объекта из второго множества обучающих цифровых объектов обучающему поисковому запросу с точки зрения оценщика-человека, назначившего первую сформированную оценщиком метку. Способ на втором этапе обучения, следующем за первым этапом обучения, также включает в себя основанное на втором множестве обучающих цифровых объектов обучение модели машинного обучения определению синтезированной метки оценщика для цифрового объекта этапа использования, указывающей на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования с точки зрения оценщика-человека в случае предоставления цифрового объекта этапа использования оценщику-человеку. Способ также включает в себя применение процессором модели машинного обучения в отношении первого множества обучающих цифровых объектов для дополнения объекта из первого множества обучающих цифровых объектов синтезированной меткой оценщика и формирования таким образом первого дополненного множества обучающих цифровых объектов. Способ также включает в себя основанное на первом дополненном множестве обучающих цифровых объектов обучение модели машинного обучения определению параметра релевантности цифрового объекта этапа использования, указывающего на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования.

[08] В некоторых вариантах осуществления изобретения объект из первого множества обучающих цифровых объектов содержит указание на цифровой документ, связанный с метаданными документа. Основанное на первом множестве обучающих цифровых объектов обучение модели машинного обучения на первом этапе обучения дополнительно включает в себя: преобразование метаданных документа в их текстовое представление, содержащее токены; предварительную обработку текстового представления для маскирования в нем нескольких маскированных токенов; и основанное на первом множестве обучающих цифровых объектов обучение модели машинного обучения определению токена из нескольких маскированных токенов на основе контекста, обеспечиваемого соседними токенами. Параметр релевантности цифрового объекта этапа использования дополнительно указывает на параметр семантической релевантности, указывающий на степень семантической релевантности поискового запроса этапа использования контенту цифрового объекта этапа использования. В некоторых вариантах осуществления изобретения метаданные документа содержат по меньшей мере одно из следующего: обучающий поисковый запрос, связанный с объектом из первого множества обучающих цифровых объектов, заголовок цифрового документа, контент цифрового документа и веб-адрес, связанный с цифровым документом.

[09] В некоторых вариантах осуществления способа он дополнительно включает в себя определение параметра прошлых пользовательских действий, связанного с объектом из первого множества обучающих цифровых объектов, на основе данных о «кликах» (нажатиях, например, выборе результате поиска) прошлых пользователей. В некоторых вариантах осуществления изобретения данные о «кликах» содержат данные о по меньшей мере одном «клике» по меньшей мере одного прошлого пользователя, сделанном в ответ на отправку обучающего поискового запроса, связанного с объектом из первого множества обучающих цифровых объектов.

[010] В некоторых вариантах осуществления способа он перед обучением модели машинного обучения определению параметра релевантности цифрового объекта этапа использования дополнительно включает в себя получение процессором третьего множества обучающих цифровых объектов, при этом объект из третьего множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования объекта из третьего множества обучающих цифровых объектов, и (б) со второй сформированной оценщиком меткой, указывающей на степень релевантности объекта из третьего множества обучающих цифровых объектов обучающему поисковому запросу с точки зрения оценщика-человека, назначившего вторую сформированную оценщиком метку. В этих вариантах осуществления способ также включает в себя обучение на третьем этапе обучения, следующем за вторым этапом обучения, на основе третьего множества обучающих цифровых объектов модели машинного обучения определению уточненной синтезированной метки оценщика цифрового объекта этапа использования, указывающей на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования с точки зрения оценщика-человека в случае предоставления цифрового объекта этапа использования оценщику-человеку. Способ также включает в себя применение процессором модели машинного обучения в отношении первого дополненного множества обучающих цифровых объектов для дополнения объекта из первого дополненного множества обучающих цифровых объектов уточненной синтезированной меткой оценщика и формирования таким образом второго дополненного множества обучающих цифровых объектов. В этих вариантах осуществления способа он дополнительно включает в себя обучение модели машинного обучения определению параметра релевантности цифрового объекта этапа использования на основе второго дополненного множества обучающих цифровых объектов. В некоторых вариантах осуществления изобретения множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов по меньшей мере частично отличается от любого другого множества из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов. В некоторых вариантах осуществления изобретения множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов больше по размеру, чем последующее множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов.

[011] В некоторых вариантах осуществления способа он после обучения модели машинного обучения определению параметра релевантности цифрового объекта этапа использования дополнительно включает в себя получение процессором третьего множества обучающих цифровых объектов, при этом объект из третьего множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования объекта из третьего множества обучающих цифровых объектов, и (б) со второй сформированной оценщиком меткой, указывающей на степень релевантности объекта из третьего множества обучающих цифровых объектов обучающему поисковому запросу с точки зрения оценщика-человека, назначившего вторую сформированную оценщиком метку. Способ также включает в себя основанное на третьем множестве обучающих цифровых объектов обучение модели машинного обучения определению уточненного параметра релевантности цифрового объекта этапа использования, указывающего на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования. В некоторых вариантах осуществления изобретения множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов по меньшей мере частично отличается от любого другого множества из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов. В некоторых вариантах осуществления изобретения множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов больше по размеру, чем последующее множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов. В некоторых вариантах осуществления изобретения третье множество обучающих объектов идентично второму множеству обучающих цифровых объектов.

[012] В некоторых вариантах осуществления изобретения на первом этапе обучения модель машинного обучения обучается определению грубой первоначальной оценки параметра релевантности цифрового объекта этапа использования. На каждом следующем этапе обучения модель машинного обучения обучается с целью улучшения грубой первоначальной оценки. В некоторых вариантах осуществления изобретения улучшение грубой первоначальной оценки определяется с использованием метрики на основе нормализованного дисконтированного кумулятивного показателя.

[013] В некоторых вариантах осуществления изобретения модель машинного обучения содержит по меньшей мере одну модель обучения. В некоторых вариантах осуществления изобретения эта по меньшей мере одна модель обучения представляет собой модель обучения на основе трансформера.

[014] В некоторых вариантах осуществления изобретения модель машинного обучения содержит по меньшей мере две модели обучения. Первая модель из двух моделей обучения обучается определению синтезированной метки оценщика для цифрового объекта этапа использования с целью формирования первого дополненного множества обучающих цифровых объектов. Вторая модель из двух моделей обучения обучается определению параметра релевантности цифрового объекта этапа использования на основе первого дополненного множества обучающих цифровых объектов. В некоторых вариантах осуществления изобретения первая модель из двух моделей обучения отличается от второй модели. В некоторых вариантах осуществления изобретения первая модель из двух моделей обучения представляет собой модель обучения на основе трансформера.

[015] В некоторых вариантах осуществления способа он дополнительно включает в себя ранжирование цифровых объектов этапа использования по связанным с ними параметрам релевантности. В некоторых вариантах осуществления способа он дополнительно включает в себя ранжирование цифровых объектов этапа использования на основе связанных с ними параметров релевантности, включающее в себя использование другой модели обучения, обученной ранжированию цифровых объектов этапа использования с применением в качестве входных признаков параметров релевантности, сформированных моделью машинного обучения. В некоторых вариантах осуществления изобретения другая модель обучения представляет собой модель обучения на основе деревьев решений CatBoost.

[016] Согласно другому аспекту настоящей технологии реализована система для обучения модели машинного обучения ранжированию цифровых объектов этапа использования, сформированных с применением поискового запроса этапа использования. Система содержит процессор и память, связанную с процессором и содержащую обучающий модуль машинного обучения, выполняемый процессором. Обучающий модуль машинного обучения содержит команды, при исполнении которых процессор выполняет следующие действия: получение первого множества обучающих цифровых объектов, при этом объект из первого множества обучающих цифровых объектов связан с параметром прошлых пользовательских действий, указывающим на пользовательские действия прошлых пользователей с объектом из первого множества обучающих цифровых объектов; на первом этапе обучения - основанное на первом множестве обучающих цифровых объектов обучение модели машинного обучения определению параметра прогнозируемых пользовательских действий для цифрового объекта этапа использования, указывающего на пользовательские действия будущих пользователей с цифровым объектом этапа использования; получение второго множества обучающих цифровых объектов, при этом объект из второго множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования объекта из второго множества обучающих цифровых объектов, и (б) с первой сформированной оценщиком меткой, указывающей на степень релевантности объекта из второго множества обучающих цифровых объектов обучающему поисковому запросу с точки зрения оценщика-человека, назначившего первую сформированную оценщиком метку; на втором этапе обучения, следующем за первым этапом обучения, - основанное на втором множестве обучающих цифровых объектов обучение модели машинного обучения определению синтезированной метки оценщика цифрового объекта этапа использования, указывающей на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования с точки зрения оценщика-человека в случае предоставления цифрового объекта этапа использования оценщику-человеку; применение модели машинного обучения в отношении первого множества обучающих цифровых объектов для дополнения объекта из первого множества обучающих цифровых объектов синтезированной меткой оценщика и формирования таким образом первого дополненного множества обучающих цифровых объектов; и основанное на первом дополненном множестве обучающих цифровых объектов обучение модели машинного обучения определению параметра релевантности цифрового объекта этапа использования, указывающего на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования.

[017] В некоторых вариантах осуществления изобретения объект из первого множества обучающих цифровых объектов содержит указание на цифровой документ, связанный с метаданными документа. Обучающий модуль машинного обучения также содержит команды, при исполнении которых процессор обучает модель машинного обучения на первом этапе обучения на основе первого множества обучающих цифровых объектов путем: преобразования метаданных документа в их текстовое представление, содержащее токены; предварительной обработки текстового представления для маскирования в нем нескольких маскированных токенов; и основанного на первом множестве обучающих цифровых объектов обучения модели машинного обучения определению токена из нескольких маскированных токенов на основе контекста, обеспечиваемого соседними токенами. В этих вариантах осуществления изобретения параметр релевантности цифрового объекта этапа использования дополнительно указывает на параметр семантической релевантности, указывающий на степень семантической релевантности поискового запроса этапа использования контенту цифрового объекта этапа использования.

[018] В некоторых вариантах осуществления изобретения обучающий модуль машинного обучения дополнительно содержит команды, при исполнении которых процессор перед обучением модели машинного обучения определению параметра релевантности цифрового объекта этапа использования выполняет следующие действия: получение третьего множества обучающих цифровых объектов, при этом объект из третьего множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования объекта из третьего множества обучающих цифровых объектов, и (б) со второй сформированной оценщиком меткой, указывающей на степень релевантности объекта из третьего множества обучающих цифровых объектов обучающему поисковому запросу с точки зрения оценщика-человека, назначившего вторую сформированную оценщиком метку; обучение на третьем этапе обучения, следующем за вторым этапом обучения, на основе третьего множества обучающих цифровых объектов модели машинного обучения определению уточненной синтезированной метки оценщика цифрового объекта этапа использования, указывающей на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования с точки зрения оценщика-человека в случае предоставления цифрового объекта этапа использования оценщику-человеку; применение модели машинного обучения в отношении первого дополненного множества обучающих цифровых объектов для дополнения объекта из первого дополненного множества обучающих цифровых объектов уточненной синтезированной меткой оценщика и формирования таким образом второго дополненного множества обучающих цифровых объектов; и основанное на втором дополненном множестве обучающих цифровых объектов обучение модели машинного обучения определению параметра релевантности цифрового объекта этапа использования.

Краткое описание чертежей

[019] Эти и другие признаки, аспекты и преимущества настоящей технологии поясняются в дальнейшем описании, в приложенной формуле изобретения и на следующих чертежах.

[020] На фиг. 1 представлена схема примера компьютерной системы для использования в некоторых вариантах осуществления систем и/или способов согласно настоящей технологии.

[021] На фиг. 2 представлена блок-схема архитектуры модели машинного обучения согласно различным вариантам осуществления настоящей технологии.

[022] На фиг. 3 представлена структура наборов данных, которые могут быть использованы для предварительного обучения и точной настройки модели машинного обучения, предназначенной для применения при ранжировании результатов поиска согласно различным вариантам осуществления настоящей технологии.

[023] На фиг. 4 представлена блок-схема этапов предварительного обучения и точной настройки, выполняемых для обучения модели машинного обучения формированию оценок релевантности, согласно различным вариантам осуществления настоящей технологии.

[024] На фиг. 5 представлена блок-схема компьютерного способа обучения модели машинного обучения согласно различным вариантам осуществления настоящей технологии.

[025] На фиг. 6 представлена блок-схема использования полностью обученной модели машинного для ранжирования результатов поиска согласно различным вариантам осуществления настоящей технологии.

Осуществление изобретения

[026] Различные типовые варианты осуществления настоящей технологии более полно описаны ниже с ссылкой на приложенные чертежи. Тем не менее, настоящая технология может быть реализована во многих различных формах и не должна рассматриваться как ограниченная описанными здесь типовыми вариантами осуществления. Абсолютные и относительные размеры слоев и областей могут быть увеличенными на чертежах для ясности. Одинаковые числовые обозначения везде относятся к одинаковым элементам.

[027] Представленные здесь примеры и условный язык предназначены для обеспечения лучшего понимания принципов настоящей технологии, а не для ограничения ее объема до таких специально приведенных примеров и условий. Очевидно, что специалисты в данной области техники способны разработать различные способы и устройства, которые явно не описаны и не показаны, но реализуют принципы настоящей технологии в пределах ее существа и объема.

[028] Чтобы способствовать лучшему пониманию, последующее описание может содержать упрощенные варианты реализации настоящей технологии. Специалистам в данной области должно быть понятно, что другие варианты осуществления настоящей технологии могут быть значительно сложнее.

[029] В некоторых случаях приводятся полезные примеры модификаций настоящей технологии. Они способствуют пониманию, но также не определяют объема или границ настоящей технологии. Представленный перечень модификаций не является исчерпывающим и специалист в данной области может разработать другие модификации в пределах объема настоящей технологии. Кроме того, если в некоторых случаях модификации не описаны, это не означает, что они невозможны и/или что описание содержит единственно возможный вариант реализации того или иного элемента настоящей технологии.

[030] Очевидно, что несмотря на использование здесь числительных «первый», «второй», «третий» и т.д. для описания различных элементов, эти элементы не должны ограничиваться такими числительными. Такие числительные используются лишь для указания различия между элементами. Таким образом, первый элемент, обсуждаемый ниже, можно назвать вторым элементом без выхода за границы настоящей технологии. В контексте данного документа термин «и/или» соответствует любому элементу и всем сочетаниям элементов из соответствующих перечисленных элементов.

[031] Должно быть понятно, что при указании на соединение или связь элемента с другим элементом он может быть соединен или связан с другим элементом непосредственно либо при этом могут присутствовать промежуточные элементы. Если указано, что элемент непосредственно соединен или непосредственно связан с другим элементом, то промежуточные элементы отсутствуют. Другие слова, используемые для описания взаимосвязи между элементами, следует понимать аналогичным образом (например, «между» и «непосредственно между», «примыкающий» и «непосредственно примыкающий» и т.д.).

[032] Используемая здесь терминология предназначена лишь для описания конкретных типовых вариантов осуществления, но не для ограничения объема охраны настоящей технологии. Используемые здесь слова в единственном числе также подразумевают слова во множественном числе, если контекст явно не указывает на иное. Должно быть понятно, что используемые здесь термины «содержит» и/или «содержащий» соответствуют наличию указанных признаков, частей, шагов, операций, элементов и/или компонентов, но не исключают наличия или добавления одного или нескольких других признаков, частей, шагов, операций, элементов, компонентов и/или их групп.

[033] Функции различных элементов, показанных на чертежах, включая любой функциональный блок, обозначенный как «процессор», могут быть реализованы с использованием специализированных аппаратных средств, а также аппаратных средств, способных выполнять программное обеспечение. Если используется процессор, эти функции могут выполняться одним выделенным процессором, одним совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут использоваться совместно. В некоторых вариантах осуществления настоящей технологии процессор может представлять собой процессор общего назначения, такой как центральный процессор (CPU), или специализированный процессор, такой как цифровой сигнальный процессор (DSP). Кроме того, явное использование термина «процессор» не должно трактоваться как указание исключительно на аппаратные средства, способные выполнять программное обеспечение, и может, помимо прочего, подразумевать специализированную интегральную схему (ASIC), программируемую вентильную матрицу (FPGA), постоянное запоминающее устройство (ПЗУ) для хранения программного обеспечения, оперативное запоминающее устройство (ОЗУ) и энергонезависимое запоминающее устройство. Также могут подразумеваться другие аппаратные средства, общего назначения и/или заказные.

[034] Программные модули либо просто модули или блоки, реализация которых предполагается в виде программных средств, могут быть представлены здесь как любое сочетание элементов блок-схемы или других элементов, указывающих на выполнение шагов процесса и/или содержащих текстовое описание. Такие модули могут выполняться аппаратными средствами, показанными явно или подразумеваемыми. Кроме того, должно быть понятно, что модуль, помимо прочего, может, например, содержать обеспечивающие требуемые возможности компьютерную программную логику, компьютерные программные команды, прикладное программное обеспечение, стек, встроенное программное обеспечение, схемотехнику аппаратных средств либо их сочетание.

[035] В контексте настоящего описания термин «база данных» означает любой структурированный набор данных, независимо от его конкретной структуры, программного обеспечения для управления базой данных или компьютерных аппаратных средств для хранения этих данных, их применения или обеспечения их использования иным способом. База данных может располагаться в тех же аппаратных средствах, где реализован процесс, обеспечивающий хранение или использование информации, хранящейся в базе данных, либо база данных может располагаться в отдельных аппаратных средствах, таких как специализированный сервер или множество серверов.

[036] Настоящая технология может быть реализована в виде системы, способа и/или компьютерного продукта. Компьютерный программный продукт может содержать машиночитаемый носитель информации (или несколько носителей), хранящий машиночитаемые программные команды, при исполнении которых процессор обеспечивает реализацию аспектов настоящей технологии. Машиночитаемый носитель информации может, например, представлять собой электронное запоминающее устройство, магнитное запоминающее устройство, оптическое запоминающее устройство, электромагнитное запоминающее устройство, полупроводниковое запоминающее устройство или любое подходящее их сочетание. Неполный перечень более конкретных примеров машиночитаемого носителя информации включает в себя портативный компьютерный диск, жесткий диск, ОЗУ, ПЗУ, флэш-память, оптический диск, карту памяти, гибкий диск, носитель с механическим или визуальным кодированием (например, перфокарту или штрих-код) и/или любое их сочетание. В контексте данного документа машиночитаемый носитель информации должен рассматриваться как машиночитаемый физический носитель информации. Он не должен рассматриваться как изменяющийся сигнал, такой как радиоволны или другие свободно распространяющиеся электромагнитные волны, электромагнитные волны, распространяющиеся через волновод или другую среду передачи (например, световые импульсы, проходящие через волоконно-оптический кабель), или электрические сигналы, передаваемые по проводам.

[037] Должно быть понятно, что машиночитаемые программные команды могут быть загружены из машиночитаемого носителя информации в соответствующие вычислительные или обрабатывающие устройства либо во внешний компьютер или внешнее запоминающее устройство через сеть, например, через сеть Интернет, локальную сеть, глобальную сеть и/или беспроводную сеть. Сетевой интерфейс в вычислительном или обрабатывающем устройстве может получать машиночитаемые программные команды через сеть и пересылать машиночитаемые программные команды для хранения в машиночитаемом носителе информации в соответствующем вычислительном или обрабатывающем устройстве.

[038] Машиночитаемые программные команды для выполнения операций согласно настоящей технологии могут представлять собой команды ассемблера, машинные команды, команды встроенного программного обеспечения, данные конфигурации для интегральных схем либо другой исходный код или объектный код, написанный с использованием любого сочетания языков программирования. Машиночитаемые программные команды могут исполняться полностью на компьютере пользователя, частично на компьютере пользователя, как отдельный пакет программного обеспечения, частично на компьютере пользователя и частично на удаленном компьютере или полностью на удаленном компьютере либо сервере. В последнем случае удаленный компьютер может быть связан с компьютером пользователя через сеть любого вида.

[039] Описание принципов, аспектов и вариантов реализации настоящей технологии, а также их конкретные примеры предназначены для охвата их структурных и функциональных эквивалентов, независимо от того, известны они в настоящее время или будут разработаны в будущем. Например, специалистам в данной области техники должно быть понятно, что любые описанные здесь структурные схемы соответствуют концептуальным представлениям иллюстративных принципиальных схем, реализующих основы настоящей технологии. Также должно быть понятно, что любые блок-схемы, схемы процессов, диаграммы изменения состояния, псевдокоды и т.п. соответствуют различным процессам, которые могут быть представлены в машиночитаемых программных командах. Эти машиночитаемые программные команды могут быть предоставлены процессору или другому программируемому устройству обработки данных для формирования машины так, чтобы команды, исполняемые процессором компьютера или другим программируемым устройством обработки данных, создавали средства для реализации функций или действий, указанных в блок-схеме, и/или блока либо блоков блок-схемы. Эти машиночитаемые программные команды также могут быть сохранены в машиночитаемом носителе информации, который может предписывать компьютеру, программируемому устройству обработки данных и/или другим устройствам функционировать особым образом так, чтобы машиночитаемый носитель информации с хранящимися в нем командами содержал изделие, содержащее команды, реализующее аспекты функций или действий, указанных в блок-схемах, схемах процессов, диаграммах изменения состояния, псевдокодах и т.п.

[040] Эти машиночитаемые программные команды также могут быть загружены в компьютер, иное программируемое устройство обработки данных или другие устройства, чтобы инициировать последовательность рабочих шагов, подлежащих выполнению в компьютере, ином программируемом устройстве или других устройствах, для формирования компьютерного процесса так, чтобы команды, исполняемые в компьютере, ином программируемом устройстве или других устройствах, реализовывали функции или действия, указанные в блок-схемах, схемах процессов, диаграммах изменения состояния, псевдокодах и т.п.

[041] В некоторых альтернативных вариантах осуществления изобретения функции, указанные в блок-схемах, схемах процессов, диаграммах изменения состояния, псевдокодах и т.п., могут реализовываться в порядке, отличном от указанного на чертежах. Например, два блока, представленные на блок-схеме как последовательные, фактически могут выполняться одновременно или эти блоки иногда могут выполняться в обратном порядке - в зависимости от реализуемой функции. Также следует отметить, что каждая функция, указанная на чертежах, и сочетания таких функций могут быть реализованы системами на основе специализированных аппаратных средств, выполняющими указанные функции или действия, либо сочетаниями специализированных аппаратных средств и компьютерных команд.

[042] Далее с учетом вышеизложенных принципов рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.

Компьютерная система

[043] На фиг. 1 представлена компьютерная система 100. Компьютерная система 100 может представлять собой многопользовательский компьютер, однопользовательский компьютер, ноутбук, планшетный компьютер, смартфон, встроенную систему управления или любую другую компьютерную систему, которая известна в настоящее время или будет разработана в будущем. Кроме того, следует понимать, что некоторые или все элементы компьютерной системы 100 могут быть виртуализированы и/или основаны на облачных вычислениях. Как показано на фиг. 1, компьютерная система 100 содержит один или несколько процессоров 102, память 110, интерфейс 120 хранилища данных и сетевой интерфейс 140. Эти элементы системы взаимосвязаны через шину 150, которая может содержать одну или несколько внутренних и/или внешних шин (не показаны) (таких как шина PCI, шина USB, шина FireWire стандарта IEEE 1394, шина SCSI, шина Serial-ATA и т.д.), с которыми различные аппаратные элементы соединены электронным образом.

[044] Память 110, которая может представлять собой ОЗУ или память любого другого вида, может содержать данные 112, операционную систему 114 и программу 116. Данные 112 могут представлять собой любые данные, соответствующие входным или выходным данным любой программы в компьютерной системе 100. Операционная система 114 представляет собой операционную систему, такую как MICROSOFT WINDOWS или LINUX. Программа 116 может представлять собой любую программу или набор программ, содержащих программные команды, которые могут исполняться процессором для управления действиями, выполняемыми компьютерной системой 100. Например, программа 116 может представлять собой обучающий модуль машинного обучения, выполняющий обучение модели машинного обучения, как описано ниже. Программа 116 также может представлять собой систему, использующую обученную модель машинного обучения для ранжирования результатов поиска, как описано ниже.

[045] Интерфейс 120 хранилища данных используется для подключения запоминающих устройств, таких как запоминающее устройство 125, к компьютерной системе 100. Запоминающее устройство 125 одного вида представляет собой твердотельный накопитель, в котором для постоянного хранения данных может использоваться блок интегральных схем. Запоминающее устройство 125 другого вида представляет собой накопитель на жестких дисках, такой как электромеханическое устройство, использующее магнитное запоминающее устройство для хранения и извлечения цифровых данных. Запоминающее устройство 125 также может представлять собой накопитель на оптических дисках, устройство для считывания карт памяти, таких как SD-карта, или устройство флэш-памяти, которое может быть подключено к компьютерной системе 100, например, через универсальную последовательную шину (USB).

[046] В некоторых вариантах реализации изобретения в компьютерной системе 100 могут применяться хорошо известные механизмы виртуальной памяти, позволяющие программам компьютерной системы 100 работать так, как если бы они имели доступ к большому непрерывному адресному пространству, а не обращались к нескольким областям памяти меньшего размера, таким как память 110 и запоминающее устройство 125. Таким образом, несмотря на то, что данные 112, операционная система 114 и программы 116 показаны как размещенные в памяти 110, специалисту в данной области техники должно быть понятно, что эти элементы не обязательно должны одновременно полностью содержаться в памяти 110.

[047] Процессоры 102 могут содержать один или несколько микропроцессоров и/или других интегральных схем. Процессоры 102 исполняют программные команды, хранящиеся в памяти 110. При запуске компьютерной системы 100 процессоры 102 могут сначала выполнять процедуру загрузки и/или исполнять программные команды, формирующие операционную систему 114.

[048] Сетевой интерфейс 140 используется для подключения компьютерной системы 100 к другим компьютерным системам или сетевым устройствам (не показаны) через сеть 160. Сетевой интерфейс 140 может содержать сочетание аппаратных и программных средств, обеспечивающих связь через сеть 160. В некоторых вариантах реализации изобретения сетевой интерфейс 140 может представлять собой беспроводной сетевой интерфейс. Программное обеспечение сетевого интерфейса 140 может содержать программное обеспечение, использующее один или несколько сетевых протоколов для связи через сеть 160. Например, сетевые протоколы могут включать в себя протокол управления передачей/интернет-протокол (TCP/IP, Transmission Control Protocol/Internet Protocol).

[049] Должно быть понятно, что компьютерная система 100 представляет собой лишь пример и что описанная технология может быть использована с компьютерными системами или другими компьютерными устройствами другой конфигурации.

Архитектура модели машинного обучения

[050] На фиг. 2 представлена блок-схема архитектуры 200 модели машинного обучения согласно различным вариантам осуществления настоящей технологии. Архитектура 200 модели машинного обучения основана на модели машинного обучения BERT, как описано, например, в указанной выше работе (Devlin et al.). Подобно модели BERT, архитектура 200 модели машинного обучения содержит стек 202 трансформеров из блоков трансформера, включая, например, блоки 204, 206 и 208 трансформера.

[051] Каждый из блоков 204, 206 и 208 трансформера содержит блок кодера трансформера, например, как описано в указанной выше работе (Vaswani et al.). Каждый из блоков 204, 206 и 208 трансформера содержит слой 220 многоголового внимания (показан для иллюстрации только в блоке 204 трансформера) и слой 222 нейронной сети прямого распространения (также для иллюстрации показан только в блоке 204 трансформера). Блоки 204, 206 и 208 трансформера обычно имеют одинаковую структуру, но различные веса (после обучения). В слое 220 многоголового внимания реализованы зависимости между входными данными блока трансформера, которые, например, могут использоваться с целью предоставления контекстной информации для каждого элемента входных данных на основе каждого другого элемента входных данных блока трансформера. В слое 222 нейронной сети прямого распространения такие зависимости обычно отсутствуют, поэтому входные данные слоя 222 нейронной сети прямого распространения могут обрабатываться параллельно. Должно быть понятно, что несмотря на то, что на фиг. 2 показано лишь три блока трансформера (блоки 204, 206 и 208 трансформера), в фактических вариантах реализации настоящей технологии стек 202 трансформеров может содержать намного больше таких блоков трансформера. Например, в некоторых вариантах реализации изобретения в стеке 202 трансформеров может использоваться 12 блоков трансформера.

[052] Входные данные 230 стека 202 трансформеров содержат токены, такие как токен 232 [CLS] и токены 234. Токены 234 могут, например, представлять слова или части слов. Токен 232 [CLS] используется в качестве представления для классификации всего набора токенов 234. Каждый токен 234 и токен 232 [CLS] представлен вектором. В некоторых вариантах осуществления изобретения длина каждого из этих векторов может, например, соответствовать 768 значениям с плавающей запятой. Должно быть понятно, что для эффективного уменьшения размеров токенов может использоваться множество способов сжатия. В различных вариантах осуществления изобретения в качестве входных данных 230 стека 202 трансформеров может использоваться фиксированное количество токенов 234. Например, в некоторых вариантах осуществления изобретения могут использоваться 1024 токена, а в других вариантах осуществления изобретения стек 202 трансформеров может получать 512 токенов (помимо токена 232 [CLS]). Входные данные 230, длина которых менее этого фиксированного количества токенов 234, могут быть дополнены до фиксированной длины путем добавления заполняющих токенов.

[053] В некоторых вариантах осуществления изобретения входные данные 230 могут быть сформированы с использованием токенизатора 238 из цифрового объекта 236, такого как элемент из обучающего набора. Архитектура токенизатора 238 обычно зависит от цифрового объекта 236, используемого в качестве входных данных токенизатора 238. Например, для формирования входных данных 230 в токенизаторе 238 могут использоваться известные способы кодирования, такие как кодирование пар байтов, а также могут использоваться предварительно обученные нейронные сети.

[054] Выходные данные 250 стека 202 трансформеров содержат выходные данные 252 [CLS] и векторные выходные данные 254, включая векторные выходные данные для каждого токена 234 из входных данных 230 стека 202 трансформеров. Затем выходные данные 250 могут быть отправлены модулю 270 задачи. В некоторых вариантах осуществления изобретения, как показано на фиг. 2, модуль задачи использует только выходные данные 252 [CLS], представляющие весь набор выходных данных 254. Это может быть наиболее полезно, когда модуль 270 задачи используется в качестве классификатора, либо для вывода метки или значения, характеризующего весь входной цифровой объект 236, например, для формирования оценки релевантности или вероятности «клика» (нажатиях, например, выборе результате поиска) на документе. В некоторых вариантах осуществления изобретения (не показано на фиг. 2) все или некоторые выходные данные 254 и, возможно, выходные данные 252 [CLS] могут использоваться в качестве входных данных модуля 270 задачи. Это наиболее полезно, когда модуль 270 задачи используется с целью формирования меток или значений для отдельных входных токенов 234, например, для предсказания маскированного или отсутствующего токена либо для распознавания именованного объекта. В некоторых вариантах осуществления изобретения модуль 270 задачи может содержать нейронную сеть прямого распространения (не показана), формирующую зависящий от задачи результат 280, такой как оценка релевантности или вероятность «клика» (нажатия). Другие модели также могут использоваться в модуле 270 задачи. Например, модуль 270 задачи может представлять собой трансформер или нейронную сеть другого вида. Кроме того, зависящий от задачи результат может использоваться в качестве входных данных других моделей, таких как модель CatBoost, как описано в работе Dorogush et al., «CatBoost: gradient boosting with categorical features support», NIPS, 2017.

[055] Должно быть понятно, что архитектура, описанная с ссылкой на фиг. 2, упрощена для лучшего понимания. Например, в практических вариантах реализации архитектуры 200 модели машинного обучения каждый из блоков 204, 206 и 208 трансформера может включать в себя операции нормализации слоя, модуль 270 задачи может содержать функцию нормализации softmax и т.д. Специалистам в данной области должно быть понятно, что эти операции широко используются в нейронных сетях и моделях глубокого обучения, таких как архитектура 200 модели машинного обучения.

Предварительное обучение и точная настройка

[056] Согласно различным вариантам осуществления настоящей технологии, модель машинного обучения, архитектура которой представлена на фиг. 2, может быть обучена с использованием процессов предварительного обучения и точной настройки, как описано ниже. На фиг. 3 представлены наборы данных, которые могут быть использованы для предварительного обучения и точной настройки модели машинного обучения для применения при ранжировании результатов поиска.

[057] Наборы данных содержат набор данных 302 «Docs» (документы), представляющий собой большую коллекцию неразмеченных документов 303 с максимальной длиной токена 304, равной 1024. Набор данных 302 «Docs» используется для предварительного обучения с использованием маскированного языкового моделирования (MLM, Masked Language Modeling) (см. ниже). Предварительное обучение на наборе данных 302 «Docs» используется, чтобы обеспечить своего рода базовую модель языка, способствующую повышению качества последующего обучения и обеспечению стабильности обучения. В некоторых вариантах осуществления изобретения набор данных 302 «Docs» может содержать приблизительно 600 миллионов обучающих цифровых объектов (т.е. неразмеченных документов с максимальной длиной токена, равной 1024).

[058] Наборы данных также содержат набор данных 310 «Clicks» («клики»), элементы 311 которого содержат пользовательский запрос 312 и документ 314 из результатов поиска по пользовательскому запросу 312 и размечены с использованием информации 316 о «клике», указывающей на то, выбрал ли пользователь документ 314. Запрос 312 помимо текста запроса содержит метаданные 313 запроса, которые могут, например, содержать географический регион, из которого отправлен запрос. Аналогично, документ 314 содержит текст документа и метаданные 315 документа, которые могут содержать заголовок документа и веб-адрес документа (например, в виде URL-адреса).

[059] В некоторых вариантах осуществления изобретения информация 316 о «клике» может быть предварительно обработана и указывать на выбор пользователем документа только в случае «длинного клика», когда пользователь останавливается на выбранном документе на «продолжительное» время. «Длинные клики» представляют собой широко используемый показатель релевантности результата поиска запросу, поскольку они указывают на то, что пользователь мог обнаружить релевантную информацию в документе, а не просто «кликнул» (нажал на) документ и быстро вернулся к результатам поиска. Например, в некоторых вариантах осуществления изобретения «длинный клик» может указывать на то, что пользователь останавливался на документе по меньшей мере на 120 секунд.

[060] Поскольку набор данных 310 «Clicks» основан на информации, регулярно собираемой в результате использования поисковой системы пользователями, он чрезвычайно велик. Например, в некоторых вариантах осуществления изобретения набор данных 310 «Clicks» может содержать приблизительно 23 миллиарда обучающих цифровых объектов (т.е. элементов, содержащих запрос и документ и размеченных с использованием информации о «клике»). Из-за своего размера набор данных 310 «Clicks» образует основную часть конвейера обучения и используется при предварительном обучении, как описано ниже.

[061] Наборы данных также содержат наборы 350 данных о релевантности, используемые для точной настройки, как описано ниже. В некоторых вариантах осуществления изобретения наборы 350 данных о релевантности содержат набор 352 данных «Rel-Big» (большой набор данных о релевантности), набор 354 данных «Rel-Mid» (средний набор данных о релевантности) и набор 356 данных о релевантности «Rel-Small» (малый набор данных о релевантности). Элементы 357, 358 и 359 из этих наборов данных содержат запросы 360, 362 и 364, соответственно, и документы 370, 372 и 374, соответственно. Элементы из наборов 350 данных о релевантности размечены с использованием оценок 380, 382 и 384 релевантности, соответственно. Оценки 380, 382 и 384 релевантности основаны на введенных оценщиком-человеком данных о том, насколько документы релевантны поисковому запросу. Эти введенные оценщиком-человеком данные могут быть обеспечены с использованием краудсорсинга или других средств сбора от людей данных о релевантности документа запросу.

[062] Поскольку оценки 380, 382 и 384 основаны на данных, введенных оценщиками-людьми, для сбора наборов 350 данных о релевантности может потребоваться больше времени и средств, чем для других наборов данных, используемых при обучении модели машинного обучения. Поэтому наборы 350 данных о релевантности намного меньше других наборов данных и используются не для предварительного обучения, а для точной настройки. Например, в некоторых вариантах осуществления изобретения набор 352 данных «Rel-Big» может содержать приблизительно 50 миллионов обучающих цифровых объектов (т.е. элементов), набор 354 данных «Rel-Mid» может содержать приблизительно 2 миллиона обучающих цифровых объектов, а набор 356 данных «Rel-Small» может содержать приблизительно 1 миллион обучающих цифровых объектов. В общем случае наборы 350 данных о релевантности отличаются по размеру, возрасту и близости к новейшим способам расчета оценок релевантности: набор 352 данных «Rel-Big» является самым большим и старым (с точки зрения возраста данных и способов расчета оценок релевантности), а набор 356 данных «Rel-Small» является наименьшим и самым новым.

[063] На фиг. 4 представлена блок-схема 400 этапов предварительного обучения и точной настройки, выполняемых для обучения модели машинного обучения формированию оценок релевантности, согласно различным вариантам осуществления настоящей технологии. На первом этапе 402 модель машинного обучения предварительно обучается с использованием набора 302 данных «Docs» (см. фиг. 3) и задачи MLM.

[064] Задача MLM основана на одной из двух задач обучения без учителя, применяемых в модели BERT, которая используется, чтобы выучить представления текстов из коллекций неразмеченных документов (следует отметить, что другая задача обучения без учителя, применяемая в модели BERT, представляет собой задачу предсказания следующего предложения, которая обычно не используется в вариантах осуществления настоящей технологии). Для предварительного обучения на задаче MLM один или несколько токенов из входных данных модели машинного обучения маскируются путем замены их на специальный токен [MASK] (не показано). Модель машинного обучения обучается прогнозированию вероятности соответствия маскированного токена токенам из словаря токенов. Это выполняется на основе соответствующих маскированным токенам выходных данных (каждый элемент которых представляет собой вектор) последнего слоя стека трансформеров (см. выше) модели машинного обучения. Поскольку фактические маскированные токены известны (т.е. они являются контрольной информацией), потери кросс-энтропии, представляющие меру отклонения прогнозируемых вероятностей от фактических маскированных токенов (здесь называются потерями MLM), рассчитываются и используются для корректировки весов в модели машинного обучения с целью уменьшения потерь.

[065] На втором этапе 404 предварительного обучения обучающие цифровые объекты из набора 310 данных «Clicks» (см. фиг. 3) используются для предварительного обучения модели машинного обучения. Это выполняется путем токенизации запроса, включая метаданные запроса, и документа, включая метаданные документа. Токенизированные запрос и документ используются в качестве входных данных для модели машинного обучения, при этом один или несколько токенов маскируются, как и на первом этапе. Таким образом, метаданные запроса и метаданные документа, содержащие такую информацию, как веб-адрес документа и географический регион запроса, подаются непосредственно в модель машинного обучения вместе с текстом запроса и документом на естественном языке.

[066] Для преобразования запроса и документа, включая метаданные, обучающего цифрового объекта из набора данных «Clicks» в токены может быть использован заранее созданный словарь токенов, подходящих для текста на естественном языке и видов метаданных, используемых в наборе данных «Clicks». В некоторых вариантах осуществления изобретения это может быть выполнено с использованием схемы кодирования пар байтов WordPiece, используемой в модели BERT, с достаточно большим размером словаря. Например, в некоторых вариантах осуществления изобретения размер словаря может соответствовать приблизительно 120000 токенов. В некоторых вариантах осуществления изобретения может выполняться предварительная обработка текста, такая как преобразование всех слов в строчные буквы и нормализация Unicode NFC. Схема кодирования пар байтов WordPiece, которая может быть использована в некоторых вариантах осуществления изобретения для построения словаря токенов, описана, например, в работе Rico Sennrich et al., «Neural Machine Translation of Rare Words with Subword Units», Proceedings of the 54^th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1715-1725, 2016.

[067] На втором этапе 404 предварительного обучения модель машинного обучения обучается с использованием потерь MLM, как описано выше, с маскированными токенами. Модель машинного обучения также настраивается с классификатором на основе нейронной сети в качестве модуля задачи (как описано с ссылкой на фиг. 2), который прогнозирует вероятность «клика» для документа. В некоторых вариантах осуществления изобретения прогнозируемая вероятность «клика» может быть определена на основе выходных данных [CLS]. Поскольку обучающие цифровые объекты из набора данных «Clicks» содержат информацию о том, выбрал пользователь документ или нет, эта контрольная информация может быть использована, например, для определения потерь кросс-энтропии (называется потерями прогноза «клика»), представляющими расстояние или различие между прогнозируемой вероятностью «клика» и контрольной информацией. Потери прогноза «клика» могут быть использованы для корректировки весов в модели машинного обучения с целью обучения модели.

[068] Несмотря на то, что набор данных Clicks, собранный из журналов операций, может использоваться в качестве заменителя в отношении релевантности, он может не отражать должным образом фактическую релевантность документа запросу. Эта проблема устраняется на этапе 406 точной настройки путем использования наборов данных о релевантности (описано выше) для обучения модели машинного обучения на документах, вручную размеченных оценщиками-людьми по их релевантности запросу.

[069] В некоторых вариантах осуществления изобретения этап 406 точной настройки сначала выполняется с использованием набора данных «Rel-Big» (как описано выше с ссылкой на фиг. 3), который является не только самым большим, но и самым старым из наборов данных о релевантности. Запросы и документы токенизируются, как описано выше, и предоставляются модели машинного обучения в качестве входных данных. Модель машинного обучения использует модуль задачи на основе нейронной сети для формирования прогнозируемой оценки релевантности. В некоторых вариантах осуществления изобретения модуль задачи может определять прогнозируемую оценку релевантности на основе выходных данных [CLS]. Набор данных «Rel-Big» содержит оценку релевантности, определенную оценщиком-человеком, которая может использоваться в качестве контрольной информации при обучении модели машинного обучения. Эта контрольная информация может быть использована, например, для определения потерь кросс-энтропии, представляющих расстояние или различие между прогнозируемой оценкой релевантности и контрольной информацией, которые могут быть использованы для корректировки весов в модели машинного обучения.

[070] В некоторых вариантах осуществления изобретения повторная разметка большого набора данных «Clicks» и повторное обучение модели с использованием повторно размеченного набора данных может использоваться при точной настройке для повышения эффективности модели машинного обучения. Это может быть выполнено путем использования модели машинного обучения, обученной, как описано выше, формированию прогнозируемых оценок релевантности в отношении объектов данных из набора данных «Clicks» для эффективной повторной разметки объектов данных из набора данных «Clicks» с целью формирования дополненного набора данных «Clicks» с синтезированными метками оценщика. Затем дополненный набор данных «Clicks» может быть использован для повторного обучения модели машинного обучения прогнозированию оценок релевантности с использованием синтезированных меток оценщика в качестве контрольной информации.

[071] Должно быть понятно, что подобный подход, в котором первая модель используется для дополнения или разметки набора данных, который затем используется для обучения второй модели, может быть применен для эффективного переноса во вторую модель знаний, вложенных в первую модель. Фактически, первая модель превращается в «учителя» для второй модели. Такие способы переноса могут использоваться с различными архитектурами моделей так, чтобы архитектура первой модели отличалась от архитектуры второй модели. Например, вторая модель может представлять собой меньшую нейронную сеть, чем первая модель, и может обеспечивать по существу близкие или даже более точные результаты, например, с использованием меньшего количества слоев, и таким образом, может быстрее выполняться на этапе использования.

[072] В некоторых вариантах осуществления изобретения такая точная настройка может повторяться с использованием других наборов данных из числа наборов данных о релевантности. Например, модель машинного обучения сначала может быть настроена с использованием набора данных «Rel-Big», затем уточнена с помощью набора данных «Rel-Mid», а затем еще раз уточнена с использованием набора данных «Rel-Small». В некоторых вариантах осуществления изобретения все или некоторые из этих этапов уточнения модели машинного обучения также могут включать в себя повторную разметку набора данных «Clicks» (или другого большого набора данных) и повторное обучение модели машинного обучения, как описано выше.

[073] Использующая этот многоэтапный подход модель машинного обучения может рассматриваться как обеспечивающая грубую первоначальную оценку релевантности документа запросу после первоначального обучения с использованием набора данных «Clicks» и улучшающая эту грубую первоначальную оценку на каждом следующем этапе точной настройки. Для определения улучшений по сравнению с первоначальной оценкой на каждом этапе точной настройки может использоваться метрика, обычно применяемая в задачах ранжирования, такая как метрика на основе нормализованного дисконтированного кумулятивного показателя.

[074] На фиг. 5 представлена блок-схема 500 компьютерного способа обучения модели машинного обучения согласно различным вариантам осуществления настоящей технологии. Блок-схема 500 содержит первый этап 570 предварительного обучения, второй этап 572 предварительного обучения и этап 574 точной настройки.

[075] В блоке 502 первого этапа 570 предварительного обучения процессор получает набор неразмеченных цифровых документов на естественном языке. В блоке 504 процессор преобразует цифровые документы из набора неразмеченных цифровых документов на естественном языке в набор токенов и затем один или несколько токенов маскируются.

[076] В блоке 506 модель машинного обучения обучается с использованием маскированного набора токенов в качестве входных данных. Выходные данные модели машинного обучения, соответствующие маскированным токенам, используются вместе с фактическими маскированными токенами для определения потерь (например, потерь кросс-энтропии), используемых для корректировки весов модели машинного обучения. Должно быть понятно, что блоки 504 и 506 могут повторно выполняться для всех неразмеченных цифровых документов на естественном языке или для их подмножества. В некоторых вариантах осуществления изобретения первый этап 570 предварительного обучения может быть опущен или обучение может начинаться со второго этапа предварительного обучения, например, с использованием «обычной» предварительно обученной модели BERT.

[077] В блоке 508 второго этапа 572 предварительного обучения процессор получает первый набор обучающих цифровых объектов. Обучающие цифровые объекты из первого набора обучающих цифровых объектов связаны с параметром прошлых пользовательских действий. Параметр прошлых пользовательских действий представляет пользовательское действие прошлого пользователя с обучающим цифровым объектом, такое как «клик» на связанном с обучающим цифровым объектом цифровом документе, который соответствует запросу, связанному с обучающим цифровым объектом. В некоторых вариантах осуществления изобретения обучающий цифровой объект связан с запросом, содержащим текст запроса и метаданные запроса, с документом, содержащим текст документа и метаданные документа, и с прошлым пользовательским действием. Метаданные запроса могут, например, содержать географический регион, из которого отправлен запрос. Метаданные документа могут, например, содержать веб-адрес документа, такой как URL-адрес документа, и заголовок документа. В некоторых вариантах осуществления изобретения запрос, включая его метаданные, может входить в состав метаданных документа.

[078] В блоке 510 процессор преобразует запрос и цифровой документ, связанные с обучающим цифровым объектом, включая метаданные, связанные с запросом и с цифровым документом, в токены и один или несколько токенов маскируются для формирования входных токенов. Такая токенизация может выполняться с использованием заранее созданного словаря токенов, которые в некоторых вариантах осуществления изобретения могут определяться с использованием кодирования пар байтов.

[079] В блоке 512 модель машинного обучения обучается определению параметра прогнозируемых пользовательских действий, такого как вероятность «клика» пользователя на документе, указывающего на то, что пользователь считает этот документ релевантным запросу. Это выполняется с использованием параметра прогнозируемых пользовательских действий и параметра прошлых пользовательских действий для определения потерь, используемых для корректировки весов в модели машинного обучения. В некоторых вариантах осуществления изобретения модель машинного обучения может быть дополнительно обучена на входных токенах прогнозированию маскированных токенов на основе контекста, обеспечиваемого соседними токенами. Выходные данные модели машинного обучения, соответствующие маскированным токенам, используются вместе с фактическими маскированными токенами для определения потерь, используемых для корректировки весов модели машинного обучения. Благодаря обучению на этих маскированных токенах, сформированные моделью машинного обучения прогнозы могут содержать информацию, указывающую на параметр семантической релевантности, указывающий на степень семантической релевантности поискового запроса контенту входного цифрового объекта. Должно быть понятно, что блоки 510 и 512 могут повторно выполняться для всех объектов из набора обучающих цифровых объектов или для их подмножества.

[080] В блоке 514 этапа 574 точной настройки процессор получает второй набор обучающих цифровых объектов, обучающий цифровой объект из которого связан с поисковым запросом, который может содержать метаданные, с цифровым документом, который может содержать метаданные, и со сформированной оценщиком меткой. Сформированная оценщиком метка указывает на степень релевантности обучающего цифрового объекта (в частности, цифрового документа в некоторых вариантах осуществления изобретения) поисковому запросу с точки зрения оценщика-человека, назначившего сформированную оценщиком метку.

[081] В блоке 516 процессор обучает модель машинного обучения определению синтезированной метки оценщика для обучающего цифрового объекта. Синтезированная метка оценщика представляет собой прогноз модели машинного обучения относительно того, насколько обучающий цифровой объект релевантен поисковому запросу. Обучение может быть выполнено путем предоставления модели машинного обучения токенизированного представления обучающего цифрового объекта (содержащего поисковый запрос и документ) и использования модели машинного обучения для формирования синтезированной метки оценщика. Синтезированная метка оценщика и сформированная оценщиком метка, которую сформировал оценщик-человек, используются для определения потерь, которые могут быть использованы с целью корректировки весов в модели машинного обучения для точной настройки модели машинного обучения. Должно быть понятно, что блок 516 может повторно выполняться для всех объектов из второго набора обучающих цифровых объектов или для их подмножества.

[082] В блоке 518 модель машинного обучения дополнительно точно настраивается процессором, применяющим модель машинного обучения в отношении всех объектов из первого набора обучающих цифровых объектов или их подмножества с целью дополнения первого набора обучающих цифровых объектов синтезированными метками оценщика и формирования первого дополненного набора обучающих цифровых объектов. В блоке 520 модель машинного обучения точно настраивается с использованием первого дополненного набора обучающих цифровых объектов для обучения модели машинного обучения, по существу как описано выше с ссылкой на блок 516.

[083] Должно быть понятно, что этап 574 точной настройки может полностью или частично повторяться с другими наборами обучающих цифровых объектов, содержащих сформированные оценщиком метки, чтобы затем последовательно уточнять модель машинного обучения. Например, в некоторых вариантах осуществления изобретения после выполнения описанной выше точной настройки процессор получает третий набор обучающих цифровых объектов, обучающий цифровой объект из которого связан с поисковым запросом, который использовался для формирования обучающего цифрового объекта и может содержать метаданные, с цифровым документом, который может содержать метаданные, и со сформированной оценщиком меткой. Как и ранее, сформированная оценщиком метка указывает на степень релевантности обучающего цифрового объекта (в частности, цифрового документа в некоторых вариантах осуществления изобретения) поисковому запросу с точки зрения оценщика-человека, назначившего сформированную оценщиком метку. Этот дополнительный набор обучающих цифровых объектов может отличаться от любого другого набора цифровых обучающих объектов, использованного при обучении, как описано выше, или, например, может быть таким же, как второй набор обучающих цифровых объектов. Кроме того, размер третьего набора обучающих цифровых объектов может отличаться от размера других наборов обучающих цифровых объектов, использованных для обучения и/или точной настройки модели машинного обучения.

[084] Модель машинного обучения точно настраивается с использованием дополнительного набора обучающих цифровых объектов для обучения модели машинного обучения, по существу как описано выше с ссылкой на блок 516. После этого дополнительного обучения модель может быть использована для формирования уточненной метки релевантности.

[085] На фиг. 6 представлена блок-схема 600 использования полностью обученной модели машинного для ранжирования результатов поиска. В блоке 602 процессор получает набор цифровых объектов этапа использования. Каждый цифровой объект этапа использования связан с поисковым запросом (включая метаданные), введенным пользователем, и с цифровым документом (включая метаданные), предоставленным в ответ на этот запрос. Например, если поисковая система обнаружила 75 документов, соответствующих запросу, то набор цифровых объектов этапа использования будет содержать 75 цифровых объектов этапа использования, каждый из которых будет содержать запрос (включая метаданные) и один из документов (включая метаданные).

[086] В блоке 604 процессор токенизирует цифровой объект этапа использования из набора цифровых объектов этапа использования и использует полученные в результате токены в качестве входных данных для модели машинного обучения этапа использования. Модель машинного обучения этапа использования формирует параметр релевантности для цифрового объекта этапа использования. Параметр релевантности представляет собой прогноз модели машинного обучения этапа использования для релевантности цифрового объекта этапа использования (например, для документа, связанного с цифровым объектом этапа использования) запросу. Цифровой объект этапа использования размечается с использованием параметра релевантности. Блок 604 может повторяться для всех объектов из набора цифровых объектов этапа использования или для их подмножества с целью формирования размеченного набора цифровых объектов этапа использования.

[087] В блоке 606 размеченный набор цифровых объектов этапа использования ранжируется по их параметру релевантности. В некоторых вариантах осуществления изобретения это может выполняться с использованием другой модели машинного обучения, предварительно обученной ранжированию размеченного набора цифровых объектов этапа использования с применением их параметров релевантности в качестве входных признаков. В некоторых вариантах осуществления изобретения эта другая модель машинного обучения может представлять собой модель обучения на основе деревьев решений CatBoost.

[088] Также должно быть понятно, что, несмотря на то, что представленные здесь варианты осуществления изобретения описаны с ссылкой на конкретные признаки и структуры, без выхода за границы таких технологий могут быть реализованы их различные модификации и сочетания. Например, различные оптимизации, применимые в нейронных сетях, включая трансформеры и/или модель BERT, могут подобным образом применяться и в настоящей технологии. Кроме того, также могут применяться оптимизации, ускоряющие определение релевантности на этапе использования. Например, в некоторых вариантах осуществления изобретения трансформерная модель может быть разделена так, что некоторые блоки трансформера поделены между обработкой запроса и обработкой документа, поэтому представления документов могут быть предварительно рассчитаны в автономном режиме и сохранены в индексе поиска документов. Описание и чертежи следует рассматривать лишь как иллюстрацию обсуждаемых вариантов реализации или осуществления изобретения, принципы которого определенны приложенной формулой изобретения, охватывающей любые модификации, изменения, сочетания и эквиваленты в пределах объема настоящего изобретения.

Изобретение относится к системе и способу обучения модели машинного обучения ранжированию цифровых объектов этапа использования. Технический результат заключается в повышении релевантности результатов поиска, выдаваемых поисковым механизмом в ответ на пользовательский запрос, за счёт точного ранжирования результатов поиска на странице SERP, выполняемого моделью машинного обучения. Способ включает в себя получение процессором первого множества обучающих цифровых объектов, при этом каждый обучающий цифровой объект из первого множества обучающих цифровых объектов связан с параметром прошлых пользовательских действий, указывающим на пользовательские действия прошлых пользователей с упомянутым обучающим цифровым объектом; обучение на первом этапе обучения на основе первого множества обучающих цифровых объектов модели машинного обучения определению параметра прогнозируемых пользовательских действий для цифрового объекта этапа использования, при этом параметр прогнозируемых пользовательских действий указывает на пользовательские действия будущих пользователей с цифровым объектом этапа использования; получение процессором второго множества обучающих цифровых объектов, при этом каждый обучающий цифровой объект из второго множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования обучающего цифрового объекта из второго множества обучающих цифровых объектов, и (б) с первой меткой, указывающей на степень релевантности объекта из второго множества обучающих цифровых объектов обучающему поисковому запросу; обучение на втором этапе обучения, следующем за первым этапом обучения, на основе второго множества обучающих цифровых объектов модели машинного обучения определению синтезированной метки цифрового объекта этапа использования, указывающей на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования; применение процессором модели машинного обучения в отношении первого множества обучающих цифровых объектов для дополнения объекта из первого множества обучающих цифровых объектов синтезированной меткой и формирования таким образом первого дополненного множества обучающих цифровых объектов; и обучение на основе первого дополненного множества обучающих цифровых объектов модели машинного обучения определению параметра релевантности цифрового объекта этапа использования, указывающего на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования, причём обучающий цифровой объект из первого множества обучающих цифровых объектов содержит указание на цифровой документ, связанный с метаданными документа, а основанное на первом множестве обучающих цифровых объектов обучение модели машинного обучения на первом этапе обучения дополнительно включает в себя: преобразование метаданных документа в их текстовое представление, содержащее токены; предварительную обработку текстового представления для маскирования в нем нескольких маскированных токенов; и обучение на основе первого множества обучающих цифровых объектов модели машинного обучения определению токена из нескольких маскированных токенов на основе контекста, обеспечиваемого соседними токенами, при этом параметр релевантности цифрового объекта этапа использования дополнительно указывает на параметр семантической релевантности, указывающий на степень семантической релевантности поискового запроса этапа использования контенту цифрового объекта этапа использования. 2 н. и 21 з.п. ф-лы, 6 ил.

1. Реализуемый компьютером способ обучения модели машинного обучения ранжированию цифровых объектов этапа использования, сформированных с применением поискового запроса этапа использования, выполняемый процессором и включающий в себя:

- получение процессором первого множества обучающих цифровых объектов, при этом каждый обучающий цифровой объект из первого множества обучающих цифровых объектов связан с параметром прошлых пользовательских действий, указывающим на пользовательские действия прошлых пользователей с упомянутым обучающим цифровым объектом;

- обучение на первом этапе обучения на основе первого множества обучающих цифровых объектов модели машинного обучения определению параметра прогнозируемых пользовательских действий для цифрового объекта этапа использования, при этом параметр прогнозируемых пользовательских действий указывает на пользовательские действия будущих пользователей с цифровым объектом этапа использования;

- получение процессором второго множества обучающих цифровых объектов, при этом каждый обучающий цифровой объект из второго множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования обучающего цифрового объекта из второго множества обучающих цифровых объектов, и (б) с первой меткой, указывающей на степень релевантности объекта из второго множества обучающих цифровых объектов обучающему поисковому запросу;

- обучение на втором этапе обучения, следующем за первым этапом обучения, на основе второго множества обучающих цифровых объектов модели машинного обучения определению синтезированной метки цифрового объекта этапа использования, указывающей на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования;

- применение процессором модели машинного обучения в отношении первого множества обучающих цифровых объектов для дополнения объекта из первого множества обучающих цифровых объектов синтезированной меткой и формирования таким образом первого дополненного множества обучающих цифровых объектов; и

- обучение на основе первого дополненного множества обучающих цифровых объектов модели машинного обучения определению параметра релевантности цифрового объекта этапа использования, указывающего на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования, причём обучающий цифровой объект из первого множества обучающих цифровых объектов содержит указание на цифровой документ, связанный с метаданными документа, а основанное на первом множестве обучающих цифровых объектов обучение модели машинного обучения на первом этапе обучения дополнительно включает в себя:

- преобразование метаданных документа в их текстовое представление, содержащее токены;

- предварительную обработку текстового представления для маскирования в нем нескольких маскированных токенов; и

- обучение на основе первого множества обучающих цифровых объектов модели машинного обучения определению токена из нескольких маскированных токенов на основе контекста, обеспечиваемого соседними токенами,

при этом параметр релевантности цифрового объекта этапа использования дополнительно указывает на параметр семантической релевантности, указывающий на степень семантической релевантности поискового запроса этапа использования контенту цифрового объекта этапа использования.

2. Способ по п. 1, отличающийся тем, что метаданные документа содержат по меньшей мере одно из следующего: обучающий поисковый запрос, связанный с объектом из первого множества обучающих цифровых объектов, заголовок цифрового документа, контент цифрового документа и веб-адрес, связанный с цифровым документом.

3. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя определение параметра прошлых пользовательских действий, связанного с объектом из первого множества обучающих цифровых объектов, на основе данных о кликах прошлых пользователей.

4. Способ по п. 3, отличающийся тем, что данные о кликах содержат данные о по меньшей мере одном клике по меньшей мере одного прошлого пользователя, сделанном в ответ на отправку обучающего поискового запроса, связанного с объектом из первого множества обучающих цифровых объектов.

5. Способ по п. 1, отличающийся тем, что он перед обучением модели машинного обучения определению параметра релевантности цифрового объекта этапа использования дополнительно включает в себя:

- получение процессором третьего множества обучающих цифровых объектов, при этом объект из третьего множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования объекта из третьего множества обучающих цифровых объектов, и (б) со второй меткой, указывающей на степень релевантности объекта из третьего множества обучающих цифровых объектов обучающему поисковому запросу;

- обучение на третьем этапе обучения, следующем за вторым этапом обучения, на основе третьего множества обучающих цифровых объектов модели машинного обучения определению уточненной синтезированной метки цифрового объекта этапа использования, указывающей на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования;

- применение процессором модели машинного обучения в отношении первого дополненного множества обучающих цифровых объектов для дополнения объекта из первого дополненного множества обучающих цифровых объектов уточненной синтезированной меткой и формирования таким образом второго дополненного множества обучающих цифровых объектов; и

- обучение модели машинного обучения определению параметра релевантности цифрового объекта этапа использования на основе второго дополненного множества обучающих цифровых объектов.

6. Способ по п. 5, отличающийся тем, что множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов по меньшей мере частично отличается от любого другого множества из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов.

7. Способ по п. 5, отличающийся тем, что множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов больше по размеру, чем последующее множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов.

8. Способ по п. 1, отличающийся тем, что он после обучения модели машинного обучения определению параметра релевантности цифрового объекта этапа использования дополнительно включает в себя:

- получение процессором третьего множества обучающих цифровых объектов, при этом объект из третьего множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования объекта из третьего множества обучающих цифровых объектов, и (б) со второй меткой, указывающей на степень релевантности объекта из третьего множества обучающих цифровых объектов обучающему поисковому запросу;

- обучение на основе третьего множества обучающих цифровых объектов модели машинного обучения определению соответствующего уточненного параметра релевантности цифрового объекта этапа использования, указывающего на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования.

9. Способ по п. 8, отличающийся тем, что множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов по меньшей мере частично отличается от любого другого множества из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов.

10. Способ по п. 8, отличающийся тем, что множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов больше по размеру, чем последующее множество из первого множества обучающих цифровых объектов, второго множества обучающих цифровых объектов и третьего множества обучающих цифровых объектов.

11. Способ по п. 8, отличающийся тем, что третье множество обучающих объектов идентично второму множеству обучающих цифровых объектов.

12. Способ по п. 1, отличающийся тем, что на первом этапе обучения модель машинного обучения обучается определению грубой первоначальной оценки параметра релевантности цифрового объекта этапа использования, а на каждом следующем этапе обучения модель машинного обучения обучается с целью улучшения грубой первоначальной оценки.

13. Способ по п. 10, отличающийся тем, что улучшение грубой первоначальной оценки определяется с использованием метрики на основе нормализованного дисконтированного кумулятивного показателя.

14. Способ по п. 1, отличающийся тем, что модель машинного обучения содержит по меньшей мере одну модель обучения.

15. Способ по п. 14, отличающийся тем, что по меньшей мере одна модель обучения представляет собой модель обучения на основе трансформера.

16. Способ по п. 1, отличающийся тем, что модель машинного обучения содержит по меньшей мере две модели обучения, при этом первая модель из двух моделей обучения обучается определению синтезированной метки для цифрового объекта этапа использования с целью формирования первого дополненного множества обучающих цифровых объектов, а вторая модель из двух моделей обучения обучается определению параметра релевантности цифрового объекта этапа использования на основе первого дополненного множества обучающих цифровых объектов.

17. Способ по п. 16, отличающийся тем, что первая модель из двух моделей обучения отличается от второй модели.

18. Способ по п. 16, отличающийся тем, что первая модель из двух моделей обучения представляет собой модель обучения на основе трансформера.

19. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя ранжирование цифровых объектов этапа использования по связанным с ними параметрам релевантности.

20. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя ранжирование цифровых объектов этапа использования на основе связанных с ними параметров релевантности, включающее в себя использование другой модели обучения, обученной ранжированию цифровых объектов этапа использования с применением в качестве входных признаков параметров релевантности, сформированных моделью машинного обучения.

21. Способ по п. 20, отличающийся тем, что другая модель обучения представляет собой модель обучения на основе деревьев решений CatBoost.

22. Система для обучения модели машинного обучения ранжированию цифровых объектов этапа использования, сформированных с применением поискового запроса этапа использования, содержащая:

- процессор;

- память, связанную с процессором; и

- обучающий модуль машинного обучения, находящийся в памяти, выполняемый процессором и содержащий команды, при этом процессор при исполнении этих команд способен выполнять следующие действия:

- получение первого множества обучающих цифровых объектов, при этом обучающий цифровой объект из первого множества обучающих цифровых объектов связан с параметром прошлых пользовательских действий, указывающим на пользовательские действия прошлых пользователей с обучающим цифровым объектом из первого множества обучающих цифровых объектов;

- обучение на первом этапе обучения на основе первого множества обучающих цифровых объектов модели машинного обучения определению параметра прогнозируемых пользовательских действий для цифрового объекта этапа использования, при этом параметр прогнозируемых пользовательских действий указывает на пользовательские действия будущих пользователей с цифровым объектом этапа использования;

- получение второго множества обучающих цифровых объектов, при этом обучающий цифровой объект из второго множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования объекта из второго множества обучающих цифровых объектов, и (б) с первой меткой, указывающей на степень релевантности объекта из второго множества обучающих цифровых объектов обучающему поисковому запросу;

- обучение на втором этапе обучения, следующем за первым этапом обучения, на основе второго множества обучающих цифровых объектов модели машинного обучения определению синтезированной метки цифрового объекта этапа использования, указывающей на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования;

- применение модели машинного обучения в отношении первого множества обучающих цифровых объектов для дополнения объекта из первого множества обучающих цифровых объектов синтезированной меткой и формирования таким образом первого дополненного множества обучающих цифровых объектов; и

- обучение на основе первого дополненного множества обучающих цифровых объектов модели машинного обучения определению параметра релевантности цифрового объекта этапа использования, указывающего на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования, причём обучающий цифровой объект из первого множества обучающих цифровых объектов содержит указание на цифровой документ, связанный с метаданными документа, обучающий модуль машинного обучения содержит дополнительные команды, а процессор при исполнении этих команд способен обучать модель машинного обучения на первом этапе обучения на основе первого множества обучающих цифровых объектов путем:

- преобразования метаданных документа в их текстовое представление, содержащее токены;

- предварительной обработки текстового представления для маскирования в нем нескольких маскированных токенов; и

- обучения на основе первого множества обучающих цифровых объектов модели машинного обучения определению токена из нескольких маскированных токенов на основе контекста, обеспечиваемого соседними токенами,

при этом параметр релевантности цифрового объекта этапа использования дополнительно указывает на параметр семантической релевантности, указывающий на степень семантической релевантности поискового запроса этапа использования контенту цифрового объекта этапа использования.

23. Система по п. 22, отличающаяся тем, что обучающий модуль машинного обучения содержит дополнительные команды, а процессор при исполнении этих команд способен выполнять следующие действия перед обучением модели машинного обучения определению параметра релевантности цифрового объекта этапа использования:

- получение третьего множества обучающих цифровых объектов, при этом объект из третьего множества обучающих цифровых объектов связан (а) с обучающим поисковым запросом, используемым для формирования объекта из третьего множества обучающих цифровых объектов, и (б) со второй меткой, указывающей на степень релевантности объекта из третьего множества обучающих цифровых объектов обучающему поисковому запросу;

- обучение на третьем этапе обучения, следующем за вторым этапом обучения, на основе третьего множества обучающих цифровых объектов модели машинного обучения определению уточненной синтезированной метки цифрового объекта этапа использования, указывающей на степень релевантности цифрового объекта этапа использования поисковому запросу этапа использования;

- применение модели машинного обучения в отношении первого дополненного множества обучающих цифровых объектов для дополнения объекта из первого дополненного множества обучающих цифровых объектов уточненной синтезированной меткой и формирования таким образом второго дополненного множества обучающих цифровых объектов; и

- обучение модели машинного обучения определению параметра релевантности цифрового объекта этапа использования на основе второго дополненного множества обучающих цифровых объектов.