Способ и система для формирования метки цифровой задачи алгоритмом машинного обучения Российский патент 2024 года по МПК G06N20/00 

Область техники, к которой относится изобретение

[001] Настоящая технология относится к способам и системам для формирования метки цифровой задачи, в частности, к способам и системам для формирования метки цифровой задачи для цифровой задачи в краудсорсинговой среде.

Уровень техники

[002] Для обучения алгоритмов машинного обучения (MLA, Machine Learning Algorithm) требуется большое количество размеченных данных. Краудсорсинговые платформы, такие как Amazon Mechanical Turk™ позволяют получать большие наборы данных с метками быстрее и с меньшими затратами по сравнению с ограниченным количеством экспертов.

[003] При этом известно, что оценщики, обычно доступные на краудсорсинговых платформах, как правило не являются профессионалами и имеют различающийся уровень знаний и опыта, поэтому полученная разметка оказывается заметно зашумленней разметки, обеспечиваемой экспертами.

[004] В патентной заявке US 20200327582 A1 «Method and System for Determining Result for Task Executed in Crowd-Sourced Environment» (Yandex Europe AG, опубл. 15 октября 2020 г.) описана система для определения результата для задачи, выполняемой в краудсорсинговой среде. Способ включает в себя: получение множества результатов задачи, отправленных множеством оценщиков-людей; получение оценки качества для каждого оценщика-человека из множества оценщиков-людей; формирование множества векторных представлений, содержащего векторное представление для каждого результата; отображение множества векторных представлений в векторное пространство; объединение множества векторных представлений по меньшей мере в первый кластер и во второй кластер; выполнение алгоритма машинного обучения, способного формировать первый параметр достоверности и второй параметр достоверности; формирование объединенного векторного представления, если первый параметр достоверности или второй параметр достоверности соответствует заранее заданному условию; и выбор объединенного векторного представления в качестве результата задачи.

[005] В патентной заявке US 20210133606 A1 «Method and System for Selecting Label from Plurality of Labels for Task in Crowd-Sourced Environment» (Yandex Europe AG, опубл. 6 мая 2021 г.) описаны способ и система для выбора метки для задачи. Способ включает в себя: получение множества меток, каждая из которых указывает на субъективное предпочтение оценщиком первого объекта второму объекту; анализ задачи сравнения для определения набора латентных смещающих признаков; выполнение алгоритма MLA, способного формировать латентный параметр оценки для первого объекта и второго объекта, при этом латентный параметр оценки указывает на вероятное смещение субъективного предпочтения оценщика относительно параметра несмещенного предпочтения первого объекта перед вторым объектом; формирование параметра прогнозируемой степени смещения для оценщика; формирование параметра несмещенного предпочтения; использование сервером параметра несмещенного предпочтения в качестве метки в задаче сравнения для оценщика.

Раскрытие изобретения

[006] Целью настоящего изобретения является создание усовершенствованных способа и системы для формирования метки в цифровой задаче.

[007] Безотносительно какой-либо конкретной теории, варианты осуществления настоящей технологии разработаны на основе предположения, что должным образом обученный алгоритм машинного обучения может правильно имитировать процесс выбора метки, выполняемый оценщиками-экспертами или оценщиками с высокими показателями качества при выборе правильных меток.

[008] Согласно первому аспекту настоящей технологии реализован компьютерный способ формирования метки цифровой задачи алгоритмом MLA, выполняемый сервером, связанным с краудсорсинговой цифровой платформой. Способ включает в себя: на этапе обучения - получение сервером цифровой обучающей задачи для выполнения на краудсорсинговой цифровой платформе; получение сервером множества меток цифровой обучающей задачи, соответствующих цифровой обучающей задаче и отправленных множеством работников краудсорсинговой цифровой платформы, при этом цифровая обучающая метка отправлена работником в ответ на цифровую обучающую задачу с использованием краудсорсинговой цифровой платформы; получение сервером истории действий работника, связанной с каждым работником из множества работников и содержащей ранее отправленные каждым работником метки цифровой задачи; обучение сервером алгоритма MLA, включающее в себя: ввод сервером цифровой обучающей задачи в алгоритм MLA, способный формировать векторное представление задачи, соответствующее векторному представлению обучающей цифровой задачи; ввод сервером историй действий работников в алгоритм MLA, способный формировать векторное представление работника, соответствующее векторному представлению истории действий работника для работника из множества работников; формирование триплета обучающих объектов, содержащего векторное представление задачи, векторное представление работника и метку цифровой обучающей задачи, связанную с векторным представлением работника; использование триплета обучающих объектов для обучения алгоритма MLA прогнозированию метки цифровой задачи для векторного представления задачи, определяемой для цифровой задачи и векторного представления работника; на этапе использования - получение сервером цифровой задачи; определение сервером векторного представления задачи для цифровой задачи; прогнозирование с использованием алгоритма MLA множества меток цифровой задачи для цифровой задачи на основе набора векторных представлений работников и векторного представления задачи для цифровой задачи; определение сервером метки цифровой задачи, соответствующей по меньшей мере одной метке цифровой задачи из множества меток цифровой задачи для цифровой задачи.

[009] В некоторых не имеющих ограничительного характера вариантах осуществления способа определение метки цифровой задачи включает в себя выполнение мажорирования на основе множества меток цифровой задачи для цифровой задачи.

[010] В некоторых не имеющих ограничительного характера вариантах осуществления способа он дополнительно включает в себя определение для каждого работника из множества работников оценки качества, соответствующей предыдущему коэффициенту успешности при предоставлении правильных меток цифровых задач, определяемому на основе истории действий работника.

[011] В некоторых не имеющих ограничительного характера вариантах осуществления способа набор векторных представлений работников относится к подмножеству из множества работников, соответствующих заранее заданному условию.

[012] В некоторых не имеющих ограничительного характера вариантах осуществления способа заранее заданное условие соответствует подмножеству из множества работников, содержащему одного или нескольких работников с предыдущим коэффициентом успешности, превышающим заранее заданный порог.

[013] В некоторых не имеющих ограничительного характера вариантах осуществления способа цифровая задача представляет собой цифровую задачу первого вида, а заранее заданное условие соответствует подмножеству из множества работников, содержащему одного или нескольких работников с предыдущим коэффициентом успешности, превышающим заранее заданный порог для цифровой задачи первого вида.

[014] В некоторых не имеющих ограничительного характера вариантах осуществления способа формирование векторного представления работника для работника включает в себя: определение для работника латентного параметра, указывающего на степень смещения работника в направлении одного или нескольких латентных признаков из цифровой обучающей задачи и определяемого путем анализа матрицы несоответствий, связанной с работником; формирование представления работника на основе латентного параметра.

[015] В некоторых не имеющих ограничительного характера вариантах осуществления способа формирование векторного представления задачи для обучающей цифровой задачи включает в себя: определение для обучающей цифровой задачи одного или нескольких латентных признаков, влияющих на выбор обучающей метки работником; формирование векторного представления задачи на основе одного или нескольких латентных признаков.

[016] В некоторых не имеющих ограничительного характера вариантах осуществления способа один или несколько латентных признаков включают в себя по меньшей мере одно из следующего: размер шрифта, связанный с контентом обучающей цифровой задачи; размер изображения, связанный с контентом обучающей цифровой задачи; количество доступных для выбора меток, связанных с обучающей цифровой задачей; местоположение доступных для выбора меток в контенте обучающей цифровой задачи.

[017] Согласно второму аспекту настоящей технологии реализована система для формирования метки цифровой задачи алгоритмом MLA с сервером, связанным с краудсорсинговой цифровой платформой и содержащим процессор, способный: на этапе обучения – получать цифровую обучающую задачу, подлежащую выполнению на краудсорсинговой цифровой платформе; получать множество меток цифровой обучающей задачи, соответствующих цифровой обучающей задаче и отправленных множеством работников краудсорсинговой цифровой платформы, при этом цифровая обучающая метка отправлена работником в ответ на цифровую обучающую задачу с использованием краудсорсинговой цифровой платформы; получать историю действий работника, связанную с каждым работником из множества работников и содержащую ранее отправленные каждым работником метки цифровой задачи; обучать алгоритм MLA, для чего процессор способен: вводить цифровую обучающую задачу в алгоритм MLA, способный формировать векторное представление задачи, соответствующее векторному представлению обучающей цифровой задачи; вводить истории действий работников в алгоритм MLA, способный формировать векторное представление работника, соответствующее векторному представлению истории действий работника для работника из множества работников; формировать триплет обучающих объектов, содержащий векторное представление задачи, векторное представление работника и метку цифровой обучающей задачи, связанную с векторным представлением работника; использовать триплет обучающих объектов для обучения алгоритма MLA прогнозированию метки цифровой задачи для векторного представления задачи, определяемой для цифровой задачи и векторного представления работника; на этапе использования – получать цифровую задачу; определять векторное представление задачи для цифровой задачи; прогнозировать путем выполнения алгоритма MLA множество меток цифровой задачи для цифровой задачи на основе набора векторных представлений работников и векторного представления задачи для цифровой задачи; определять метку цифровой задачи, соответствующую по меньшей мере одной метке цифровой задачи из множества меток цифровой задачи для цифровой задачи.

[018] В некоторых не имеющих ограничительного характера вариантах осуществления системы процессор с целью определения метки цифровой задачи способен выполнять мажорирование на основе множества меток цифровой задачи для цифровой задачи.

[019] В некоторых не имеющих ограничительного характера вариантах осуществления системы процессор дополнительно способен определять для каждого работника из множества работников соответствующую оценку качества, соответствующую предыдущему коэффициенту успешности при предоставлении правильных меток цифровых задач, определяемому на основе истории действий работника.

[020] В некоторых не имеющих ограничительного характера вариантах осуществления системы набор векторных представлений работников относится к подмножеству из множества работников, соответствующих заранее заданному условию.

[021] В некоторых не имеющих ограничительного характера вариантах осуществления системы заранее заданное условие соответствует подмножеству из множества работников, содержащему одного или нескольких работников с предыдущим коэффициентом успешности, превышающим заранее заданный порог.

[022] В некоторых не имеющих ограничительного характера вариантах осуществления системы цифровая задача представляет собой цифровую задачу первого вида, а заранее заданное условие соответствует подмножеству из множества работников, содержащему одного или нескольких работников с предыдущим коэффициентом успешности, превышающим заранее заданный порог для цифровой задачи первого вида.

[023] В некоторых не имеющих ограничительного характера вариантах осуществления системы с целью формирования векторного представления работника для работника процессор способен: определять для работника латентный параметр, указывающий на степень смещения работника в направлении одного или нескольких латентных признаков из цифровой обучающей задачи и определяемый путем анализа матрицы несоответствий, связанной с работником; формировать представление работника на основе латентного параметра.

[024] В некоторых не имеющих ограничительного характера вариантах осуществления системы с целью формирования векторного представления задачи для обучающей цифровой задачи процессор способен: определять для обучающей цифровой задачи один или несколько латентных признаков, влияющих на выбор обучающей метки работником; формировать векторное представление задачи на основе одного или нескольких латентных признаков.

[025] В некоторых не имеющих ограничительного характера вариантах осуществления системы один или несколько латентных признаков включают в себя по меньшей мере одно из следующего: размер шрифта, связанный с контентом обучающей цифровой задачи; размер изображения, связанный с контентом обучающей цифровой задачи; количество доступных для выбора меток, связанных с обучающей цифровой задачей; местоположение доступных для выбора меток в контенте обучающей цифровой задачи.

[026] В контексте настоящего описания термин «сервер» означает компьютерную программу, выполняемую соответствующими аппаратными средствами и способную принимать запросы (например, от клиентских устройств) через сеть и выполнять эти запросы или инициировать их выполнение. Аппаратные средства могут представлять собой один физический компьютер или одну компьютерную систему, что не существенно для настоящей технологии. В данном контексте выражение «сервер» не означает, что каждая задача (например, принятая команда или запрос) или некоторая конкретная задача принимается, выполняется или запускается одним и тем же сервером (т.е. одними и теми же программными и/или аппаратными средствами). Это выражение означает, что любое количество программных средств или аппаратных средств может принимать, отправлять, выполнять или инициировать выполнение любой задачи или запроса либо результатов любых задач или запросов. Все эти программные и аппаратные средства могут представлять собой один сервер или несколько серверов, причем оба эти случая подразумеваются в выражении «по меньшей мере один сервер».

[027] В контексте настоящего описания термин «клиентское устройство» означает любое компьютерное аппаратное средство, способное выполнять программы, подходящие для решения поставленной задачи. Таким образом, некоторые (не имеющие ограничительного характера) примеры клиентских устройств включают в себя персональные компьютеры (настольные, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует отметить, что в данном контексте устройство, функционирующее как клиентское устройство, также может функционировать как сервер для других клиентских устройств. Использование выражения «клиентское устройство» не исключает использования нескольких клиентских устройств для приема, отправки, выполнения или инициирования выполнения любой задачи или запроса либо результатов любых задач или запросов, либо шагов любого описанного здесь способа.

[028] В контексте настоящего описания термин «база данных» означает любой структурированный набор данных, независимо от его конкретной структуры, программного обеспечения для управления базой данных или компьютерных аппаратных средств для хранения этих данных, их применения или обеспечения их использования иным способом. База данных может располагаться в тех же аппаратных средствах, где реализован процесс, обеспечивающий хранение или использование информации, хранящейся в базе данных, либо база данных может располагаться в отдельных аппаратных средствах, таких как специализированный сервер или множество серверов.

[029] В контексте настоящего описания выражение «информация» включает в себя информацию любого рода или вида, допускающую хранение в базе данных. Таким образом, информация включает в себя аудиовизуальные произведения (изображения, фильмы, звукозаписи, презентации и т.д.), данные (данные о местоположении, числовые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы, списки слов и т.д., но не ограничивается ими.

[030] В контексте настоящего описания выражение «компонент» включает в себя обозначение программного обеспечения (подходящего для определенных аппаратных средств), необходимого и достаточного для выполнения определенной функции или нескольких функций.

[031] В контексте настоящего описания выражение «пригодный для использования в компьютере носитель информации» означает носители любого рода и вида, включая оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), диски (CD-ROM, DVD, гибкие диски, жесткие диски и т.д.), USB-накопители, твердотельные накопители, накопители на магнитных лентах и т.д.

[032] В контексте настоящего описания числительные «первый», «второй», «третий» и т.д. используются лишь для указания на различие между существительными, к которым они относятся, но не для описания каких-либо определенных взаимосвязей между этими существительными. Например, должно быть понятно, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо определенного порядка, типа, хронологии, иерархии или классификации, в данном случае, серверов, а также что их использование (само по себе) не подразумевает наличие «второго сервера» в любой ситуации. Кроме того, как встречается в настоящем описании в другом контексте, ссылка на «первый» элемент и «второй» элемент не исключает того, что эти два элемента в действительности могут быть одним и тем же элементом. Таким образом, например, в некоторых случаях «первый» сервер и «второй» сервер могут представлять собой одно и то же программное и/или аппаратное средство, а в других случаях – разные программные и/или аппаратные средства.

[033] Каждый вариант осуществления настоящей технологии относится к по меньшей мере одной из вышеупомянутых целей и/или к одному из вышеупомянутых аспектов, но не обязательно ко всем ним. Должно быть понятно, что некоторые аспекты настоящей технологии, связанные с попыткой достижения вышеупомянутой цели, могут не соответствовать этой цели и/или могут соответствовать другим целям, явным образом здесь не упомянутым.

[034] Дополнительные и/или альтернативные признаки, аспекты и преимущества вариантов осуществления настоящей технологии содержатся в дальнейшем описании, на приложенных чертежах и в формуле изобретения.

Краткое описание чертежей

[035] Дальнейшее описание приведено для лучшего понимания настоящей технологии, а также других аспектов и их признаков, и должно использоваться совместно с приложенными чертежами.

[036] На фиг. 1 представлена схема системы, реализованной согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[037] На фиг. 2 представлен снимок экрана краудсорсингового интерфейса, реализованного согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии и отображаемого на экране электронного устройства системы, представленной на фиг. 1.

[038] На фиг. 3 представлен пример процесса обучения алгоритма MLA, реализованного согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[039] На фиг. 4 представлена схема процесса определения метки для цифровой задачи в краудсорсинговой среде.

[040] На фиг. 5 представлена блок-схема способа определения метки для цифровой задачи в краудсорсинговой среде.

Осуществление изобретения

[041] На фиг. 1 представлена схема системы 100, пригодной для реализации не имеющих ограничительного характера вариантов осуществления настоящей технологии. Система 100 представляет собой пример компьютерной краудсорсинговой среды. Очевидно, что система 100 приведена лишь для иллюстрации варианта реализации настоящей технологии. Таким образом, дальнейшее описание системы представляет собой описание примеров, иллюстрирующих настоящую технологию. Это описание не предназначено для определения объема или границ настоящей технологии. В некоторых случаях приводятся полезные примеры модификаций системы 100. Они способствуют пониманию, но также не определяют объема или границ настоящей технологии. Эти модификации не составляют исчерпывающего перечня. Как должно быть понятно специалисту в данной области техники, вероятно, возможны и другие модификации. Кроме того, если в некоторых случаях модификации не описаны (т.е. примеры модификаций отсутствуют), это не означает, что они невозможны и/или что это описание содержит единственно возможный вариант реализации того или иного элемента настоящей технологии. Специалисту в данной области техники должно быть понятно, что это может быть иначе. Кроме того, следует понимать, что система 100 в некоторых случаях может представлять собой упрощенную реализацию настоящей технологии и что такие варианты представлены для того, чтобы способствовать лучшему ее пониманию. Специалистам в данной области техники должно быть понятно, что другие варианты осуществления настоящей технологии могут быть значительно сложнее.

[042] Представленные здесь примеры и условный язык предназначены для обеспечения лучшего понимания принципов настоящей технологии, а не для ограничения ее объема до таких специально приведенных примеров и условий. Очевидно, что специалисты в данной области техники способны разработать различные способы и устройства, которые явно не описаны и не показаны, но реализуют принципы настоящей технологии в пределах ее существа и объема. Чтобы способствовать лучшему пониманию, последующее описание может содержать упрощенные варианты реализации настоящей технологии. Специалисту в данной области техники должно быть понятно, что другие варианты осуществления данной технологии могут быть значительно сложнее.

[043] Описание принципов, аспектов и вариантов реализации настоящей технологии, а также их конкретные примеры предназначены для охвата их структурных и функциональных эквивалентов, независимо от того, известны они в настоящее время или будут разработаны в будущем. Например, специалистам в данной области техники должно быть понятно, что любые описанные здесь структурные схемы соответствуют концептуальным представлениям иллюстративных принципиальных схем, реализующих основы настоящей технологии. Также должно быть понятно, что любые блок-схемы, схемы процессов, диаграммы изменения состояния, псевдокоды и т.п. соответствуют различным процессам, которые могут быть представлены на машиночитаемом физическом носителе информации и могут выполняться компьютером или процессором, независимо от того, показан такой компьютер или процессор явно или нет.

[044] Функции различных элементов, показанных на чертежах, включая любой функциональный блок, обозначенный как «процессор», могут быть реализованы с использованием специализированных аппаратных средств, а также аппаратных средств, способных выполнять соответствующее программное обеспечение. Если используется процессор, эти функции могут выполняться одним выделенным процессором, одним совместно используемым процессором и/или множеством отдельных процессоров, некоторые из которых могут использоваться совместно. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор может представлять собой процессор общего назначения, такой как центральный процессор (CPU), или специализированный процессор, такой как графический процессор (GPU). Кроме того, явное использование термина «процессор» или «контроллер» не должно трактоваться как указание исключительно на аппаратные средства, способные выполнять программное обеспечение, и может подразумевать, помимо прочего, аппаратные средства цифрового сигнального процессора (DSP), сетевой процессор, специализированную интегральную схему (ASIC), программируемую вентильную матрицу (FPGA), ПЗУ для хранения программного обеспечения, ОЗУ и/или энергонезависимое запоминающее устройство. Также могут подразумеваться другие аппаратные средства, общего назначения и/или заказные.

[045] Далее с учетом вышеизложенных принципов рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.

[046] Система 100 содержит сервер 102 и базу 104 данных, доступную серверу 102.

[047] Как схематически показано на фиг. 1, база 104 данных содержит указания на идентификаторы множества оценщиков-людей 106, указавших на свою готовность выполнить краудсорсинговую цифровую задачу по меньшей мере одного вида и/или выполнивших по меньшей мере одну краудсорсинговую цифровую задачу в прошлом и/или зарегистрированных для выполнения краудсорсинговой цифровой задачи по меньшей мере одного вида.

[048] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии база 104 данных управляется и/или администрируется поставщиком краудсорсинговых услуг, таким как компания ООО «Яндекс» (ул. Льва Толстого, д. 16, Москва, 119021, Россия). В других не имеющих ограничительного характера вариантах осуществления настоящей технологии база 104 данных может управляться другой организацией.

[049] На реализацию базы 104 данных не накладывается каких-либо особых ограничений. База 104 данных может быть реализована с использованием любой подходящей известной технологии, обеспечивающей описанные здесь функции. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, база 104 данных содержит интерфейс связи (не показан) для двухсторонней связи с сетью 110 связи (или имеет доступ к нему).

[050] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии в качестве сети 110 связи может использоваться сеть Интернет. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии сеть 110 связи может быть реализована иначе, например, в виде любой глобальной сети связи, локальной сети связи, частной сети связи и т.п.

[051] Предполагается, что база 104 данных может по меньшей мере частично храниться на сервере 102 и/или по меньшей мере частично управляться сервером 102. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, база 104 данных содержит информацию, связанную с идентификаторами по меньшей мере некоторых оценщиков-людей 106 из множества оценщиков-людей 106 и достаточную для того, чтобы обратившийся к базе 104 данных элемент, такой как сервер 102, мог назначить и отправить одну или несколько цифровых задач для выполнения одним или несколькими оценщиками-людьми 106.

[052] В любой момент времени множество оценщиков-людей 106 может содержать различное количество оценщиков-людей 106, например, 50 оценщиков-людей, доступных для выполнения цифровых задач. Множество оценщиков-людей 106 может содержать большее или меньшее количество оценщиков-людей 106.

[053] Сервер 102 может быть реализован в виде традиционного компьютерного сервера. В не имеющем ограничительного характера примере осуществления настоящей технологии сервер 102 может быть реализован в виде сервера Dell™ PowerEdge™, работающего под управлением операционной системы Microsoft™ Windows Server™. Очевидно, что сервер 102 может быть реализован с использованием любых других подходящих аппаратных средств и/или прикладного программного обеспечения и/или встроенного программного обеспечения либо их сочетания. В представленном не имеющем ограничительного характера варианте осуществления настоящей технологии сервер 102 реализован в виде одного сервера. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии функции сервера 102 могут быть распределены между несколькими серверами.

[054] Сервер 102 содержит интерфейс связи (не показан) для обеспечения двухсторонней связи с сетью 110 связи по линии 108 связи.

[055] На реализацию линии 108 связи не накладывается каких-либо особых ограничений, она зависит от реализации сервера 102. Например, линия 108 связи может быть реализована в виде беспроводной линии связи (такой как канал сети связи 3G, канал сети связи 4G, Wireless Fidelity или сокращенно WiFi^®, Bluetooth^® и т.п.) или проводной линии связи (такой как соединение на основе Ethernet).

[056] Должно быть понятно, что варианты реализации сервера 102, линии 108 связи и сети 110 связи приведены лишь для иллюстрации. Специалисту в данной области техники должны быть понятными и другие конкретные детали реализации сервера 102, линии 108 связи и сети 110 связи. Представленные выше примеры никак не ограничивают объем настоящей технологии.

[057] Сервер 102 содержит память 114 сервера, содержащую один или несколько носителей информации и в общем случае хранящую компьютерные программные команды, выполняемые процессором 116 сервера. Например, память 114 сервера может быть реализована в виде машиночитаемого физического носителя информации, включая ПЗУ и/или ОЗУ. Память 114 сервера также может включать в себя одно или несколько устройств постоянного хранения, таких как жесткие диски (HDD), твердотельные накопители (SSD) и карты флэш-памяти.

[058] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 может эксплуатироваться организацией, управляющей базой 104 данных. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 может эксплуатироваться организацией, отличной от той, что управляет базой 104 данных.

[059] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 способен выполнять краудсорсинговое приложение 118. Например, краудсорсинговое приложение 118 может быть реализовано в виде краудсорсинговой платформы, такой как Toloka™ либо другой проприетарной или коммерчески доступной краудсорсинговой платформы.

[060] С этой целью сервер 102 связан с базой 121 данных цифровых задач. В других не имеющих ограничительного характера вариантах осуществления изобретения база 121 данных цифровых задач может быть связана с сервером 102 через сеть 110 связи. Несмотря на то, что база 121 данных цифровых задач схематично показана здесь в виде одного элемента, предполагается, что база 121 данных цифровых задач может быть распределенной.

[061] В базе 121 данных цифровых задач хранится указание на множество цифровых задач (отдельно не обозначено), каждая из которых соответствует задаче для человеческого интеллекта (HIT, Human Intelligence Task), далее также называемой просто задачей (отдельно не обозначена).

[062] На наполнение базы 121 данных цифровых задач множеством цифровых задач не накладывается каких-либо ограничений. В общем случае, один или несколько составителей запросов на выполнение цифровых задач (не показаны) могут отправить одну или несколько цифровых задач для сохранения в базе 121 данных цифровых задач. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии один или несколько составителей запросов на выполнение цифровых задач могут указать вид оценщиков, для которых предназначена цифровая задача, и/или бюджет, выделяемый каждому оценщику-человеку 106, предоставившему результат.

[063] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии база данных цифровых задач дополнительно способна хранить набор признаков задачи (не показаны), связанных с каждой цифровой задачей, хранящейся в базе 121 данных цифровых задач. Например, набор зависящих от задачи признаков для цифровой задачи может, в числе прочего, содержать один или несколько идентификаторов задачи и один или несколько латентных признаков, связанных с цифровой задачей. В контексте настоящего описания выражение «латентный признак» может соответствовать любому связанному с цифровой задачей признаку, который вследствие необъективности оценщика-человека 106 может влиять в ту или иную сторону на решение оценщика-человека 106 при выполнении цифровой задачи, но не связан с качеством выбранных вариантов, предоставленных в этой цифровой задаче (т.е. в поставленной цифровой задаче оценивания). Иными словами, латентные признаки цифровой задачи не имеют (или не должны иметь) прямой корреляции с меткой, назначенной для одного из двух вариантов выбора в цифровой задаче, но, тем не менее, могут влиять на оценщиков-людей 106 при выполнении ими цифровой задачи (что более подробно описано ниже).

[064] На формирование набора латентных признаков не накладывается каких-либо ограничений. Например, набор латентных признаков может формироваться оператором краудсорсингового приложения 118 или автоматически путем использования алгоритма машинного обучения в ответ на направление цифровой задачи составителем запроса краудсорсинговому приложению 118.

[065] На реализацию цифровой задачи не накладывается каких-либо ограничений. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии база 121 данных цифровых задач содержит цифровые задачи аннотирования (также известные как цифровые задачи классификации).

[066] Цифровая задача классификации соответствует цифровой задаче, в которой оценщику-человеку 106 предлагается выбрать вариант с использованием метки из первой категории и/или второй категории. На фиг. 2 представлен снимок экрана краудсорсингового интерфейса 200, реализованного согласно не имеющему ограничительного характера варианту осуществления настоящей технологии (представлен пример интерфейса 200, отображаемого на экране одного из электронных устройств 120). Интерфейс 200 иллюстрирует цифровую задачу 208 классификации изображений.

[067] Интерфейс 200 содержит инструкцию 202 для оценщиков-людей 106 и объект (т.е. изображение 204). Для ясности следует отметить, что текст (и, в частности, каждая буква) в интерфейсе 200 представлен символами «Х». Тем не менее фактически текст состоит из слов на некотором языке (например, на английском языке). В частности, инструкция 202 может содержать указания оценщикам-людям 106 выбрать правильный вариант классификации животного, представленного на изображении 204. Интерфейс содержит первую метку 210, связанную со словом «кошка», и вторую метку 212, связанную со словом «собака». Очевидно, что также возможны задачи классификации других видов, такие как классификация документов, текстов и т.п. Кроме того, должно быть понятно, что лишь две метки (т.е. первая метка 210 и вторая метка 212) доступны для выбора в цифровой задаче 208 исключительно для удобства объяснения. Предполагается, что в качестве доступных для выбора вариантов может быть представлено больше двух меток.

[068] Набор латентных признаков может, среди прочего, содержать визуальные и/или текстовые признаки, связанные с цифровой задачей. Например, в цифровой задаче 208 набор латентных признаков может, среди прочего, содержать по меньшей мере одно из следующего:

- размер шрифта, связанный с инструкцией 202 или с другим текстовым контентом интерфейса 200;

- вид цифровой задачи, связанный с цифровой задачей 208 (например, категоризация, перевод, оценивание релевантности и т.п.);

- сложность, присущая цифровой задаче 208 согласно оценке оператора, связанного с краудсорсинговым приложением 118;

- демографические данные оценщика-человека 106;

- целеустремленность оценщика-человека 106, прочитавшего инструкцию 202, основанная на времени ответа для выполнения цифровой задачи 208;

- размер изображения 204;

- количество доступных для выбора меток в цифровой задаче 208 и их соответствующие местоположения.

[069] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии база 121 данных цифровых задач также содержит цифровые задачи, не являющиеся цифровыми задачами классификации. Например, не связанная с классификацией цифровая задача может содержать цифровые задачи попарного сравнения. Попарное сравнение соответствует цифровой задаче, в которой оценщикам-людям 106 предлагается выполнить ранжирование одного или нескольких объектов (таких как страницы результатов поисковой системы (SERP, Search Engine Result Page), переводы и т.д.). В таком случае набор латентных признаков может, среди прочего, дополнительно содержать:

- морфологические, синтаксические и семантические взаимосвязи между лексемами, содержащимися в текстах не связанной с классификацией цифровой задачи, и/или

- совпадения слов или фраз, содержащихся в текстах не связанной с классификацией цифровой задачи, и/или

- контекст слов и словесные выражения в составе фраз, содержащихся в не связанной с классификацией цифровой задаче.

[070] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, краудсорсинговое приложение 118 способно назначать цифровую задачу для по меньшей мере подмножества из множества оценщиков-людей 106, указавших на свою доступность в базе 104 данных (см. фиг. 1).

[071] Сервер 102 способен осуществлять связь с различными элементами через сеть 110 связи. Примеры различных элементов включают в себя базу 104 данных, соответствующие электронные устройства 120 оценщиков-людей 106 и другие устройства, которые могут быть подключены к сети 110 связи. Соответственно, краудсорсинговое приложение 118 способно получать цифровую задачу из базы 121 данных цифровых задач и отправлять цифровую задачу соответствующему электронному устройству 120, используемому множеством оценщиков-людей 106 для выполнения задачи, например, через сеть 110 связи.

[072] Предполагается, что для этой цели может быть использована любая подходящая технология и/или среда передачи файлов. Также предполагается, что цифровая задача может быть отправлена множеству оценщиков-людей 106 с использованием любого другого подходящего способа, например, путем обеспечения удаленного доступа к цифровой задаче для множества оценщиков-людей 106.

[073] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, сервер 102 способен получать набор результатов цифровой задачи (в виде меток), выполненной множеством оценщиков-людей 106. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, набор результатов может быть получен сервером 102 в одном или нескольких пакетах 122 данных, например, через сеть 110 связи. Предполагается, что могут использоваться любые другие подходящие средства передачи данных.

[074] В общем случае краудсорсинговое приложение 118 способно объединять набор результатов с целью определения «истинной» метки для рассматриваемой цифровой задачи. Например, в ответ на цифровую задачу 208 краудсорсинговое приложение 118 может получить с использованием пакетов 122 данных 200 необработанных (т.е. необъединенных) меток, каждая из которых выбрана соответствующим оценщиком-человеком 106. В общем случае краудсорсинговое приложение 118 способно выполнять один или несколько способов объединения с целью получения истинной метки из противоречивых выбранных меток. Самая основная модель агрегирования, известная в данной области техники, представляет собой мажорирование, при котором наиболее часто встречающаяся метка для цифровой задачи 208 считается истинной меткой.

[075] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 также связан с базой 124 данных журналов с использованием линии связи (не обозначена), которая может представлять собой выделенную линию связи и т.п. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии база 124 данных журналов может быть связана с сервером 102 с использованием сети 110 связи без выхода за границы настоящей технологии. Несмотря на то, что база 124 данных журналов схематично показана здесь в виде одного элемента, предполагается, что база 124 данных журналов может быть распределенной.

[076] База 124 данных журналов способна собирать и хранить информацию, связанную с оценщиками-людьми 106 и с цифровыми задачами, выполненными оценщиками-людьми 106.

[077] Например, в базе 124 данных журналов могут храниться истории действий работников, содержащие параметры и характеристики взаимодействия оценщиков-людей 106 с краудсорсинговым приложением 118. В частности, каждая история действий работника связана с конкретным оценщиком-человеком 106. История действий работника может, среди прочего, содержать:

- время регистрации оценщика-человека 106 в краудсорсинговом приложении 118;

- количество цифровых задач, выполненных оценщиком-человеком 106 с момента регистрации, и значения времени их выполнения;

- количество выполняемых задач в час;

- виды цифровых задач, выполненных оценщиком-человеком 106 с момента регистрации;

- идентификаторы цифровых задач, выполненных оценщиком-человеком 106 с момента регистрации, и соответствующие выбранные метки;

- оценка качества или коэффициент успешности оценщика-человека 106, соответствующий надежности результата цифровой задачи, выполненной оценщиком-человеком 106, или, иными словами, коэффициент ошибок оценщика-человека.

[078] На способ определения оценки качества оценщика-человека 106 не накладывается каких-либо ограничений. Например, оценка качества может быть определена на основе первого множества «задач-ловушек», выполненных оценщиком-человеком 106. Здесь термин «задача-ловушка» означает цифровую задачу, правильный результат которой известен до ее отправки для выполнения оценщику-человеку 106, который тестируется или оценивается с целью определения связанной с ним оценки качества, при этом правильный результат не известен оцениваемому оценщику-человеку 106.

[079] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии оценка качества также может определяться (в дополнение к «задачам-ловушкам» или без них) на основе анализа меток, ранее выбранных оценщиком-человеком 106 и определенных как истинные метки для соответствующей цифровой задачи краудсорсинговым приложением 118. Должно быть понятно, что оценка качества может соответствовать общей оценке качества, учитывающей все ранее выполненные цифровые задачи, а также может содержать зависящую от вида оценку качества, учитывающую только ранее выполненные цифровые задачи конкретного вида.

[080] Несмотря на то, что система 100 описана со ссылкой на различные элементы аппаратных средств (такие как база 104 данных, сервер 102, база 124 данных журналов, база 121 данных цифровых задач и т.д.), изображенные по отдельности, должно быть понятно, что это сделано для лучшего понимания. Предполагается, что различные функции, выполняемые этими элементами, могут выполняться одним элементом или могут быть распределены между различными элементами.

[081] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии краудсорсинговое приложение 118 способно выполнять алгоритм 126 MLA. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 126 MLA обучен выполнению цифровой задачи (такой как цифровая задача 208) без задействования оценщиков-людей 106 (более подробно описано ниже). Например, в случае цифровой задачи 208 алгоритм 126 MLA способен выбирать метку (например, первую метку 210 и/или вторую метку 212) в ответ на получение цифровой задачи 208.

Алгоритм 126 MLA – этап обучения

[082] На фиг. 3 представлена схема процесса обучения алгоритма 126 MLA.

[083] Для лучшего понимания основополагающих концепций настоящей технологии следует понимать, что обучение алгоритма 126 MLA можно разделить на первый этап и второй этап. На первом этапе формируются обучающие входные данные (описаны ниже). На втором этапе алгоритм 126 MLA обучается с использованием обучающих входных данных. Несмотря на то, что шаги обучения алгоритма 126 MLA описаны как выполняемые процессором 116, объем изобретения этим не ограничивается. Должно быть понятно, что обучать и/или выполнять алгоритм 126 MLA может сервер 102 и/или другой сервер, связанный с сервером 102.

[084] Ниже приведено описание формирования обучающих входных данных, которое начинается с базы 121 данных цифровых задач. Как указано выше, база 121 данных цифровых задач содержит множество цифровых задач. Дальнейшее описание этапа обучения приведено со ссылкой на одну или несколько обучающих цифровых задач, хранящихся в базе 121 данных цифровых задач. Должно быть понятно, что эти обучающие цифровые задачи могут не отличаться от цифровых задач, описанных выше со ссылкой на фиг. 2. Иными словами, обучающие цифровые задачи могут храниться в базе 121 данных цифровых задач подобно тому, как это описано выше.

[085] Для иллюстрации можно предположить, что база 121 данных цифровых задач содержит обучающую цифровую задачу 302, которую краудсорсинговое приложение 118 отправляет набору оценщиков-людей 106, содержащему первого оценщика-человека 304, второго оценщика-человека 306 и третьего оценщика-человека 308. Очевидным образом предполагается, что обучающая цифровая задача 302 может быть отправлена больше или меньше чем трем оценщикам-людям.

[086] В ответ на получение обучающей цифровой задачи 302 каждый оценщик из числа первого оценщика-человека 304, второго оценщика-человека 306 и третьего оценщика-человека 308 выполняет обучающую цифровую задачу 302 путем выбора метки. Например, алгоритм 126 MLA способен получать набор 310 ответов, содержащий первую обучающую метку 312, назначенную первым оценщиком-человеком 304, вторую обучающую метку 314, назначенную вторым оценщиком-человеком 306, и третью обучающую метку 316, назначенную третьим оценщиком-человеком 308. Следует отметить, что алгоритм 126 MLA способен получать набор 310 ответов, содержащий необработанные (т.е. необъединенные) первую обучающую метку 312, вторую обучающую метку 314 и третью обучающую метку 316.

[087] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии обучающая цифровая задача 302 дополнительно вводится в алгоритм 126 MLA для формирования векторного представления 318 обучающей цифровой задачи 302. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 126 MLA способен определять или получать из базы 121 данных цифровых задач один или несколько латентных признаков, связанных с обучающей цифровой задачей 302, и формировать векторное представление 318 задачи на основе одного или нескольких латентных признаков, связанных с обучающей цифровой задачей 302. На формирование векторного представления 318 задачи на основе одного или нескольких латентных признаков, связанных с обучающей цифровой задачей 302, не накладывается каких-либо ограничений. Этот процесс может, в числе прочего, включать в себя использование алгоритма на основе долгой краткосрочной памяти (LSTM, Long Short-Term Memory), алгоритма на основе представлений двунаправленного кодера из трансформеров (BERT, Bidirectional Encoder Representations from Transformers), алгоритма на основе сверточной нейронной сети (CNN, Convolutional Neural Network) и т.п.

[088] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 126 MLA дополнительно способен получать из базы 124 данных журналов историю действий работника для каждого оценщика-человека из набора оценщиков-людей 106. Затем алгоритм 126 MLA способен формировать набор 320 векторных представлений работников, содержащий первое векторное представление 322 работника, связанное с первым оценщиком-человеком 304, второе векторное представление 324 работника, связанное со вторым оценщиком-человеком 306, и третье векторное представление 326 работника, связанное с третьим оценщиком-человеком 308. На формирование набора 320 векторных представлений работников не накладывается каких-либо ограничений. Этот процесс может, в числе прочего, включать в себя использование алгоритма на основе памяти LSTM, алгоритма на основе представлений BERT, алгоритма на основе сети CNN и т.п.

[089] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 126 MLA способен определять для оценщика-человека латентный параметр, указывающий на степень смещения оценщика-человека в направлении одного или нескольких латентных признаков. На определение латентного параметра не накладывается каких-либо ограничений. С учетом того, что история действий работника содержит (а) указание на все идентификаторы ранее выполненных задач и (б) указание на идентификаторы задач, для которых метки, ранее выбранные связанным оценщиком-человеком 106, были определенны как являющиеся истинными метками для соответствующей цифровой задачи, алгоритм 126 MLA способен определять латентный параметр путем анализа матрицы несоответствий оценщика-человека с использованием в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии способа на основе слоев адаптации обычного шума (CoNAL, Common Noise Adaptation Layers). В частности, алгоритм 126 MLA способен определять для оценщика-человека латентный параметр путем анализа влияния одного или нескольких наборов латентных признаков на ответ оценщика-человека 106. Очевидно, что возможны и другие средства определения латентного параметра, такие как использование модели Дэвида-Скина (Dawid-Skene), порождающей модели отметок, возможностей и сложностей (GLAD, Generative model of Labels, Abilities, and Difficulties) и модели уменьшенной средней подпоследовательности матрицы (M-MSR, Matrix-Mean-Subsequence-Reduced). В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 126 MLA способен формировать набор 320 векторных представлений работников на основе одного или нескольких латентных признаков первого оценщика-человека 304, второго оценщика-человека 306 и третьего оценщика-человека 308.

[090] На формирование набора 320 векторных представлений работников не накладывается каких-либо ограничений. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии векторное представление работника (такое как первое векторное представление 322 работника) формируется в виде случайного вектора (не показан) случайной длины. На этапе обучения первый случайный вектор подвергается конкатенации с предыдущим векторным представлением задачи, связанным с ранее выполненной работником цифровой задачей, в результате чего формируется «склеенный» вектор. Затем используется способ обратного распространения, чтобы улучшить первый случайный вектор и предыдущее векторное представление задачи, при этом обратное распространение выполняется на основе метки, выбранной работником для ранее выполненной цифровой задачи.

[091] Очевидно, что несмотря на то, что только одна обучающая цифровая задача (т.е. обучающая цифровая задача 302) и три оценщика-человека (т.е. первый оценщик-человек 304, второй оценщик-человек 306 и третий оценщик-человек 308) показаны здесь для лучшего понимания, предполагается, что более одной обучающей цифровой задачи может быть отправлено больше чем трем оценщикам-людям.

[092] Набор 310 ответов, векторное представление 318 задачи и набор 320 векторных представлений работников в совокупности образуют набор 328 обучающих данных (более подробно описано ниже).

[093] Ниже описано обучение алгоритма 126 MLA с использованием набора 328 обучающих данных. Набор 328 обучающих данных содержит триплеты обучающих данных, а именно: первый триплет 330 обучающих объектов, второй триплет 332 обучающих объектов и третий триплет 334 обучающих объектов. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии каждый триплет обучающих объектов связан с оценщиком-человеком и с обучающей цифровой задачей. Например, первый триплет 330 обучающих объектов связан с первым оценщиком-человеком 304 и содержит первую обучающую метку 312, векторное представление 318 задачи и первое векторное представление 322 работника.

[09] Набор 328 обучающих данных или, в частности, отдельные триплеты обучающих объектов вводятся в алгоритм 126 MLA. Алгоритм 126 MLA содержит логику обучения для определения набора признаков, связанных с каждым триплетом обучающих объектов (например, с первой обучающей меткой 312, с векторным представлением 318 задачи и с первым векторным представлением 322 работника). На основе набора признаков, связанных с каждым триплетом обучающих объектов, алгоритм 126 MLA способен обучаться прогнозированию метки для цифровой задачи на основе векторного представления задачи, определяемой для цифровой задачи и векторного представления работника. В частности, на этапе использования (подробно описано ниже) алгоритм 126 MLA способен формировать распределение вероятностей для выбора метки цифровой задачи оценщиком-человеком с учетом векторного представления работника для оценщика-человека и векторного представления задачи для цифровой задачи (подробно описано ниже).

[095] Несмотря на представление здесь лишь одного экземпляра процесса обучения алгоритма 126 MLA, это сделано исключительно для лучшего понимания. Очевидно, что обучение алгоритма 126 MLA выполняется итеративно с использованием множества различных триплетов обучающих объектов.

Алгоритм 126 MLA – этап использования

[096] Далее, после описания обучения алгоритма 126 MLA до этапа использования, со ссылкой на фиг. 4 описана схема работы краудсорсингового приложения 118, способного выполнять алгоритм 126 MLA (см. фиг. 1). Краудсорсинговое приложение 118 выполняет процедуру 402 приема, процедуру 404 выбора и процедуру 406 объединения (или иным способом осуществляет доступ к ним).

[097] В контексте настоящего описания термин «процедура» подразумевает подмножество компьютерных программных команд краудсорсингового приложения 118, выполняемых процессором 116 с целью реализации описанных ниже функций, связанных с различными процедурами (с процедурой 402 приема, процедурой 404 выбора и процедурой 406 объединения). При этом должно быть однозначно понятно, что процедура 402 приема, процедура 404 выбора и процедура 406 объединения схематически показаны как отдельные элементы лишь для удобства объяснения процессов, выполняемых краудсорсинговым приложением 118. Предполагается, что некоторые или все процедуры из числа процедуры 402 приема, процедуры 404 выбора и процедуры 406 объединения могут быть реализованы в виде одной или нескольких комбинированных процедур. Кроме того, предполагается, что некоторые процедуры из числа процедуры 402 приема, процедуры 404 выбора и процедуры 406 объединения выполняются приложением (не показано), связанным с краудсорсинговым приложением 118, которое хранится на сервере 102 или в другом элементе.

[098] Для лучшего понимания настоящей технологии ниже описаны функции и обрабатываемые или сохраняемые данные и/или информация процедуры 402 приема, процедуры 404 выбора и процедуры 406 объединения.

Процедура 402 приема

[099] Процедура 402 приема способна получать пакет 408 данных из базы 121 данных цифровых задач. Пакет данных содержит цифровую задачу, подлежащую выполнению одним или несколькими оценщиками-людьми 106. Для объяснения можно предположить, что пакет 408 данных содержит цифровую задачу 208. Очевидно, что лишь один пакет 408 данных показан исключительно для лучшего понимания. Должно быть понятно, что процедура 402 приема может получать множество пакетов данных, каждый из которых содержит цифровую задачу.

[0100] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 402 приема способна анализировать набор признаков задачи для цифровой задачи 208 путем обращения к базе 121 данных цифровых задач. В частности, процедура 402 приема способна определять вид и сложность цифровой задачи 208.

[0101] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 402 приема дополнительно способна обращаться к базе 124 данных журналов и выбирать одну или несколько историй действий работников, соответствующих заранее заданному условию. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии заранее заданное условие соответствует выбору одной или нескольких историй действий работника с оценкой качества, превышающей заранее заданный порог. В дополнительных не имеющих ограничительного характера вариантах осуществления настоящей технологии заранее заданное условие соответствует N историям действий работника с оценкой качества, превышающей заранее заданный порог для задач, подобных по виду и по сложности цифровой задаче 208. В частности, с учетом того, что цифровая задача 208 представляет собой цифровую задачу классификации, процедура 402 приема способна выбирать одну или несколько историй действий работника с оценкой качества для цифровых задач классификации подобной сложности (подобных цифровой задаче 208), превышающей заранее заданный порог. На определение заранее заданного порога не накладывается каких-либо ограничений. Например, он может определяться администратором краудсорсингового приложения 118.

[0102] Можно предположить, что процедура 402 приема определила три истории действий работников, соответствующие заранее заданному условию. Тогда процедура 402 приема может сформировать набор 418 векторных представлений работников, каждое из которых соответствует векторному представлению истории действий работника, соответствующей заранее заданному условию. Несмотря на то, что только три истории действий работников представлены здесь как соответствующие заранее заданному условию, это сделано исключительно для лучшего понимания. Должно быть понятно, что больше или меньше трех историй действий работника могут соответствовать заранее заданному условию.

[0103] Процедура 402 приема дополнительно способна отправлять пакет 414 данных процедуре 404 выбора. Пакет 414 данных содержит цифровую задачу 208 и набор 418 векторных представлений работников.

Процедура 404 выбора

[0104] В ответ на получение пакета 414 данных процедура 404 выбора способна выполнять следующие функции.

[0105] Сначала процедура 404 выбора способна формировать векторное представление 416 задачи для цифровой задачи 208 с использованием алгоритма 126 MLA.

[0106] Сформировав векторное представление 416 задачи и имея набор 418 векторных представлений работников, процедура 404 выбора способна выполнять алгоритм 126 MLA, ранее обученный прогнозированию метки (т.е. первой метки 210 или второй метки 212) на основе векторного представления 416 задачи и каждого векторного представления работника из набора 418 векторных представлений работников. С учетом того, что набор 418 векторных представлений работников содержит три векторных представления работников, алгоритм 126 MLA может сформировать первый набор 420 выбранных меток (каждый отдельно выбранный алгоритмом 126 MLA результат или метка показаны в виде треугольника) и отправить набор 420 выбранных меток процедуре 406 объединения.

Процедура 406 объединения

[0107] Первый набор 420 выбранных меток образует суммарный набор 422 выбранных меток.

[0108] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 406 объединения способна выбирать из суммарного набора 422 выбранных меток «истинную» или «правильную» метку для цифровой задачи 208. На определение такой метки не накладывается каких-либо ограничений. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии правильная метка соответствует метке с большинством голосов в результате мажорирования из суммарного набора 422 выбранных меток. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии предполагается, что «истинную» или «правильную» метку можно определять с использованием взвешенной мажоритарной системы. Реализация взвешенной мажоритарной системы известна в данной области техники и может основываться на алгоритме GLAD или на алгоритме Дэвида-Скина.

[0109] Например, можно предположить, что в суммарном наборе 422 выбранных меток первая метка 210 выбрана дважды, а вторая метка 212 выбрана один раз, тогда процедура 406 объединения может выбрать первую метку 210 в качестве правильной метки для цифровой задачи 208.

[0110] Несмотря на то, что в представленном выше описании суммарный набор 422 выбранных меток содержит только первый набор 420 выбранных меток (полученных алгоритмом 126 MLA), объем изобретения этим не ограничивается.

[0111] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии предполагается, что суммарный набор 422 выбранных меток также содержит второй набор выбранных меток (не показан), полученных одним или нескольким оценщиками-людьми 106. В частности, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 402 приема дополнительно способна отправлять пакет 408 данных одному или нескольким оценщикам-людям 106, выбирающим одну или несколько меток, образующих второй набор меток, отправляемых процедуре 406 объединения. В этом случае суммарный набор 422 выбранных меток содержит первый набор 420 выбранных меток (полученных алгоритмом 126 MLA) и второй набор меток (полученных оценщиками-людьми 106). В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии три истории действий работников, соответствующие заранее заданному условию и выбранные процедурой 404 выбора, не связаны с одним или несколькими оценщиками-людьми 106, получившими пакет 408 данных и отправившими метку из второго набора выбранных меток. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 406 объединения дополнительно способна рассчитывать и отправлять вознаграждение оценщикам-людям 106, выбравшим правильную метку, т.е. первую метку 210.

[0112] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 406 объединения дополнительно способна обращаться к базе 124 данных журналов (см. фиг. 1) и обновлять оценки качества оценщиков-людей 106, отправивших второй набор выбранных меток.

[0113] Благодаря различным не имеющим ограничительного характера вариантам осуществления настоящей технологии возможен выбор метки для цифровой задачи с использованием алгоритма 126 MLA с использованием или без использования меток, полученных одним или несколькими оценщиками-людьми 106.

[0114] Описанные выше архитектура и примеры позволяют выполнять компьютерный способ формирования метки цифровой задачи алгоритмом машинного обучения на краудсорсинговой цифровой платформе. На фиг. 5 представлена блок-схема способа 500, выполняемого согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии. Способ 500 может выполняться сервером 102 или другим элементом (таким как сервер), связанным с сервером 102.

[0115] Шаг 502: получение сервером цифровой обучающей задачи для выполнения на краудсорсинговой цифровой платформе.

[0116] Способ 500 начинается с шага 502, на котором обучающая цифровая задача 302 отправляется краудсорсинговым приложением 118 набору оценщиков-людей 106.

[0117] Шаг 504: получение сервером множества меток цифровой обучающей задачи, соответствующих цифровой обучающей задаче и отправленных множеством работников краудсорсинговой цифровой платформы, при этом цифровая обучающая метка отправлена работником в ответ на цифровую обучающую задачу с использованием краудсорсинговой цифровой платформы.

[0118] На шаге 504 в ответ на получение обучающей цифровой задачи 302 каждый оценщик из числа первого оценщика-человека 304, второго оценщика-человека 306 и третьего оценщика-человека 308 выполняет обучающую цифровую задачу 302 путем выбора метки. Например, алгоритм 126 MLA способен получать набор 310 ответов, содержащий первую обучающую метку 312, назначенную первым оценщиком-человеком 304, вторую обучающую метку 314, назначенную вторым оценщиком-человеком 306, и третью обучающую метку 316, назначенную третьим оценщиком-человеком 308. Следует отметить, что алгоритм 126 MLA способен получать набор 310 ответов, содержащий необработанные (т.е. необъединенные) первую обучающую метку 312, вторую обучающую метку 314 и третью обучающую метку 316.

[0119] Шаг 506: получение сервером истории действий работника, связанной с каждым работником из множества работников и содержащей ранее отправленные каждым работником метки цифровой задачи.

[0120] На шаге 506 алгоритм 126 MLA сервера 102 способен получать из базы 124 данных журналов историю действий работника для каждого оценщика-человека из набора оценщиков-людей 106.

[0121] Шаг 508: обучение сервером алгоритма MLA, включающее в себя: ввод сервером цифровой обучающей задачи в алгоритм MLA, способный формировать векторное представление задачи, соответствующее векторному представлению цифровой обучающей задачи; ввод сервером историй действий работников в алгоритм MLA, способный формировать векторное представление работника, соответствующее векторному представлению истории действий работника для работника из множества работников; формирование триплета обучающих объектов, содержащего векторное представление задачи, векторное представление работника и метку цифровой обучающей задачи, связанную с векторным представлением работника; использование триплета обучающих объектов для обучения алгоритма MLA прогнозированию метки цифровой задачи для векторного представления цифровой задачи, определяемой для цифровой задачи и векторного представления работника.

[0122] На шаге 508 алгоритм 126 MLA способен формировать набор 320 векторных представлений работников, содержащий первое векторное представление 322 работника, связанное с первым оценщиком-человеком 304, второе векторное представление 324 работника, связанное со вторым оценщиком-человеком 306, и третье векторное представление 326 работника, связанное с третьим оценщиком-человеком 308.

[0123] Алгоритм 126 MLA дополнительно способен получать в качестве входных данных обучающую цифровую задачу и формировать векторное представление 318 задачи для обучающей цифровой задачи 302. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 126 MLA способен определять или получать из базы 121 данных цифровых задач один или несколько латентных признаков, связанных с обучающей цифровой задачей 302, и формировать векторное представление 318 задачи на основе одного или нескольких латентных признаков, связанных с обучающей цифровой задачей 302.

[0124] Набор 310 ответов, векторное представление 318 задачи и набор 320 векторных представлений работников в совокупности образуют набор 328 обучающих данных (что более подробно описано ниже).

[0125] Ниже описано обучение алгоритма 126 MLA с использованием набора 328 обучающих данных. Набор 328 обучающих данных содержит триплеты обучающих данных, а именно: первый триплет 330 обучающих объектов, второй триплет 332 обучающих объектов и третий триплет 334 обучающих объектов. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии каждый триплет обучающих объектов связан с оценщиком-человеком и с обучающей цифровой задачей. Например, первый триплет 330 обучающих объектов связан с первым оценщиком-человеком 304 и содержит первую обучающую метку 312, векторное представление 318 задачи и первое векторное представление 322 работника.

[0126] Набор 328 обучающих данных или, в частности, отдельные триплеты обучающих объектов вводятся в алгоритм 126 MLA. Алгоритм 126 MLA содержит логику обучения для определения набора признаков, связанных с каждым триплетом обучающих объектов (например, с первой обучающей меткой 312, с векторным представлением 318 задачи и с первым векторным представлением 322 работника). На основе набора признаков, связанных с каждым триплетом обучающих объектов, алгоритм 126 MLA способен обучаться прогнозированию метки для цифровой задачи на основе векторного представления задачи и векторного представления работника.

[0127] Шаг 510 – на этапе использования: получение сервером цифровой задачи; определение сервером векторного представления задачи для цифровой задачи; прогнозирование с использованием алгоритма MLA множества меток цифровой задачи для цифровой задачи на основе набора векторных представлений работников и векторного представления задачи для цифровой задачи; определение сервером метки цифровой задачи, соответствующей по меньшей мере одной метке цифровой задачи из множества меток цифровой задачи для цифровой задачи.

[0128] На шаге 510 сервер 102 получает пакет 408 данных, содержащий цифровую задачу 208 из базы 121 данных цифровых задач. Сервер 102 способен обращаться к базе 124 данных журналов и выбирать одну или несколько историй действий работников, соответствующих заранее заданному условию. Можно предположить, что сервер 102 определил три истории действий работников, соответствующие заранее заданному условию. Тогда сервер 102 может сформировать набор 418 векторных представлений работников, каждое из которых соответствует векторному представлению истории действий работника, соответствующей заранее заданному условию. Сервер 102 дополнительно способен формировать векторное представление 416 задачи для цифровой задачи 208 с использованием алгоритма 126 MLA.

[0129] Сформировав векторное представление 416 задачи и имея набор 418 векторных представлений работников, сервер 102 способен выполнять алгоритм 126 MLA, ранее обученный прогнозированию метки (т.е. первой метки 210 или второй метки 212) на основе векторного представления 416 задачи и каждого векторного представления работника из набора 418 векторных представлений работников.

[0130] На этом способ 500 завершается.

[0131] Специалистам в данной области техники должно быть понятно, что по меньшей некоторые варианты осуществления настоящей технологии преследуют цель расширения арсенала технических решений определенной технической задачи, характерной для традиционной краудсорсинговой технологии, а именно, определения результата для задачи в краудсорсинговой среде.

[0132] Очевидно, что не все упомянутые в данном описании технические эффекты должны присутствовать в каждом варианте осуществления настоящей технологии. Например, возможны варианты осуществления настоящей технологии, когда пользователь не получает некоторых из этих технических эффектов, или другие варианты реализации, когда пользователь получает другие технические эффекты либо когда технический эффект отсутствует.

[0133] Для специалиста в данной области техники могут быть очевидными возможные изменения и усовершенствования описанных выше вариантов осуществления настоящей технологии. Предшествующее описание приведено лишь в иллюстративных целях, а не для ограничения объема изобретения. Объем охраны настоящей технологии определяется исключительно объемом приложенной формулы изобретения.

[0134] Несмотря на то, что описанные выше варианты реализации приведены со ссылкой на конкретные шаги, выполняемые в определенном порядке, должно быть понятно, что эти шаги могут быть объединены, разделены или что их порядок может быть изменен без выхода за границы настоящей технологии. Соответственно, порядок и группировка шагов не носят ограничительного характера для настоящей технологии.

Изобретение относится к способу и системе формирования метки цифровой задачи алгоритмом машинного обучения (MLA). Технический результат заключается в формировании более точной разметки цифровой задачи алгоритмом MLA за счет предварительного обучения алгоритма MLA с использованием сгенерированного триплета обучающих объектов. Способ выполняется связанным с краудсорсинговой цифровой платформой сервером и включает в себя: на этапе обучения: получение сервером цифровой обучающей задачи для выполнения на краудсорсинговой цифровой платформе; получение сервером множества меток цифровой обучающей задачи, соответствующих цифровой обучающей задаче, от множества клиентских устройств, связанных с работниками, причём упомянутое множество клиентских устройств связано с краудсорсинговой цифровой платформой, в ответ на цифровую обучающую задачу, отправленную множеству клиентских устройств с использованием краудсорсинговой цифровой платформы; получение сервером истории цифровых меток, содержащей ранее принятые от каждого клиентского устройства метки цифровой задачи; обучение сервером алгоритма MLA, включающее в себя: ввод сервером цифровой обучающей задачи в алгоритм MLA, способный формировать векторное представление задачи, соответствующее векторному представлению цифровой обучающей задачи; ввод сервером историй цифровых меток в алгоритм MLA для формирования векторного представления работника, с которым связано данное клиентское устройство из множества клиентских устройств; причём формирование векторного представления работника, с которым связано данное клиентское устройство, включает в себя: определение для данного работника, с которым связано данное клиентское устройство, латентного параметра, указывающего на степень смещения работника в направлении одного или более латентных признаков из цифровой обучающей задачи и определяемого путем анализа матрицы несоответствий, соответствующей работнику, с которым связано данное клиентское устройство; формирование триплета обучающих объектов, содержащего векторное представление задачи, векторное представление работника, с которым связано данное клиентское устройство, и метку цифровой обучающей задачи, связанную с векторным представлением работника, с которым связано данное клиентское устройство; использование триплета обучающих объектов для обучения алгоритма MLA прогнозированию метки цифровой задачи для векторного представления цифровой задачи и векторного представления работника, с которым связано данное клиентское устройство; на этапе использования: получение сервером цифровой задачи; определение сервером векторного представления задачи для цифровой задачи; прогнозирование с использованием алгоритма MLA множества меток цифровой задачи для цифровой задачи на основе набора векторных представлений работников, с которыми связаны соответствующие клиентские устройства, и векторного представления задачи для цифровой задачи; определение сервером метки цифровой задачи, соответствующей по меньшей мере одной метке цифровой задачи из множества меток цифровой задачи для цифровой задачи. 2 н. и 14 з.п. ф-лы, 5 ил.

1. Реализуемый компьютером способ формирования метки цифровой задачи алгоритмом машинного обучения (MLA), выполняемый связанным с краудсорсинговой цифровой платформой сервером и включающий в себя:

на этапе обучения:

- получение сервером цифровой обучающей задачи для выполнения на краудсорсинговой цифровой платформе;

- получение сервером множества меток цифровой обучающей задачи, соответствующих цифровой обучающей задаче, от множества клиентских устройств, связанных с работниками, причём упомянутое множество клиентских устройств связано с краудсорсинговой цифровой платформой, в ответ на цифровую обучающую задачу, отправленную множеству клиентских устройств с использованием краудсорсинговой цифровой платформы;

- получение сервером истории цифровых меток, содержащей ранее принятые от каждого клиентского устройства метки цифровой задачи;

- обучение сервером алгоритма MLA, включающее в себя:

- ввод сервером цифровой обучающей задачи в алгоритм MLA, способный формировать векторное представление задачи, соответствующее векторному представлению цифровой обучающей задачи;

- ввод сервером историй цифровых меток в алгоритм MLA для формирования векторного представления работника, с которым связано данное клиентское устройство из множества клиентских устройств;

причём формирование векторного представления работника, с которым связано данное клиентское устройство, включает в себя:

- определение для данного работника, с которым связано данное клиентское устройство, латентного параметра, указывающего на степень смещения работника в направлении одного или более латентных признаков из цифровой обучающей задачи и определяемого путем анализа матрицы несоответствий, соответствующей работнику, с которым связано данное клиентское устройство;

- формирование триплета обучающих объектов, содержащего векторное представление задачи, векторное представление работника, с которым связано данное клиентское устройство, и метку цифровой обучающей задачи, связанную с векторным представлением работника, с которым связано данное клиентское устройство;

- использование триплета обучающих объектов для обучения алгоритма MLA прогнозированию метки цифровой задачи для векторного представления цифровой задачи и векторного представления работника, с которым связано данное клиентское устройство;

на этапе использования:

- получение сервером цифровой задачи;

- определение сервером векторного представления задачи для цифровой задачи;

- прогнозирование с использованием алгоритма MLA множества меток цифровой задачи для цифровой задачи на основе набора векторных представлений работников, с которыми связаны соответствующие клиентские устройства, и векторного представления задачи для цифровой задачи;

- определение сервером метки цифровой задачи, соответствующей по меньшей мере одной метке цифровой задачи из множества меток цифровой задачи для цифровой задачи.

2. Способ по п. 1, отличающийся тем, что определение метки цифровой задачи включает в себя выполнение мажорирования на основе множества меток цифровой задачи для цифровой задачи.

3. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя определение для каждого работника, с которым связано соответствующее клиентское устройство из множества клиентских устройств, оценки качества, соответствующей предыдущему коэффициенту успешности при предоставлении правильных меток цифровых задач, определяемому на основе истории цифровых меток.

4. Способ по п. 3, отличающийся тем, что набор векторных представлений работников, с которыми связаны соответствующие клиентские устройства, относится к подмножеству из множества работников, соответствующих заранее заданному условию.

5. Способ по п. 4, отличающийся тем, что заранее заданное условие соответствует подмножеству из множества работников, с которыми связаны соответствующие клиентские устройства, содержащему одного или более работников с предыдущим коэффициентом успешности, превышающим заранее заданный порог.

6. Способ по п. 3, отличающийся тем, что цифровая задача представляет собой цифровую задачу первого вида, а заранее заданное условие соответствует подмножеству из множества работников, с которыми связаны соответствующие клиентские устройства, содержащему одного или более работников с предыдущим коэффициентом успешности, превышающим заранее заданный порог для цифровой задачи первого вида.

7. Способ по п. 1, отличающийся тем, что формирование векторного представления задачи для обучающей цифровой задачи включает в себя:

- определение для обучающей цифровой задачи одного или более латентных признаков, влияющих на выбор обучающей метки, принятый от клиентского устройства;

- формирование векторного представления задачи на основе одного или более латентных признаков.

8. Способ по п. 7, отличающийся тем, что один или более латентных признаков включают в себя по меньшей мере одно из следующего:

- размер шрифта, связанный с контентом обучающей цифровой задачи;

- размер изображения, связанный с контентом обучающей цифровой задачи;

- количество доступных для выбора меток, связанных с обучающей цифровой задачей;

- местоположение доступных для выбора меток в контенте обучающей цифровой задачи.

9. Система для формирования метки цифровой задачи алгоритмом MLA с сервером, связанным с краудсорсинговой цифровой платформой и содержащим процессор, выполненный с возможностью:

на этапе обучения:

- получения цифровой обучающей задачи для выполнения на краудсорсинговой цифровой платформе;

- получения множества меток цифровой обучающей задачи, соответствующих цифровой обучающей задаче, от множества клиентских устройств, связанных с работниками, причём упомянутое множество клиентских устройств связано с краудсорсинговой цифровой платформой, в ответ на цифровую обучающую задачу, отправленную множеству клиентских устройств с использованием краудсорсинговой цифровой платформы;

- получения истории цифровых меток, содержащей ранее принятые от каждого клиентского устройства метки цифровой задачи;

- обучения алгоритма MLA, для чего процессор выполнен с возможностью:

- ввода цифровой обучающей задачи в алгоритм MLA, способный формировать векторное представление задачи, соответствующее векторному представлению цифровой обучающей задачи;

- ввода историй цифровых меток в алгоритм MLA для формирования векторного представления работника, с которым связано данное клиентское устройство из множества клиентских устройств;

причём для формирования векторного представления работника, с которым связано данное клиентское устройство, процессор выполнен с возможностью:

- определения для данного работника, с которым связано данное клиентское устройство, латентного параметра, указывающего на степень смещения в направлении одного или более латентных признаков из цифровой обучающей задачи и определяемого путем анализа матрицы несоответствий, соответствующей работнику, с которым связано данное клиентское устройство;

- формирования триплета обучающих объектов, содержащего векторное представление задачи, векторное представление работника, с которым связано данное клиентское устройство, и метку цифровой обучающей задачи, связанную с векторным представлением работника, с которым связано данное клиентское устройство;

- использования триплета обучающих объектов для обучения алгоритма MLA прогнозированию метки цифровой задачи для векторного представления цифровой задачи и векторного представления работника, с которым связано данное клиентское устройство;

на этапе использования:

- получения цифровой задачи;

- определения векторного представления задачи для цифровой задачи;

- прогнозирования путем выполнения алгоритма MLA множества меток цифровой задачи для цифровой задачи на основе набора векторных представлений работников, с которыми связаны соответствующие клиентские устройства, и векторного представления задачи для цифровой задачи;

- определения метки цифровой задачи, соответствующей по меньшей мере одной метке цифровой задачи из множества меток цифровой задачи для цифровой задачи.

10. Система по п. 9, отличающаяся тем, что процессор для определения метки цифровой задачи выполнен с возможностью выполнения мажорирования на основе множества меток цифровой задачи для цифровой задачи.

11. Система по п. 9, отличающаяся тем, что процессор дополнительно выполнен с возможностью определения для каждого работника, с которым связано клиентское устройство, из множества клиентских устройств оценки качества, соответствующей предыдущему коэффициенту успешности при предоставлении правильных меток цифровых задач, определяемому на основе истории цифровых меток.

12. Система по п. 11, отличающаяся тем, что набор векторных представлений работников, с которыми связаны соответствующие клиентские устройства, относится к подмножеству из множества работников, с которыми связаны соответствующие клиентские устройства, соответствующих заранее заданному условию.

13. Система по п. 12, отличающаяся тем, что заранее заданное условие соответствует подмножеству из множества работников, с которыми связаны соответствующие клиентские устройства, содержащему одного или более работников, с которыми связаны соответствующие клиентские устройства, с предыдущим коэффициентом успешности, превышающим заранее заданный порог.

14. Система по п. 11, отличающаяся тем, что цифровая задача представляет собой цифровую задачу первого вида, а заранее заданное условие соответствует подмножеству из множества работников, с которыми связаны соответствующие клиентские устройства, содержащему одного или более работников, с которыми связаны соответствующие клиентские устройства, с предыдущим коэффициентом успешности, превышающим заранее заданный порог для цифровой задачи первого вида.

15. Система по п. 9, отличающаяся тем, что для формирования векторного представления задачи для обучающей цифровой задачи процессор выполнен с возможностью:

- определения для обучающей цифровой задачи одного или более латентных признаков, влияющих на выбор обучающей метки, принятый от клиентского устройства;

- формирования векторного представления задачи на основе одного или более латентных признаков.

16. Система по п. 15, отличающаяся тем, что один или более латентных признаков включают в себя по меньшей мере одно из следующего:

- размер шрифта, связанный с контентом обучающей цифровой задачи;

- размер изображения, связанный с контентом обучающей цифровой задачи;

- количество доступных для выбора меток, связанных с обучающей цифровой задачей;

- местоположение доступных для выбора меток в контенте обучающей цифровой задачи.