СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ РЕЗУЛЬТАТА ДЛЯ ЗАДАЧИ, ВЫПОЛНЯЕМОЙ В КРАУДСОРСИНГОВОЙ СРЕДЕ Российский патент 2021 года по МПК G06Q10/06 G06N20/00 

Область техники, к которой относится изобретение

[001] Настоящая технология относится к способам и системам для определения результата выполнения задачи и, в частности, к способам и системам для определения результата в краудсорсинговой среде.

Уровень техники

[002] Краудсорсинговые платформы, такие как Amazon Mechanical Turk™, позволяют координировать использование человеческого интеллекта для выполнения задач, которые компьютеры в настоящее время не могут решать быстрее и дешевле, чем профессиональные эксперты.

[003] В общем случае краудсорсинговая платформа включает в себя действующих лиц двух видов: составителей запросов, размещающих задания, известные как задачи для человеческого интеллекта (HIT, Human Intelligence Task), и исполнителей, выполняющих их за денежную плату, установленную составителями запросов.

[004] Поскольку эксперты на краудсорсинговых платформах обычно не являются профессионалами и имеют различный уровень компетентности, полученные результаты также различаются. Кроме того, некоторые эксперты могут пытаться выполнять как можно больше задач, чтобы увеличить свои доходы, что может снизить общее качество результатов.

[005] В патентной заявке US20150356489A1 «Behavior-Based evaluation of Crowd Worker Quality» (Microsoft Technology Licensing LLC., опубликована 10 декабря 2015 г.) описано применение машинного обучения для определения поведенческих факторов, на которых может быть основана оценка, и последующее использование таких поведенческих факторов для оценивания результатов выполнения работниками задач HIT и самих работников. Определение поведенческих факторов и последующее их использование основаны на поведении доверенного набора работников и на сформированных ими результатах. Результаты, оцененные как неправильно сформированные, могут игнорироваться или учитываться с меньшими весовыми коэффициентами. Работники, оцененные как работающие ненадлежащим образом, могут исключаться или повторно обучаться.

[006] В патентной заявке US20180144283A1 «Identifying Workers in a Crowdsourcing or Microtasking Platform who Perform Low-Quality Work and/or Are Really Automated Bots» (Definedcrowd LLC., опубликована 24 мая 2018 г.) описано устройство для выявления работников на краудсорсинговой или микрозадачной платформе, выполняющих работу с низким качеством и/или представляющих собой ботов. Для выявления пользователей, выполняющих работу с низким качеством и/или представляющих собой ботов, устройство (1) измеряет качество по меньшей мере части работы, выполненной каждым пользователем, и (2) отслеживает характер поведения каждого пользователя на платформе, например, выбираемые ими рабочие проекты, содержимое ответов и временные параметры каждого взаимодействия в интерфейсе пользователя. Устройство использует эту информацию для формирования и поддержания модели, например, статистической модели, использующей характер поведения пользователя для прогнозирования уровня качества работы пользователя. Пользователи, для которых модель прогнозирует низкий уровень качества, помечаются для проверки вручную или автоматически временно отстраняются от работы или их оплата замораживается.

Раскрытие изобретения

[007] Разработанные не имеющие ограничительного характера варианты осуществления настоящей технологии основаны на выявлении разработчиками по меньшей мере одной технической проблемы, связанной с известными решениями.

[008] Разработчики настоящей технологии обнаружили определенные технические недостатки, связанные с существующими известными системами и способами. Например, сложно правильно оценить, заслуживает ли эксперт доверия (чтобы определить, следует ли игнорировать результат, предоставленный этим экспертом), поскольку общее качество работы эксперта может изменяться с течением времени. Например, эксперт может начинать работать как «хороший» эксперт, но со временем качество его работы может ухудшаться, и наоборот. Таким образом, сложно правильно оценить качество результата без его проверки надежным экспертом.

[009] В соответствии с первым аспектом настоящей технологии реализован компьютерный способ завершения задачи заданного вида, выполняемой в краудсорсинговой среде. Способ выполняется сервером. Способ на этапе обучения включает в себя: отправку сервером множеству пользователей краудсорсинговой среды обучающей задачи, связанной с заранее заданным обучающим ответом; получение сервером множества обучающих результатов, соответствующих обучающей задаче, отправленной множеству пользователей; получение сервером истории действий пользователя, связанной с каждым пользователем из множества пользователей и содержащей ранее собранные действия пользователя и характеристики действий пользователя в краудсорсинговой среде; присвоение каждому результату из множества обучающих результатов значения метки, представляющего собой первое значение метки, присвоенное одному или нескольким обучающим результатам, соответствующим заранее заданному обучающему ответу, или второе значение метки, присвоенное одному или нескольким обучающим результатам, не соответствующим заранее заданному обучающему ответу; формирование сервером набора триплетов обучающих данных, каждый из которых связан с обучающим результатом из множества обучающих результатов и содержит: обучающий результат, связанную с обучающим результатом историю действий пользователя и присвоенное обучающему результату значение метки; и обучение алгоритма машинного обучения (MLA, Machine Learning Algorithm), включая определение для каждого триплета обучающих данных набора признаков, содержащего свойство триплета обучающих данных, и формирование на основе этого набора признаков прогнозной функции, способной на основе истории действий пользователя определять параметр ошибки полученного от пользователя результата для задачи, представляющий собой вероятность того, что результат является неправильным.

[0010] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения алгоритм MLA представляет собой первый алгоритм MLA. На этапе использования способ дополнительно включает в себя: получение сервером результата задачи, полученной пользователем и отличающейся от обучающей задачи; получение сервером истории действий пользователя, связанной с пользователем; определение с использованием первого алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем; ввод параметра ошибки во второй алгоритм MLA, обученный формировать контрольную оценку, указывающую на необходимость направления результата на дополнительную проверку; и отправку задачи и результата эксперту для дополнительной проверки, если контрольная оценка превышает заранее заданный порог.

[0011] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения параметр ошибки дополнительно указывает на необходимость направления результата на дополнительную проверку.

[0012] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения способ на этапе использования дополнительно включает в себя: получение сервером отправленного пользователем результата задачи, отличающейся от обучающей задачи; получение сервером истории действий пользователя, связанной с пользователем; определение с использованием алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем; отправку задачи и результата эксперту для присвоения результату метки, если параметр ошибки превышает заранее заданный порог.

[0013] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения способ дополнительно включает в себя: получение сервером от эксперта присвоенного значения метки; формирование дополнительного обучающего триплета данных, отличающегося от триплета обучающих данных из набора триплетов обучающих данных, если присвоенное значение метки указывает на неправильный результат задачи, при этом дополнительные триплеты данных содержат: результат, связанную с пользователем историю действий пользователя и присвоенное значение метки; и обучение алгоритма MLA, включая обновление прогнозной функции на основе набора признаков, содержащего свойство дополнительного триплета данных, для последующего определения параметра ошибки.

[0014] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения способ дополнительно включает в себя получение сервером оценки качества, связанной с пользователем и указывающей на надежность пользователя, и снижение оценки качества, связанной с пользователем, если присвоенное значение метки указывает на то, что результат представляет собой неправильный ответ для задачи.

[0015] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения способ в случае определения того, что сниженная оценка качества меньше заранее заданного порога, дополнительно включает в себя применение в отношении пользователя ограничивающего действия, включая приостановление действия учетной записи пользователя в краудсорсинговой среде.

[0016] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения задача заданного вида представляет собой задачу разметки или задачу загрузки изображения.

[0017] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения, если присвоенное значение метки указывает на то, что результат представляет собой неправильный ответ для задачи, способ дополнительно включает в себя повторное обучение алгоритма MLA с использованием сравнения результата и присвоенной метки.

[0018] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения повторное обучение дополнительно основано на признаках результата и признаках, связанных с пользователем.

[0019] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения признаки результата включают в себя признаки, связанные с неправильным результатом, и признаки, связанные с правильным результатом, соответственно.

[0020] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения задача связана со списком обязательных инструкций, которые должен выполнять пользователь, при этом правильный результат основан на выполнении пользователем обязательных инструкций, а неправильный результат основан на невыполнении пользователем обязательных инструкций.

[0021] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения признаки результата дополнительно включают в себя выполнение экспертом обязательных инструкций и невыполнение экспертом обязательных инструкций.

[0022] В соответствии с другим аспектом настоящей технологии реализована система для завершения задачи заданного вида, выполняемой в краудсорсинговой среде. Система содержит сервер, содержащий процессор. Сервер выполнен с возможностью на этапе обучения: отправки сервером множеству пользователей краудсорсинговой среды обучающей задачи, связанной с заранее заданным обучающим ответом; получения сервером множества обучающих результатов, соответствующих обучающей задаче, отправленной множеству пользователей; получения сервером истории действий пользователя, связанной с каждым пользователем из множества пользователей и содержащей ранее собранные действия пользователя и характеристики действий пользователя в краудсорсинговой среде; присвоения каждому результату из множества обучающих результатов значения метки, представляющего собой первое значение метки, присвоенное одному или нескольким обучающим результатам, соответствующим заранее заданному обучающему ответу, или второе значение метки, присвоенное одному или нескольким обучающим результатам, не соответствующим заранее заданному обучающему ответу; формирования сервером набора триплетов обучающих данных, каждый из которых связан с обучающим результатом из множества обучающих результатов и содержит обучающий результат, связанную с обучающим результатом историю действий пользователя и присвоенное обучающему результату значение метки; и обучения алгоритма MLA, включая определение для каждого триплета обучающих данных набора признаков, содержащего свойство триплета обучающих данных, и формирование на основе этого набора признаков прогнозной функции, способной на основе истории действий пользователя определять параметр ошибки полученного от пользователя результата для задачи, представляющий собой вероятность того, что результат является неправильным.

[0023] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения алгоритм MLA представляет собой первый алгоритм MLA. Сервер дополнительно выполнен с возможностью на этапе использования: получения сервером результата задачи, полученной пользователем и отличающейся от обучающей задачи; получения сервером истории действий пользователя, связанной с пользователем; определения с использованием первого алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем; ввода параметра ошибки во второй алгоритм MLA, обученный формировать контрольную оценку, указывающую на необходимость направления результата на дополнительную проверку; и отправки задачи и результата эксперту для дополнительной проверки, если контрольная оценка превышает заранее заданный порог.

[0024] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения параметр ошибки дополнительно указывает на необходимость направления результата на дополнительную проверку.

[0025] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения сервер дополнительно выполнен с возможностью на этапе использования: получения сервером отправленного пользователем результата задачи, отличающейся от обучающей задачи; получения сервером истории действий пользователя, связанной с пользователем; определения с использованием алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем; и отправки задачи и результата эксперту для присвоения результату метки, если параметр ошибки превышает заранее заданный порог.

[0026] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения сервер дополнительно выполнен с возможностью: получения сервером от эксперта присвоенного значения метки; формирования дополнительного обучающего триплета данных, отличающегося от триплета обучающих данных из набора триплетов обучающих данных, если присвоенное значение метки указывает на неправильный результат задачи, при этом дополнительные триплеты данных содержат: результат, связанную с пользователем историю действий пользователя и присвоенное значение метки; и обучения алгоритма MLA, включая обновление прогнозной функции на основе набора признаков, содержащего свойство дополнительного триплета данных, для последующего определения параметра ошибки.

[0027] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения сервер дополнительно выполнен с возможностью получения серверомоценки качества, связанной с пользователем и указывающей на надежность пользователя, и снижения оценки качества, связанной с пользователем, если присвоенное значение метки указывает на то, что результат представляет собой неправильный ответ для задачи.

[0028] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения сервер в случае определения того, что сниженная оценка качества меньше заранее заданного порога, дополнительно способен применять в отношении пользователя ограничивающее действие, включающее в себя приостановление действия учетной записи пользователя в краудсорсинговой среде.

[0029] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения задача заданного вида представляет собой задачу разметки иди задачу загрузки изображения.

[0030] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения, если присвоенное значение метки указывает на то, что результат представляет собой неправильный ответ для задачи, сервер дополнительно способен выполнять повторное обучение алгоритма MLA с использованием сравнения результата и присвоенной метки.

[0031] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения повторное обучение дополнительно основано на признаках результата и признаках, связанных с пользователем.

[0032] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения признаки результата включают в себя признаки, связанные с неправильным результатом, и признаки, связанные с правильным результатом, соответственно.

[0033] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения задача связана со списком обязательных инструкций, которые должен выполнять пользователь, при этом правильный результат основан на выполнении пользователем обязательных инструкций, а неправильный результат основан на невыполнении пользователем обязательных инструкций.

[0034] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения признаки результата дополнительно включают в себя выполнение экспертом обязательных инструкций и невыполнение экспертом обязательных инструкций.

[0035] В контексте настоящего описания термин «сервер» означает компьютерную программу, выполняемую соответствующими аппаратными средствами и способную принимать запросы (например, от клиентских устройств) через сеть и выполнять эти запросы или инициировать их выполнение. Аппаратные средства могут представлять собой один физический компьютер или одну компьютерную систему, что не существенно для настоящей технологии. В настоящем контексте выражение «сервер» не означает, что каждая задача (например, принятая команда или запрос) или некоторая конкретная задача принимается, выполняется или запускается одним и тем же сервером (т.е. одними и теми же программными и/или аппаратными средствами). Это выражение означает, что любое количество программных средств или аппаратных средств может принимать, отправлять, выполнять или инициировать выполнение любой задачи или запроса либо результатов любых задач или запросов. Все эти программные и аппаратные средства могут представлять собой один сервер или несколько серверов, при этом оба эти случая подразумеваются в выражении «по меньшей мере один сервер».

[0036] В контексте настоящего описания термин «клиентское устройство» означает любое компьютерное аппаратное средство, способное выполнять программы, подходящие для решения поставленной задачи. Таким образом, некоторые (не имеющие ограничительного характера) примеры клиентских устройств включают в себя персональные компьютеры (настольные, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует отметить, что в данном контексте устройство, функционирующее как клиентское устройство, также может функционировать как сервер для других клиентских устройств. Использование выражения «клиентское устройство» не исключает использования нескольких клиентских устройств для приема, отправки, выполнения или инициирования выполнения любой задачи или запроса либо результатов любых задач или запросов либо шагов любого описанного здесь способа.

[0037] В контексте настоящего описания термин «база данных» означает любой структурированный набор данных, независимо от его конкретной структуры, программного обеспечения для управления базой данных или компьютерных аппаратных средств для хранения этих данных, их применения или обеспечения их использования иным способом. База данных может располагаться в тех же аппаратных средствах, где реализован процесс, обеспечивающий хранение или использование информации, хранящейся в базе данных, либо база данных может располагаться в отдельных аппаратных средствах, таких как специализированный сервер или множество серверов.

[0038] В контексте настоящего описания выражение «информация» включает в себя информацию любого рода или вида, допускающую хранение в базе данных. Таким образом, информация включает в себя аудиовизуальные произведения (изображения, фильмы, звукозаписи, презентации и т.д.), данные (данные о местоположении, числовые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы, списки слов и т.д., но не ограничивается ими.

[0039] В контексте настоящего описания выражение «компонент» включает в себя обозначение программного обеспечения (подходящего для определенных аппаратных средств), необходимого и достаточного для выполнения определенной функции или нескольких функций.

[0040] В контексте настоящего описания выражение «пригодный для использования в компьютере носитель информации» означает носители любого рода и вида, включая ОЗУ, ПЗУ, диски (CD-ROM, DVD, гибкие диски, жесткие диски и т.д.), USB-накопители, твердотельные накопители, накопители на магнитных лентах и т.д.

[0041] В контексте настоящего описания числительные «первый» «второй», «третий» и т.д. используются лишь для указания различия между существительными, к которым они относятся, но не для описания каких-либо определенных взаимосвязей между этими существительными. Например, должно быть понятно, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо определенного порядка, типа, хронологии, иерархии или классификации, в данном случае, серверов, а также что их использование (само по себе) не подразумевает обязательного наличия «второго сервера». Кроме того, как встречается в настоящем описании в другом контексте, ссылка на «первый» элемент и «второй» элемент не исключает того, что эти два элемента в действительности могут быть одним и тем же элементом. Таким образом, например, в некоторых случаях «первый» сервер и «второй» сервер могут представлять собой одно и то же программное и/или аппаратное средство, а в других случаях - разные программные и/или аппаратные средства.

[0042] Каждый вариант осуществления настоящей технологии относится к по меньшей мере одной из вышеупомянутых целей и/или аспектов, но не обязательно ко всем ним. Должно быть понятно, что некоторые аспекты настоящей технологии, связанные с попыткой достижения вышеупомянутой цели, могут не соответствовать этой цели и/или могут соответствовать другим целям, явным образом здесь не упомянутым.

[0043] Дополнительные и/или альтернативные признаки, аспекты и преимущества вариантов осуществления настоящей технологии содержатся в дальнейшем описании, в приложенных чертежах и в формуле изобретения.

Краткое описание чертежей

[0044] Дальнейшее описание приведено для обеспечения лучшего понимания настоящей технологии, а также других аспектов и их признаков, и должно использоваться совместно с приложенными чертежами.

[0045] На фиг. 1 представлена схема системы, реализованной согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[0046] На фиг. 2 представлена схема процесса определения результата для задачи, выполняемой в краудсорсинговой среде.

[0047] На фиг. 3 приведена схема выполняемого в представленной на фиг. 1 системе способа формирования набора обучающих данных и обучения первого алгоритма MLA.

[0048] На фиг. 4 приведена структура триплета обучающих данных для обучения первого алгоритма MLA на этапе обучения, представленном на фиг. 3.

[0049] На фиг. 5 приведена структура триплета обучающих данных для обучения первого алгоритма MLA на этапе использования, представленном на фиг. 3.

[0050] На фиг. 6 представлена блок-схема способа определения результата задачи, выполняемой в краудсорсинговой среде.

Осуществление изобретения

[0051] На фиг. 1 представлена схема системы 100, пригодной для реализации вариантов осуществления настоящей технологии, не имеющих ограничительного характера. Очевидно, что система 100 приведена только для демонстрации варианта реализации настоящей технологии. Таким образом, дальнейшее описание системы представляет собой описание примеров, иллюстрирующих настоящую технологию. Это описание не предназначено для определения объема или границ настоящей технологии. В некоторых случаях приведены полезные примеры модификаций системы 100. Они способствуют пониманию, но также не определяют объем или границы настоящей технологии. Эти модификации не составляют исчерпывающего перечня. Как должно быть понятно специалисту в данной области, вероятно, возможны и другие модификации. Кроме того, если в некоторых случаях модификации не описаны (т.е. примеры модификаций отсутствуют), это не означает, что они невозможны и/или что описание содержит единственно возможный вариант реализации того или иного элемента настоящей технологии. Специалисту в данной области должно быть понятно, что это не так. Кроме того, следует понимать, что система 100 в некоторых случаях может представлять собой упрощенную реализацию настоящей технологии, и что такие варианты представлены для того, чтобы способствовать лучшему ее пониманию. Специалистам в данной области должно быть понятно, что различные варианты осуществления настоящей технологии могут быть значительно сложнее.

[0052] Представленные здесь примеры и условный язык предназначены для обеспечения лучшего понимания принципов настоящей технологии, а не для ограничения ее объема до таких специально приведенных примеров и условий. Очевидно, что специалисты в данной области техники способны разработать различные способы и устройства, которые явно не описаны и не показаны, но реализуют принципы настоящей технологии в пределах ее существа и объема. Кроме того, чтобы способствовать лучшему пониманию, дальнейшее описание может содержать упрощенные варианты реализации настоящей технологии. Специалисту в данной области должно быть понятно, что различные варианты осуществления данной технологии могут быть значительно сложнее.

[0053] Более того, описание принципов, аспектов и вариантов реализации настоящей технологии, а также их конкретные примеры предназначены для охвата их структурных и функциональных эквивалентов, независимо от того, известны они в настоящее время или будут разработаны в будущем. Например, специалистам в данной области техники должно быть очевидно, что любые описанные структурные схемы соответствуют концептуальным представлениям иллюстративных принципиальных схем, реализующих принципы настоящей технологии. Также должно быть очевидно, что любые блок-схемы, схемы процессов, диаграммы изменения состояния, псевдокоды и т.п. соответствуют различным процессам, которые могут быть представлены на машиночитаемом носителе информации и могут выполняться компьютером или процессором, независимо от того, показан такой компьютер или процессор явно или нет.

[0054] Функции различных элементов, показанных на чертежах, включая любой функциональный блок, обозначенный как «процессор», могут быть реализованы с использованием специализированных аппаратных средств, а также аппаратных средств, способных выполнять соответствующее программное обеспечение. Если используется процессор, эти функции могут выполняться одним выделенным процессором, одним совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут использоваться совместно. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор может представлять собой процессор общего назначения, такой как центральный процессор (CPU), или специализированный процессор, такой как графический процессор (GPU). Кроме того, явное использование термина «процессор» или «контроллер» не должно трактоваться как указание исключительно на аппаратные средства, способные выполнять программное обеспечение, и может подразумевать, помимо прочего, аппаратные средства цифрового сигнального процессора (DSP), сетевой процессор, специализированную интегральную схему (ASIC), программируемую вентильную матрицу (FPGA), ПЗУ (ROM) для хранения программного обеспечения, ОЗУ (RAM) и энергонезависимое ЗУ. Также могут подразумеваться другие аппаратные средства, общего назначения и/или заказные.

[0055] Далее с учетом вышеизложенных принципов рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.

[0056] Система 100 содержит сервер 102 и базу 104 данных, доступную серверу 102.

[0057] Как схематически показано на фиг. 1, база 104 данных содержит указания на идентификаторы множества экспертов 106, указавших свою готовность выполнить краудсорсинговую задачу по меньшей мере одного вида и/или выполнивших по меньшей мере одну краудсорсинговую задачу в прошлом и/или зарегистрированных для выполнения краудсорсинговой задачи по меньшей мере одного вида.

[0058] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии база 104 данных контролируется и/или управляется поставщиком краудсорсинговых услуг, таким как компания Yandex LLC (ул. Льва Толстого, 16, Москва, 119021, Россия). В других не имеющих ограничительного характера вариантах осуществления изобретения база 104 данных может управляться другой организацией.

[0059] На реализацию базы 104 данных не накладывается каких-либо особых ограничений. База 104 данных может быть реализована с использованием любой подходящей известной технологии, обеспечивающей описанные здесь функции. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, база 104 данных содержит интерфейс связи (не показан) для двухсторонней связи с сетью 110 связи (или имеет доступ к нему).

[0060] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии в качестве сети 110 связи может использоваться сеть Интернет. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии сеть 110 связи может быть реализована иначе, например, в виде любой глобальной сети связи, локальной сети связи, частной сети связи и т.п.

[0061] Предполагается, что база 104 данных может по меньшей мере частично храниться на сервере 102 и/или в любом другом одном или нескольких местах и/или по меньшей мере частично управляться сервером 102. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, база 104 данных содержит связанную с идентификаторами по меньшей мере некоторых экспертов 106 из множества экспертов 106 информацию, достаточную для того, чтобы обратившийся к базе 104 данных элемент, такой как сервер 102, мог назначать и отправлять одну или несколько задач, предназначенных для выполнения одним или несколькими экспертами 106.

[0062] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, в базе 104 данных хранится оценка 112 качества, связанная с каждым из экспертов 106. Оценка 112 качества каждого эксперта 106 указывает на надежность результата задачи, выполненной экспертом 106, или, иными словами, на коэффициент ошибок эксперта 106.

[0063] На способ определения оценок 112 качества экспертов 106 не накладывается каких-либо ограничений. Например, оценки 112 качества могут быть определены на основе первого множества тестовых задач, выполненных экспертами 106. В настоящем документе термин «тестовая задача» означает задачу, правильный результат которой известен до ее отправки для выполнения эксперту 106, который тестируется или оценивается с целью определения связанной с ним оценки качества, при этом правильный результат оцениваемым экспертам 106 заранее не сообщается.

[0064] Результаты первого множества тестовых задач, предоставленные экспертами 106, регистрируются в базе 104 данных в подходящей структуре данных (не показана). Для каждого эксперта 106 доля в процентах правильно выполненных экспертом 106 задач из первого множества тестовых задач рассчитывается и регистрируется в базе 104 данных в виде оценки 112 качества эксперта 106. Например, если эксперт 106 выполняет 20 тестовых задач и предоставляет результат, совпадающий с известным правильным результатом для 18 из 20 тестовых задач, то оценка 112 качества этого эксперта 106 определяется следующим образом: 18/20 = 0,9 (90%). Очевидно, что оценка качества может быть выражена в различных форматах.

[0065] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии оценки 112 качества могут быть определены на основе статистического анализа ранее выполненных задач и на основе проверок, сделанных надежным экспертом.

[0066] В любой момент времени множество экспертов 106 может содержать различное количество экспертов 106, например, 50 экспертов 106, доступных для выполнения задач и имеющих соответствующие оценки 112 качества в диапазоне от 0% до 100%. Множество экспертов 106 может содержать большее или меньшее количество экспертов 106.

[0067] Сервер 102 может быть реализован в виде традиционного компьютерного сервера. В не имеющем ограничительного характера примере осуществления настоящей технологии сервер 102 может быть реализован в виде сервера Dell™ PowerEdge™, работающего под управлением операционной системы Microsoft™ Windows Server™. Очевидно, что сервер 102 может быть реализован с использованием любых других подходящих аппаратных средств и/или прикладного программного обеспечения и/или встроенного программного обеспечения либо их сочетания. В представленном не имеющем ограничительного характера варианте осуществления настоящей технологии сервер 102 реализован в виде одного сервера. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии функции сервера 102 могут быть распределены между несколькими серверами.

[0068] Сервер 102 содержит интерфейс связи (не показан) для обеспечения двухсторонней связи с сетью 110 связи по линии 108 связи.

[0069] На реализацию линии 108 связи не накладывается каких-либо особых ограничений, она зависит от реализации сервера 102. Например, линия 108 связи может быть реализована в виде беспроводной линии связи (такой как канал сети связи 3G, канал сети связи 4G, Wireless Fidelity или сокращенно WiFi^®, Bluetooth^® и т.п.) или проводной линии связи (такой как соединение на основе Ethernet).

[0070] Должно быть очевидно, что варианты реализации сервера 102, линии 108 связи и сети 110 связи приведены лишь для иллюстрации. Специалисту в данной области должны быть понятны и другие подробности реализации сервера 102, линии 108 связи и сети 110 связи. Представленные выше примеры никак не ограничивают объем настоящей технологии.

[0071] Сервер 102 содержит память 114 сервера, содержащую один или несколько носителей информации и в общем случае хранящую компьютерные программные команды, исполняемые процессором 116 сервера. Например, память 114 сервера может быть реализована в виде машиночитаемого физического носителя информации, включая ПЗУ и/или ОЗУ. Память 114 сервера также может включать в себя одно или несколько устройств постоянного хранения, таких как накопители на жестких дисках (HDD), твердотельные накопители (SSD) и карты флэш-памяти.

[0072] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 может эксплуатироваться организацией, управляющей базой 104 данных. В других не имеющих ограничительного характера вариантах осуществления изобретения сервер 102 может эксплуатироваться организацией, отличной от той, что управляет базой 104 данных.

[0073] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 способен выполнять краудсорсинговое приложение 118. Например, краудсорсинговое приложение 118 может быть реализовано в виде краудсорсинговой платформы, такой как Yandex.Toloka™, либо другой проприетарной или коммерчески доступной краудсорсинговой платформы.

[0074] С этой целью сервер 102 связан с базой 121 данных задач. В других не имеющих ограничительного характера вариантах осуществления изобретения база 121 данных задач может быть связана с сервером 102 через сеть 110 связи. Несмотря на то, что база 121 данных задач схематично показана здесь в виде одного элемента, предполагается, что база 121 данных задач может быть распределенной.

[0075] База 121 данных задач наполняется множеством задач для человеческого интеллекта (далее - «задачи», отдельно не обозначены). На наполнение базы 121 данных задач множеством задач не накладывается каких-либо ограничений. В общем случае, один или несколько составителей запросов на выполнение задач (не показаны) могут отправлять в базу 121 данных задач одну или несколько задач, подлежащих выполнению. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии один или несколько составителей запросов на выполнение задач могут указывать вид экспертов, для которых предназначена задача, и/или бюджет, который должен быть выделен каждому эксперту 106, предоставившему правильный результат.

[0076] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии задача из множества задач может включать в себя задачу разметки. Например, задача разметки соответствует задаче, в которой от экспертов 106 требуется назначать одну или несколько меток для текста, изображения или документа. Например, задача разметки может предусматривать предоставление экспертам 106 изображения и запроса на назначение ими первой метки, указывающей на наличие кошки на изображении, и второй метки, указывающей на отсутствие кошки на изображении.

[0077] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии задача из множества задач может включать в себя задачу загрузки изображения. Например, задача загрузки изображения соответствует задаче, в которой от экспертов 106 требуется выбрать изображение в соответствии с конкретными инструкциями и загрузить его. Например, в задаче загрузки изображения от экспертов 106 может потребоваться выбрать изображение со временем работы магазинов и загрузить его с учетом набора инструкций (подробно описано ниже).

[0078] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии задача из множества задач может включать в себя задачу перевода. В частности, задача перевода соответствует задаче, в которой от экспертов 106 требуется ввести правильный перевод предложения с языка оригинала (например, с французского языка) на язык перевода (например, на английский язык).

[0079] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии задача из множества задач может включать в себя задачу преобразования устной речи в текст. Например, в задаче преобразования устной речи в текст от экспертов 106 требуется ввести правильное текстовое представление записанного фрагмента устной речи.

[0080] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии задача из множества задач может включать в себя задачу оптического распознавания символов (OCR, Optical Character Recognition). Например, задача OCR соответствует задаче, в которой от экспертов 106 требуется определить правильное символьное представление текста, содержащегося в сканированном изображении.

[0081] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, краудсорсинговое приложение 118 способно назначать задачу по меньшей мере для подмножества из множества экспертов 106 в базе 104 данных, указавших на свою доступность.

[0082] Сервер 102 способен осуществлять связь с различными элементами через сеть 110 связи. Примеры различных элементов включают в себя базу 104 данных, соответствующие электронные устройства 120 экспертов 106 и другие устройства, которые могут быть связаны с сетью 110 связи. Соответственно, краудсорсинговое приложение 118 способно получать задачу из базы 121 данных задач и отправлять задачу соответствующим электронным устройствам 120, используемым множеством экспертов 106 для выполнения задачи, например, через сеть 110 связи.

[0083] Предполагается, что для этой цели может быть использована любая подходящая технология и/или среда передачи файлов. Также предполагается, что задача может быть отправлена множеству экспертов 106 с использованием любого другого подходящего способа, например, с обеспечением удаленного доступа к задаче для множества экспертов 106.

[0084] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, сервер 102 способен получать набор результатов задачи, выполненной множеством экспертов 106. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, набор результатов может быть получен сервером 102 в одном или нескольких пакетах 122 данных, например, через сеть 110 связи. Предполагается, что при этом могут быть использованы любые другие подходящие средства передачи данных.

[0085] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 связан с базой 124 данных журналов с использованием выделенной линии связи (не обозначена). В других не имеющих ограничительного характера вариантах осуществления изобретения база 124 данных журналов может быть связана с сервером 102 с использованием сети 110 связи без выхода за границы настоящей технологии. Несмотря на то, что база 124 данных журналов схематично показана здесь как один элемент, предполагается, что база 124 данных журналов может быть распределенной.

[0086] База 124 данных журналов способна хранить историю действий пользователя (отдельно не обозначена), связанную с каждым экспертом 106 из множества экспертов 106. Например, история действий пользователя может относиться к взаимодействию между экспертом 106 и краудсорсинговым приложением 118 и может содержать параметры и характеристики каждого отдельного действия. Примеры действий, а также параметров и характеристик различных действий, среди прочего, включают в себя:

- время выполнения задачи экспертом 106;

- изменение результата экспертом 106 перед отправкой результата;

- среднее время выполнения задачи экспертом 106;

- вид задачи, выполненной экспертом 106.

[0087] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии история действий пользователя может быть ограничена по времени или по действиям. Например, история действий пользователя может содержать действия, выполненные экспертом 106 в течение предыдущих 24 часов, или последние 100 действий, выполненные экспертом 106 в краудсорсинговом приложении 118.

[0088] Несмотря на то, что в приведенном выше описании история действий пользователя отличается от оценки 112 качества, объем изобретения этим не ограничивается. В некоторых не имеющих ограничительного характера вариантах осуществления изобретения предполагается, что в дополнение к действиям, выполненным экспертом 106, история действий пользователя может содержать оценку 112 качества или наоборот.

Краудсорсинговое приложение 118

[0089] На фиг. 2 представлена схема процесса определения результата для задачи, выполняемой в краудсорсинговой среде. Процесс определения результата выполняется краудсорсинговым приложением 118 (см. фиг. 1), реализованным согласно не имеющему ограничительного характера варианту осуществления настоящей технологии. Краудсорсинговое приложение 118 выполняет процедуру 202 приема, процедуру 204 проверки и процедуру 206 вывода или иным способом осуществляет доступ к ним.

[0090] В контексте настоящего описания термин «процедура» подразумевает подмножество компьютерных программных команд краудсорсингового приложения 118, исполняемых процессором 116 сервера (процедура 202 приема, процедура 204 проверки и процедура 206 вывода). Во избежание сомнений следует пояснить, что процедура 202 приема, процедура 204 проверки и процедура 206 вывода показаны по отдельности для удобства объяснения процессов, выполняемых краудсорсинговым приложением 118. Предполагается, что некоторые или все процедуры из числа процедуры 202 приема, процедуры 204 проверки и процедуры 206 вывода могут быть реализованы в виде одной или нескольких комбинированных процедур.

[0091] Для обеспечения лучшего понимания настоящей технологии ниже описаны функции и обрабатываемые или сохраняемые данные и/или информация процедуры 202 приема, процедуры 204 проверки и процедуры 206 вывода.

Процедура 202 приема

[0092] Процедура 202 приема способна получать в пакете 122 данных результат 212 от электронного устройства 120, используемого экспертом 106 из множества экспертов 106. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии результат 212 может представлять собой слово, фразу, предложение, метку или изображение.

[0093] Например, если задача представляет собой задачу разметки, результат 212 содержит метку, назначенную экспертом 106.

[0094] Например, если задача представляет собой задачу OCR, результат 212 содержит текстовый ответ, введенный экспертом 106.

[0095] Например, если задача представляет собой задачу преобразования устной речи в текст, результат 212 содержит введенный экспертом 106 текстовый ответ, соответствующий записанному речевому фрагменту.

[0096] Например, если задача представляет собой задачу перевода, результат 212 содержит введенный экспертом 106 текстовый ответ на языке перевода, соответствующий тексту на языке оригинала.

[0097] Если задача представляет собой задачу загрузки изображения, результат 212 содержит изображение, выбранное экспертом 106.

[0098] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 202 приема способна (а) получать из базы 124 данных журналов историю действий пользователя, связанную с экспертом 106, и (б) получать из базы 104 данных оценку 112 качества, связанную с экспертом 106.

[0099] Процедура 202 приема дополнительно способна отправлять пакет 208 данных процедуре 204 проверки. Пакет 208 данных содержит (а) результат 212, (б) оценку 112 качества, связанную с результатом 212, и (в) историю действий пользователя, связанную с результатом 212.

Процедура 204 проверки

[00100] В ответ на получение пакета 208 данных процедура 204 проверки способна выполнять следующие функции.

[00101] Процедура 204 проверки способна выполнять первый алгоритм 210 MLA, обученный формированию параметра ошибки для результата 212 на основе результата 212 и истории действий пользователя, связанной с результатом 212.

[00102] На способ реализации параметра ошибки не накладывается каких-либо ограничений. Например, он может представлять собой вероятность того, что результат 212 неправильный. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр ошибки может быть выражен в виде значения в процентах (от 0% до 100%) или значения из диапазона (от 1 до 10). Очевидно, что параметр ошибки может быть выражен в различных форматах. Обучение алгоритма 210 MLA определению параметра ошибки более подробно описано ниже.

[00103] После определения параметра ошибки для результата 212 процедура 204 проверки дополнительно способна выполнять второй алгоритм 214 MLA, обученный формированию контрольной оценки для результата 212 на основе параметра ошибки.

[00104] На способ реализации контрольной оценки не накладывается каких-либо ограничений. Например, он может указывать на необходимость направления результата 212 на дополнительную проверку. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии контрольная оценка может быть выражена в виде значения в процентах (от 0% до 100%) или значения из диапазона (от 1 до 10). Очевидно, что контрольная оценка может быть выражена в различных форматах.

[00105] Процедура 204 проверки дополнительно способна определять, превышает ли контрольная оценка заранее заданный порог. Определение заранее заданного порога может выполняться любым способом без каких-либо ограничений, например, эмпирически.

[00106] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии, если контрольная оценка превышает заранее заданный порог, процедура 204 проверки способна отправлять пакет 216 данных надежному эксперту 218 для дополнительной проверки. Пакет 216 данных содержит задачу и результат 212. Например, надежный эксперт 218 может быть экспертом 106, оценка 112 качества которого превышает 90%. В другом примере надежный эксперт 218 может быть администратором краудсорсингового приложения 118 или связанным с ним сотрудником.

[00107] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 204 проверки способна отправлять надежному эксперту 218 пакет 216 данных, содержащий задачу и результат 212, независимо от того, оказывается контрольная оценка большей или меньшей заранее заданного порога.

[00108] Несмотря на то, что контрольная оценка описана выше как определяемая с использованием первого алгоритма 210 MLA и второго алгоритма 214 MLA, предполагается, что при этом может использоваться единый алгоритм MLA. Например, функции первого алгоритма 210 MLA и второго алгоритма 214 MLA могут выполняться одним алгоритмом MLA (не показан). В другом примере предполагается, что параметр ошибки, определенный первым алгоритмом 210 MLA, сравнивается с заранее заданным порогом, чтобы определить, требует ли результат 212 дополнительной проверки.

[00109] Процедура 204 проверки дополнительно способна отправлять пакет 220 данных процедуре 206 вывода. Пакет 220 данных содержит оценку 112 качества, связанную с результатом 212.

Процедура 206 вывода

[00110] Процедура 206 вывода способна получать два пакета данных - пакет 220 данных от процедуры 204 проверки, содержащий оценку 112 качества, связанную с результатом 212, и пакет 222 данных от надежного эксперта 218.

[00111] Пакет 222 данных содержит присвоенную надежным экспертом 218 метку 224, которая указывает на то, что результат 212 соответствует правильному ответу для задачи или на то, что он соответствует неправильному ответу для задачи.

[00112] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии, если метка 224 указывает на то, что результат 212 соответствует правильному ответу для задачи, процедура 206 вывода способна обрабатывать задачу как выполненную. Соответственно, затем процедура 206 вывода способна рассчитывать и направлять вознаграждение эксперту 106, отправившему результат 212.

[00113] Соответственно, процедура 206 вывода дополнительно способна увеличивать оценку 112 качества эксперта, отправившего результат 212, помеченный как правильный ответ для задачи.

[00114] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии, если метка 224 указывает на то, что результат 212 соответствует неправильному ответу для задачи, процедура 206 вывода способна игнорировать результат 212.

[00115] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 206 вывода дополнительно способна уменьшать оценку 112 качества эксперта 106, отправившего результат 212, который соответствует неправильному ответу для задачи.

[00116] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии, если сниженная оценка 112 качества эксперта 106 оказывается меньшей заранее заданного порога, процедура 206 вывода может быть способной выполнять ограничивающее действие. Например, ограничивающее действие может означать: (а) приостановление действия учетной записи эксперта 106 на краудсорсинговой платформе и/или (б) ограничение использования учетной записи, например, ограничение количества задач, доступных эксперту 106.

[00117] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 206 вывода дополнительно способна отправлять пакет 226 данных процедуре 204 проверки. Пакет 226 данных содержит метку 224, результат 212 и историю действий пользователя, связанную с результатом 212.

Обучение первого алгоритма 210 MLA

[00118] На фиг. 3 представлена схема способа формирования набора обучающих данных и обучения первого алгоритма 210 MLA.

[00119] Для обеспечения лучшего понимания основных концепций настоящей технологии следует понимать, что обучение первого алгоритма 210 MLA можно разделить на первый период 302 обучения и второй период 304 обучения. В течение первого периода 302 обучения первый алгоритм 210 MLA обучается перед использованием на этапе использования. В течение второго периода 304 обучения первый алгоритм 210 MLA обучается на этапе использования.

[00120] Первый период 302 обучения может быть разделен на первый этап и второй этап. На первом этапе формируются обучающие входные данные (описано ниже). На втором этапе первый алгоритм 210 MLA обучается с использованием обучающих входных данных. Несмотря на то, что шаги обучения первого алгоритма 210 MLA описаны как выполняемые процедурой 204 проверки, объем изобретения этим не ограничивается.

[00121] На первом этапе процедура 202 приема способна получать множество 310 обучающих результатов от множества обучающих экспертов 306, отправляющих обучающий результат для обучающей задачи 312, поступившей из базы 121 данных задач.

[00122] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии множество обучающих экспертов 306 может содержать некоторых или всех экспертов 106 из множества экспертов 106 (см. фиг. 1).

[00123] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии обучающий результат из множества 310 обучающих результатов может представлять собой слово, фразу, предложение, метку или изображение.

[00124] Процедура 202 приема способна обращаться к базе 124 данных журналов для получения истории действий пользователя, связанной с каждым обучающим экспертом 306, и сопоставлять ее с полученным обучающим результатом.

[00125] Затем процедура 202 приема способна отправлять пакет 314 данных процедуре 204 проверки. Пакет 314 данных содержит (а) множество 310 обучающих результатов и (б) историю действий пользователя, связанную с каждым обучающим результатом из множества 310 обучающих результатов.

[00126] В ответ на получение пакета 314 данных процедура 204 проверки способна выполнять следующие функции.

[00127] Сначала процедура 204 проверки способна присваивать метку каждому обучающему результату из множества 310 обучающих результатов. В частности, процедура 204 проверки способна присваивать метку, указывающую на то, является обучающий результат правильным результатом или он является неправильным результатом для обучающей задачи 312.

[00128] На присвоение метки не накладывается каких-либо ограничений. Например, обучающая задача 312 может быть связана с заранее заданным ответом 316, который отправляется процедуре 204 проверки. Затем процедура 204 проверки способна сравнивать каждый обучающий результат с заранее заданным ответом 316 и соответствующим образом присваивать метку.

[00129] В другом примере, если обучающая задача 312 представляет собой задачу загрузки изображения, процедура 204 проверки может быть способной отправлять множество 310 обучающих результатов надежному эксперту 218 для присвоения меток множеству результатов.

[00130] После присвоения метки каждому обучающему результату из множества 310 обучающих результатов процедура 204 проверки способна формировать набор 308 триплетов обучающих данных. Набор 308 триплетов обучающих данных содержит первый триплет 318 обучающих данных, второй триплет обучающих данных (не обозначен), третий триплет обучающих данных (не обозначен), четвертый триплет обучающих данных (не обозначен) и пятый триплет обучающих данных (не обозначен). Очевидно, что несмотря на то, что набор 308 триплетов обучающих данных содержит только пять триплетов обучающих данных, объем изобретения этим не ограничивается. Предполагается, что набор 308 триплетов обучающих данных может содержать больше или меньше пяти триплетов обучающих данных.

[00131] Каждый триплет обучающих данных из набора 308 триплетов обучающих данных связан с обучающим результатом из множества 310 обучающих результатов.

[00132] Например, можно предположить, что обучающая задача 312 представляет собой задачу загрузки изображения.

[00133] На фиг. 4 представлена структура первого триплета 318 обучающих данных для обучения первого алгоритма 210 MLA в течение первого периода 302 обучения.

[00134] Первый триплет 318 обучающих данных содержит обучающий результат 402, историю 404 действий пользователя, связанную с обучающим результатом 402, и обучающую метку 406.

[00135] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии обучающая метка 406 представляет собой бинарную метку. Например, обучающая метка 406 имеет бинарное значение метки «0», если обучающий результат 402 представляет собой неправильный ответ для обучающей задачи 312, и обучающая метка 406 имеет бинарное значение метки «1», если обучающий результат 402 представляет собой правильный ответ для обучающей задачи 312.

[00136] Как описано выше, задача загрузки изображения может быть связана со списком инструкций, обязательных для выполнения множеством обучающих экспертов 306. Например, если обучающая задача 312 представляет собой загрузку изображения вывески коммерческого предприятия, такой как вывеска «время работы», то список обязательных инструкций может, среди прочего, содержать следующее:

- вывеска коммерческого предприятия должна располагаться в центре изображения;

- символы на вывеске коммерческого предприятия должны быть четко видны;

- вывеска коммерческого предприятия должна быть полностью видна;

- изображение должно быть цветным.

[00137] На фиг. 4 показано, что несмотря на то, что обучающий результат 402 соответствует вывеске коммерческого предприятия, обязательные инструкции не были выполнены экспертом. В частности, только часть вывески коммерческого предприятия видна в обучающем результате 402 вопреки требованию отображения всей вывески коммерческого предприятия.

[00138] Соответственно, надежный эксперт 218 присвоил обучающую метку 406, указывающую на то, что обучающий результат 402 представляет собой неправильный обучающий результат для обучающей задачи 312 (т.е. бинарное значение метки «0»).

[00139] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии обучающая метка 406 дополнительно содержит признак 408 ошибки. В частности, в дополнение к простому указанию на то, является ли обучающий результат 402 правильным ответом для обучающей задачи 312, обучающая метка 406 может содержать признак 408 ошибки, который указывает на причину, по которой обучающий результат 402 не является правильным ответом для обучающей задачи 312.

[00140] В настоящем примере признак 408 ошибки указывает на то, что обучающий результат 402 не соответствует требованию загрузки изображения, на котором вывеска коммерческого предприятия должна быть видна полностью.

[00141] Несмотря на то, что в представленном выше описании признак 408 ошибки связан с обучающей меткой 406, объем изобретения этим не ограничивается. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии обучающая метка 406 может быть реализована в виде многозначной метки, когда каждая метка указывает как на правильность или неправильность обучающего результата, так и на причину неправильности.

[00142] Как показано на фиг. 3, набор 308 триплетов обучающих данных вводится в первый алгоритм 210 MLA. Для каждого триплета обучающих данных (такого как первый триплет 318 обучающих данных) из набора 308 триплетов обучающих данных в первом алгоритме 210 MLA предусмотрена логика обучения для определения набора признаков, связанных с обучающим результатом (таким как обучающий результат 402, см. фиг. 4), с историей действий пользователя (такой как история 404 действий пользователя, см. фиг. 4) и с присвоенной меткой (такой как обучающая метка 406).

[00143] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии набор признаков содержит свойства обучающего результата и истории действий пользователя для каждого триплета обучающих данных из набора 308 триплетов обучающих данных.

[00144] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии набор признаков содержит свойства обучающего результата, истории действий пользователя и признак ошибки для каждого триплета обучающих данных из набора 308 триплетов обучающих данных.

[00145] После определения набора признаков для каждого триплета обучающих данных из набора 308 триплетов обучающих данных первый алгоритм 210 MLA способен анализировать набор признаков.

[00146] В частности, с учетом того, что каждый триплет обучающих данных содержит метку, указывающую на то, что обучающий результат представляет собой правильный или неправильный результат для обучающей задачи 312, первый алгоритм 210 MLA способен обучаться определению набора признаков, указывающего на неправильный обучающий результат.

[00147] Соответственно, первый алгоритм 210 MLA способен формировать прогнозную функцию, которая на этапе использования способна назначать параметр ошибки для результата 212 (см. фиг. 2) на основе набора признаков, связанных с результатом 212 и с историей действий пользователя.

[00148] Очевидно, что обучение алгоритма 210 MLA описано выше со ссылкой только на первый триплет 318 обучающих данных лишь для обеспечения лучшего понимания. Должно быть понятно, что обучение первого алгоритма 210 MLA выполняется итеративно с использованием оставшихся триплетов обучающих данных из набора 308 триплетов обучающих данных.

[00149] Выше описан способ подготовки первого алгоритма 210 MLA в течение первого периода 302 обучения (т.е. до этапа использования). Ниже описан второй период 304 обучения.

[00150] В течение второго периода 304 обучения первый алгоритм 210 MLA дополнительно повторно обучается с использованием триплета 320 данных, сформированного на этапе обучения. В частности, триплет 320 данных содержит метку 224, результат 212 и связанную с результатом 212 историю действий пользователя, направляемые процедуре 204 проверки процедурой 206 вывода в пакете 226 данных.

[00151] Например, можно предположить, что задача, выполняемая на этапе использования (см. фиг. 2), представляет собой задачу загрузки изображения.

[00152] На фиг. 5 представлена структура триплета 320 данных для обучения первого алгоритма 210 MLA в течение второго периода 304 обучения.

[00153] Триплет 320 данных содержит результат 212, историю 502 действий пользователя, связанную с результатом 212, и метку 504.

[00154] Несмотря на то, что результат 212 соответствует вывеске коммерческого предприятия, как указано в задаче, экспертом 106 не были выполнены обязательные инструкции (см. фиг. 5). В частности, вопреки требованию отображения всей вывески коммерческого предприятия, в результате 212 видна лишь часть вывески коммерческого предприятия.

[00155] Соответственно, надежный эксперт 218 присвоил метку 504, указывающую на то, что результат 212 представляет собой неправильный результат для задачи.

[00156] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии метка 504 дополнительно содержит признак 408 ошибки, указывающий на то, что результат 212 не соответствует требованию загрузки изображения, на котором вывеска коммерческого предприятия должна быть видна полностью.

[00157] Как показано на фиг. 3, триплет 320 данных вводится в первый алгоритм 320 MLA для определения набора признаков, связанных с результатом 212, с историей 502 действий пользователя и с меткой 504.

[00158] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии набор признаков представляет собой свойства результата 212 и истории 502 действий пользователя.

[00159] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии набор признаков представляет собой свойства результата 212, истории 502 действий пользователя и признак 408 ошибки.

[00160] После определения набора признаков для триплета 320 данных первый алгоритм 210 MLA способен проанализировать этот набор признаков, чтобы обновить прогнозную функцию для последующего определения параметра ошибки на этапе использования.

[00161] Очевидно, что только один триплет 320 данных показан для второго периода 304 обучения лишь для обеспечения лучшего понимания. Должно быть понятно, что обучение первого алгоритма 210 MLA выполняется итеративно с использованием множества различных триплетов данных, сформированных на этапе использования.

[00162] Различные не имеющие ограничительного характера варианты осуществления настоящей технологии позволяют определять результат задачи, выполняемой в краудсорсинговой среде.

[00163] Описанные выше архитектура и примеры позволяют выполнять компьютерный способ определения результата для задачи, выполняемой в краудсорсинговой среде. На фиг. 6 представлена блок-схема способа 600, выполняемого согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии. Способ 600 может выполняться сервером 102.

[00164] Шаг 602: отправка сервером множеству пользователей краудсорсинговой среды обучающей задачи, связанной с заранее заданным обучающим ответом.

[00165] Способ 600 начинается с шага 602, на котором сервер 102 отправляет обучающую задачу 312 множеству обучающих экспертов 306 (см. фиг. 3).

[00166] Шаг 604: получение сервером множества обучающих результатов, соответствующих обучающей задаче, отправленной множеству пользователей.

[00167] На шаге 604 процедура 202 приема может получить множество 310 обучающих результатов от множества обучающих экспертов 306.

[00168] Шаг 606: получение сервером истории действий пользователя, связанной с каждым пользователем из множества пользователей и содержащей ранее собранные действия пользователя и характеристики действий пользователя в краудсорсинговой среде.

[00169] На шаге 606 процедура 202 приема может (а) получить из базы 124 данных журналов историю действий пользователя, связанную с экспертом 106, и (б) получить из базы 104 данных оценку 112 качества, связанную с экспертом 106.

[00170] Затем процедура 202 приема может отправить пакет 314 данных процедуре 204 проверки. Пакет 314 данных содержит (а) множество 310 обучающих результатов и (б) историю действий пользователя, связанную с каждым обучающим результатом из множества 310 обучающих результатов.

[00171] Шаг 608: присвоение каждому результату из множества обучающих результатов значения метки, представляющего собой первое значение метки, присвоенное одному или нескольким обучающим результатам, соответствующим заранее заданному обучающему ответу, или второе значение метки, присвоенное одному или нескольким обучающим результатам, не соответствующим заранее заданному обучающему ответу.

[00172] На шаге 608 в ответ на получение пакета 314 данных процедура 204 проверки может присвоить метку каждому обучающему результату из множества 310 обучающих результатов. В частности, процедура 204 проверки может присвоить метку, указывающую на то, является обучающий результат правильным результатом или он является неправильным результатом для обучающей задачи 312.

[00173] На способ присвоения метки не накладывается каких-либо ограничений. Например, если обучающая задача 312 представляет собой задачу разметки, то обучающая задача 312 может быть связана с заранее заданным ответом 316, который отправляется процедуре 204 проверки. Затем процедура 204 проверки может сравнить каждый обучающий результат с заранее заданным ответом 316 и соответствующим образом присвоить метку.

[00174] В другом примере, если обучающая задача 312 представляет собой задачу загрузки изображения, процедура 204 проверки может отправить множество 310 обучающих результатов надежному эксперту 218 для присвоения меток множеству результатов.

[00175] Шаг 610: формирование сервером набора триплетов обучающих данных, каждый из которых связан с обучающим результатом из множества обучающих результатов и содержит обучающий результат, связанную с обучающим результатом историю действий пользователя и присвоенное обучающему результату значение метки.

[00176] После присвоения метки каждому обучающему результату из множества 310 обучающих результатов процедура 204 проверки может сформировать набор 308 триплетов обучающих данных. Набор 308 триплетов обучающих данных содержит первый триплет 318 обучающих данных, второй триплет обучающих данных, третий триплет обучающих данных, четвертый триплет обучающих данных и пятый триплет обучающих данных. Очевидно, что несмотря на то, что набор 308 триплетов обучающих данных содержит только пять триплетов обучающих данных, объем изобретения этим не ограничивается. Предполагается, что набор 308 триплетов обучающих данных может содержать больше или меньше пяти триплетов обучающих данных.

[00177] Каждый триплет обучающих данных из набора 308 триплетов обучающих данных связан с обучающим результатом из множества 310 обучающих результатов.

[00178] Например, можно предположить, что обучающая задача 312 представляет собой задачу загрузки изображения, в которой от пользователя требуется загрузить изображение вывески коммерческого предприятия, например, вывески «время работы».

[00179] На фиг. 4 представлена структура первого триплета 318 обучающих данных.

[00180] Несмотря на то, что обучающий результат 402 соответствует вывеске коммерческого предприятия, экспертом не были выполнены обязательные инструкции (см. фиг. 4). В частности, вопреки требованию отображения всей вывески коммерческого предприятия, в обучающем результате 402 видна только часть вывески коммерческого предприятия.

[00181] Соответственно, надежный эксперт 218 присвоил обучающую метку 406, указывающую на то, что обучающий результат 402 представляет собой неправильный обучающий результат для обучающей задачи 312 (т.е. бинарное значение метки «0»).

[00182] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии обучающая метка 406 дополнительно содержит признак 408 ошибки. В частности, в дополнение к простому указанию на то, является ли обучающий результат 402 правильным ответом для обучающей задачи 312, обучающая метка 406 может содержать признак 408 ошибки, дополнительно указывающий на причину, по которой обучающий результат 402 не является правильным ответом для обучающей задачи 312.

[00183] В настоящем примере признак 408 ошибки указывает на то, что обучающий результат 402 не соответствует требованию загрузки изображения, на котором вывеска коммерческого предприятия должна быть видна полностью.

[00184] Несмотря на то, что в представленном выше описании признак 408 ошибки связан с обучающей меткой 406, объем изобретения этим не ограничивается. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии обучающая метка 406 может быть реализована в виде многозначной метки, при этом каждая метка указывает как на правильность или неправильность обучающего результата, так и на причину неправильности.

[00185] Шаг 612: обучение алгоритма MLA, включая определение для каждого триплета обучающих данных набора признаков, содержащего свойство триплета обучающих данных, и формирование на основе этого набора признаков прогнозной функции, способной на основе истории действий пользователя определить параметр ошибки полученного от пользователя результата для задачи, представляющий собой вероятность того, что результат является неправильным.

[00186] Как показано на фиг. 3, набор 308 триплетов обучающих данных вводится в первый алгоритм 210 MLA. Для каждого триплета обучающих данных (такого как первый триплет 318 обучающих данных) из набора 308 триплетов обучающих данных в первом алгоритме 210 MLA предусмотрена логика обучения для определения набора признаков, связанных с обучающим результатом (таким как обучающий результат 402, см. фиг. 4), с историей действий пользователя (такой как история 404 действий пользователя, см. фиг. 4) и с присвоенной меткой (такой как обучающая метка 406).

[00187] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии набор признаков содержит свойства обучающего результата и истории действий пользователя для каждого триплета обучающих данных из набора 308 триплетов обучающих данных.

[00188] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии набор признаков содержит свойства обучающего результата, истории действий пользователя и признак ошибки для каждого триплета обучающих данных из набора 308 триплетов обучающих данных.

[00189] После определения набора признаков для каждого триплета обучающих данных из набора 308 триплетов обучающих данных первый алгоритм 210 MLA способен проанализировать этот набор признаков.

[00190] В частности, с учетом того, что каждый триплет обучающих данных содержит метку, указывающую на то, что обучающий результат представляет собой правильный или неправильный результат для обучающей задачи 312, первый алгоритм 210 MLA способен обучаться определению набора признаков, указывающего на неправильный обучающий результат.

[00191] Соответственно, первый алгоритм 210 MLA может сформировать прогнозную функцию, которая на этапе использования способна назначать параметр ошибки для результата 212 (см. фиг. 2) на основе набора признаков, связанных с результатом 212 и с историей действий пользователя.

[00192] На этом способ 600 завершается.

[00193] Специалистам в данной области техники должно быть очевидно, что по меньшей некоторые варианты осуществления настоящей технологии преследуют цель расширения арсенала технических средств для решения определенной технической проблемы, присущей традиционной краудсорсинговой технологии, а именно, определения результата для задачи в краудсорсинговой среде.

[00194] Очевидно, что не все упомянутые в данном описании технические эффекты должны присутствовать в каждом варианте осуществления настоящей технологии. Например, возможны варианты осуществления настоящей технологии, когда пользователь не получает некоторые из этих технических эффектов, или другие варианты реализации, когда пользователь получает другие технические эффекты либо технический эффект отсутствует.

[00195] Для специалиста в данной области могут быть очевидными возможные изменения и усовершенствования описанных выше вариантов осуществления настоящей технологии. Предшествующее описание приведено лишь в иллюстративных целях, а не для ограничения объема изобретения. Объем охраны настоящей технологии определяется исключительно объемом приложенной формулы изобретения.

[00196] Несмотря на то, что описанные выше варианты реализации приведены со ссылкой на конкретные шаги, выполняемые в определенном порядке, должно быть понятно, что эти шаги могут быть объединены, разделены или их порядок может быть изменен без выхода за границы настоящей технологии. Соответственно, порядок и группировка шагов не носят ограничительного характера для настоящей технологии.

Настоящее изобретение относится к способам и системам для определения результата выполнения задачи в краудсорсинговой среде. Технический результат заключается в возможности определения результата для задачи в краудсорсинговой среде. Такой результат достигается за счет того, что сервер на этапе обучения отправляет множеству пользователей краудсорсинговой среды обучающую задачу, связанную с заранее заданным обучающим ответом; получает множество обучающих результатов, соответствующих обучающей задаче; получает историю действий пользователя, содержащую ранее собранные действия пользователя и характеристики действий пользователя в краудсорсинговой среде; присваивает каждому из множества обучающих результатов значения метки, представляющего собой первое значение метки, присвоенное одному или нескольким обучающим результатам, соответствующим заранее заданному обучающему ответу, или второе значение метки, присвоенное одному или нескольким обучающим результатам, не соответствующим заранее заданному обучающему ответу; формирует набор триплетов обучающих данных, каждый из которых связан с обучающим результатом из множества обучающих результатов и содержит обучающий результат, связанную с обучающим результатом историю действий пользователя и присвоенное обучающему результату значение метки; обучает алгоритм машинного обучения (MLA), включая определение для каждого триплета обучающих данных набора признаков, содержащего свойство триплета обучающих данных, и формирование на основе набора признаков прогнозной функции, способной на основе истории действий пользователя определять параметр ошибки полученного от пользователя результата для задачи, представляющий собой вероятность того, что результат является неправильным. 2 н. и 18 з.п. ф-лы, 6 ил.

1. Способ завершения задачи заданного вида, выполняемой в краудсорсинговой среде, выполняемый сервером и включающий в себя на этапе обучения:

- отправку сервером множеству пользователей краудсорсинговой среды обучающей задачи, связанной с заранее заданным обучающим ответом;

- получение сервером множества обучающих результатов, соответствующих обучающей задаче, отправленной множеству пользователей;

- получение сервером истории действий пользователя, связанной с каждым пользователем из множества пользователей и содержащей ранее собранные действия пользователя и характеристики действий пользователя в краудсорсинговой среде;

- присвоение каждому результату из множества обучающих результатов значения метки, представляющего собой первое значение метки, присвоенное одному или нескольким обучающим результатам, соответствующим заранее заданному обучающему ответу, или второе значение метки, присвоенное одному или нескольким обучающим результатам, не соответствующим заранее заданному обучающему ответу;

- формирование сервером набора триплетов обучающих данных, каждый из которых связан с обучающим результатом из множества обучающих результатов и содержит обучающий результат, связанную с обучающим результатом историю действий пользователя и присвоенное обучающему результату значение метки;

- обучение алгоритма машинного обучения (MLA), включая определение для каждого триплета обучающих данных набора признаков, содержащего свойство триплета обучающих данных, и формирование на основе набора признаков прогнозной функции, способной на основе истории действий пользователя определять параметр ошибки полученного от пользователя результата для задачи, представляющий собой вероятность того, что результат является неправильным.

2. Способ по п. 1, отличающийся тем, что алгоритм MLA представляет собой первый алгоритм MLA, а на этапе использования способ дополнительно включает в себя:

- получение сервером результата задачи, полученной пользователем и отличающейся от обучающей задачи;

- получение сервером истории действий пользователя, связанной с пользователем;

- определение с использованием первого алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем;

- ввод параметра ошибки во второй алгоритм MLA, обученный формировать контрольную оценку, указывающую на необходимость направления результата на дополнительную проверку; и

- отправку задачи и результата эксперту для дополнительной проверки, если контрольная оценка превышает заранее заданный порог.

3. Способ по п. 1, отличающийся тем, что параметр ошибки дополнительно указывает на необходимость направления результата на дополнительную проверку.

4. Способ по п. 3, отличающийся тем, что на этапе использования он дополнительно включает в себя:

- получение сервером отправленного пользователем результата задачи, отличающейся от обучающей задачи;

- получение сервером истории действий пользователя, связанной с пользователем;

- определение с использованием алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем; и

- отправку задачи и результата эксперту для присвоения результату метки, если параметр ошибки превышает заранее заданный порог.

5. Способ по п. 4, отличающийся тем, что он дополнительно включает в себя:

- получение сервером от эксперта присвоенного значения метки;

- формирование дополнительного обучающего триплета данных, отличающегося от триплета обучающих данных из набора триплетов обучающих данных, если присвоенное значение метки указывает на неправильный результат задачи, при этом дополнительные триплеты данных содержат результат, связанную с пользователем историю действий пользователя и присвоенное значение метки; и

- обучение алгоритма MLA, включая обновление прогнозной функции на основе набора признаков, содержащего свойство дополнительного триплета данных, для последующего определения параметра ошибки.

6. Способ по п. 5, отличающийся тем, что он дополнительно включает в себя получение сервером оценки качества, связанной с пользователем и указывающей на надежность пользователя, и снижение оценки качества, связанной с пользователем, если присвоенное значение метки указывает на то, что результат представляет собой неправильный ответ для задачи.

7. Способ по п. 6, отличающийся тем, что если сниженная оценка качества меньше заранее заданного порога, способ дополнительно включает в себя применение в отношении пользователя ограничивающего действия, включая приостановление действия учетной записи пользователя в краудсорсинговой среде.

8. Способ по п. 1, отличающийся тем, что задача заданного вида представляет собой задачу разметки или задачу загрузки изображения.

9. Способ по п. 5, отличающийся тем, что если присвоенное значение метки указывает на то, что результат представляет собой неправильный ответ для задачи, способ дополнительно включает в себя повторное обучение алгоритма MLA с использованием сравнения результата и присвоенной метки.

10. Способ по п. 9, отличающийся тем, что повторное обучение дополнительно основано на признаках результата и признаках, связанных с пользователем.

11. Способ по п. 10, отличающийся тем, что признаки результата включают в себя признаки, связанные с неправильным результатом, и признаки, связанные с правильным результатом, соответственно.

12. Способ по п. 11, отличающийся тем, что задача связана со списком обязательных инструкций, которые должен выполнять пользователь, при этом правильный результат основан на выполнении пользователем обязательных инструкций, а неправильный результат основан на невыполнении пользователем обязательных инструкций.

13. Способ по п. 12, отличающийся тем, что признаки результата дополнительно включают в себя выполнение экспертом обязательных инструкций и невыполнение экспертом обязательных инструкций.

14. Система для завершения задачи заданного вида, выполняемой в краудсорсинговой среде, содержащая сервер с процессором, выполненный с возможностью на этапе обучения:

- отправки сервером множеству пользователей краудсорсинговой среды обучающей задачи, связанной с заранее заданным обучающим ответом;

- получения сервером множества обучающих результатов, соответствующих обучающей задаче, отправленной множеству пользователей;

- получения сервером истории действий пользователя, связанной с каждым пользователем из множества пользователей и содержащей ранее собранные действия пользователя и характеристики действий пользователя в краудсорсинговой среде;

- присвоения каждому результату из множества обучающих результатов значения метки, представляющего собой первое значение метки, присвоенное одному или нескольким обучающим результатам, соответствующим заранее заданному обучающему ответу, или второе значение метки, присвоенное одному или нескольким обучающим результатам, не соответствующим заранее заданному обучающему ответу;

- формирования сервером набора триплетов обучающих данных, каждый из которых связан с обучающим результатом из множества обучающих результатов и содержит обучающий результат, связанную с обучающим результатом историю действий пользователя и присвоенное обучающему результату значение метки;

- обучения алгоритма MLA, включая определение для каждого триплета обучающих данных набора признаков, содержащего свойство триплета обучающих данных; и

- формирования на основе набора признаков прогнозной функции, конфигурация которой позволяет на основе истории действий пользователя определять параметр ошибки полученного от пользователя результата для задачи, представляющий собой вероятность того, что результат является неправильным.

15. Система по п. 14, отличающаяся тем, что алгоритм MLA представляет собой первый алгоритм MLA, а сервер дополнительно выполнен с возможностью на этапе использования:

- получения сервером результата задачи, полученной пользователем и отличающейся от обучающей задачи;

- получения сервером истории действий пользователя, связанной с пользователем;

- определения с использованием первого алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем;

- ввода параметра ошибки во второй алгоритм MLA, обученный формировать контрольную оценку, указывающую на необходимость направления результата на дополнительную проверку; и

- отправки задачи и результата эксперту для дополнительной проверки, если контрольная оценка превышает заранее заданный порог.

16. Система по п. 14, отличающаяся тем, что параметр ошибки дополнительно указывает на необходимость направления результата на дополнительную проверку.

17. Система по п. 16, отличающаяся тем, что сервер дополнительно выполнен с возможностью на этапе использования:

- получения сервером отправленного пользователем результата задачи, отличающейся от обучающей задачи;

- получения сервером истории действий пользователя, связанной с пользователем;

- определения с использованием алгоритма MLA параметра ошибки результата на основе истории действий пользователя, связанной с пользователем; и

- отправки задачи и результата эксперту для присвоения результату метки, если параметр ошибки превышает заранее заданный порог.

18. Система по п. 17, отличающаяся тем, что сервер дополнительно выполнен с возможностью:

- получения сервером от эксперта присвоенного значения метки;

- формирования дополнительного обучающего триплета данных, отличающегося от триплета обучающих данных из набора триплетов обучающих данных, если присвоенное значение метки указывает на неправильный результат задачи, при этом дополнительные триплеты данных содержат результат, связанную с пользователем историю действий пользователя и присвоенное значение метки; и

- обучения алгоритма MLA, включая обновление прогнозной функции на основе набора признаков, содержащего свойство дополнительного триплета данных, для последующего определения параметра ошибки.

19. Система по п. 17, отличающаяся тем, что сервер дополнительно выполнен с возможностью получения сервером оценки качества, связанной с пользователем и указывающей на надежность пользователя, и снижения оценки качества, связанной с пользователем, если присвоенное значение метки указывает на то, что результат представляет собой неправильный ответ для задачи.

20. Система по п. 19, отличающаяся тем, что сервер дополнительно выполнен с возможностью применения в отношении пользователя ограничивающего действия, включая приостановление действия учетной записи пользователя в краудсорсинговой среде.