Способы и системы для формирования списка цифровых задач Российский патент 2025 года по МПК G06N20/00 G06N3/08 G06F17/10 

Область техники, к которой относится изобретение

[01] Настоящая технология относится к способам и системам для формирования списка цифровых задач для оценщика, в частности списка цифровых задач для оценщика, являющегося частью краудсорсинговой цифровой платформы.

Уровень техники

[02] Краудсорсинговые платформы, такие как Amazon Mechanical Turk™, позволяют координировать использование человеческого интеллекта при выполнении задач, которые компьютеры в настоящее время не способны выполнять быстрее и дешевле, чем профессиональные оценщики.

[03] В общем случае краудсорсинговая платформа работает в двусторонней рыночной экосистеме владельцев заданий, размещающих задания, известные как задачи для человеческого интеллекта (HIT, Human Intelligence Task), и пользователей, выполняющих их в обмен на денежную оплату, установленную владельцами заданий. Основная задача платформы для двустороннего рынка заключается в улучшении результатов взаимодействия сторон рынка и в эффективном удовлетворении их потребностей.

[04] В патентной заявке US 2015254593 A1 «Streamlined Creation and Utilization of Reference Human Intelligence Tasks» (Microsoft Corporation, опубл. 10.09.2015) описано автоматические формирование эталонных задач для интеллекта с целью их последующего использования при краудсорсинговой обработке задач для интеллекта. Эталонные задачи для интеллекта распределяются по заранее заданным категориям, включая категории, определенные на основе предполагаемого использования таких задач для интеллекта. Задачи для интеллекта предоставляются доверенному набору работников. Если заданное количество доверенных работников достигает консенсуса относительно надлежащего ответа, то такой ответ считается окончательным ответом. И наоборот, если на первоначальном этапе консенсус не достигнут, то для определения того, возможно ли достижение консенсуса в таком сочетании, могут быть использованы дополнительные доверенные работники. Для формирования доверенным набором работников мнений относительно категоризации им предоставляется статистика, относящаяся к категоризации. При необходимости может быть выполнено автоматическое назначение или повторное назначение категории. Кроме того, в некоторых случаях может быть задан максимальный интервал времени для завершения автоматического формирования набора эталонных задач для интеллекта.

[05] В патентной заявке US 20090204470 A1 «Multilevel Assignment of Jobs and Tasks in Online Work Management System» (Clearshift Corporation, опубл. 13.08.2009) описана интерактивная система управления работами, обеспечивающая торговую площадку для множества владельцев заданий и работников. Владельцы заданий предоставляют описание задания, определяющее задачу. Описание задания может быть обработано для формирования описаний задач, которые могут быть опубликованы для работников. В описаниях задач указывается квалификация или ограничения для работников, которым может быть назначена задача. Интерактивная система управления работами также обеспечивает различные функции, поддерживающие согласование и управление назначением задач, такие как определение уровня доверия к личности пользователя, поиск задач или работников, контроль хода выполнения задания, управление выплатами работникам, обучение и тестирование работников, оценка отзывов владельцев заданий и формирование обзоров.

Раскрытие изобретения

[06] Разработанные не имеющие ограничительного характера варианты осуществления настоящей технологии основаны на понимании разработчиком по меньшей мере одной технической проблемы, связанной с по меньшей мере некоторыми известными решениями.

[07] Во-первых, правильность выходных данных задачи, выполненной оценщиками-людьми, влияет на обучение и в конечном счете на эффективность этапа использования алгоритмов машинного обучения. Большое количество ошибочных обучающих примеров (т.е. обучающих примеров с ошибочными метками) в обучающих данных негативно влияет на эффективность этапа использования алгоритма машинного обучения, обученного на основе этих обучающих данных. Во-вторых, выбор задач оценщиками-людьми по своей природе является тенденциозным и основан на их предпочтениях или на удовлетворенности от выполнения конкретных задач. Иными словами, опытные оценщики-люди склонны выбирать хорошо знакомые задачи, исходя из своего предыдущего опыта. Таким образом, когда становятся доступными задачи нового вида, неизвестные многим оценщикам-людям, последние оказываются незаинтересованными в выборе задач нового вида. В результате владельцам новых или ранее неизвестных задач может быть сложно собрать выходные данные от оценщиков-людей, что приводит к неудовлетворенности работой краудсорсинговой платформы.

[08] Разработчики настоящей технологии разработали технологию распределения неизвестных или необычных задач оценщикам-людям путем обеспечения оптимального соотношения между удовлетворенностью оценщиков и удовлетворенностью владельцев заданий. Иными словами, если задача неизвестна или мало знакома оценщику, но может быть успешно выполнена им, то краудсорсинговая платформа способствует выполнению такой задачи при минимальной неудовлетворенности оценщика-человека.

[09] Согласно первому аспекту настоящей технологии реализован компьютерный способ формирования списка цифровых задач, предоставляемых оценщику для выбора по меньшей мере одной из них для выполнения, при этом оценщик является частью краудсорсинговой цифровой платформы, а способ выполняется процессором, содержащим краудсорсинговую цифровую платформу и выполняющим алгоритм машинного обучения (MLA, Machine-Learning Algorithm). Способ включает в себя: получение процессором запроса относительно списка цифровых задач от оценщика; получение множества цифровых задач, доступных для выполнения на краудсорсинговой цифровой платформе, в ответ на запрос; определение для цифровой задачи из множества цифровых задач соответствующего параметра взаимодействий оценщика, указывающего на значение вероятности выбора оценщиком цифровой задачи и определяемого на основе по меньшей мере одного связанного с оценщиком параметра профиля; получение процессором для цифровой задачи соответствующего параметра точности выполнения, указывающего на значение вероятности правильного выполнения цифровой задачи оценщиком; ранжирование алгоритмом MLA множества цифровых задач с целью формирования ранжированного множества цифровых задач, при этом ранжирование выполняется путем оптимизации параметра качества ранжирования, определяемого на основе сочетания (а) параметра удовлетворенности платформой пользователя, указывающего на удовлетворенность оценщика, исходя из позиции цифровой задачи в ранжированном списке множества цифровых задач, при этом параметр удовлетворенности платформой пользователя определяется на основе соответствующего параметра взаимодействий оценщика для множества цифровых задач и больший параметр удовлетворенности платформой пользователя указывает на соответствие позиции цифровой задачи в списке по меньшей мере одному параметру профиля оценщика, и (б) параметра удовлетворенности платформой владельца задания, указывающего на вероятность правильного выполнения цифровой задачи оценщиком, при этом параметр удовлетворенности платформой владельца задания определяется на основе соответствующего параметра точности выполнения для множества цифровых задач и больший параметр удовлетворенности платформой владельца задания указывает на правильное выполнение оценщиком цифровой задачи, расположенной выше в ранжированном списке. Оптимизация включает в себя максимизацию значения параметра удовлетворенности платформой владельца задания при сохранении значения параметра удовлетворенности платформой пользователя на заранее заданном уровне, и выбор процессором из ранжированного множества цифровых задач N цифровых задач с наибольшим рангом для их включения в список цифровых задач.

[010] В некоторых не имеющих ограничительного характера вариантах осуществления способа получение множества доступных для выполнения цифровых задач дополнительно включает в себя определение подмножества цифровых задач, при этом определение предполагает: формирование алгоритмом MLA вектора признаков оценщика; формирование алгоритмом MLA соответствующего вектора признаков для каждой цифровой задачи из множества цифровых задач; выбор процессором N цифровых задач из множества цифровых задач для их включения в подмножество цифровых задач на основе близости вектора признаков оценщика к соответствующим векторам признаков множества цифровых задач.

[011] В некоторых не имеющих ограничительного характера вариантах осуществления способа параметр удовлетворенности платформой пользователя представляет собой агрегированное значение параметров взаимодействий оценщика, связанных с множеством цифровых задач.

[012] В некоторых не имеющих ограничительного характера вариантах осуществления способа параметр удовлетворенности платформой владельца задания представляет собой агрегированное значение параметров точности выполнения, связанных с множеством цифровых задач.

[013] В некоторых не имеющих ограничительного характера вариантах осуществления способа соответствующий параметр взаимодействий оценщика указывает на то, выберет оценщик цифровую задачу или нет.

[014] В некоторых не имеющих ограничительного характера вариантах осуществления способа соответствующий параметр точности выполнения определяется с использованием контрольных цифровых задач.

[015] В некоторых не имеющих ограничительного характера вариантах осуществления способа соответствующий параметр точности выполнения определяется на основе степени соответствия ответа, предоставленного оценщиком для цифровой задачи, другим ответам, предоставленным для этой цифровой задачи другими оценщиками краудсорсинговой платформы.

[016] В некоторых не имеющих ограничительного характера вариантах осуществления способа параметр качества ранжирования определяется согласно выражению

где - соответствующий параметр взаимодействий оценщика для цифровой задачи ;

- соответствующий параметр точности выполнения, связанный с оценщиком , выполняющим цифровую задачу ;

i - текущая позиция цифровой задачи в списке цифровых задач;

r - запрос, используемый для формирования цифровой задачи;

c - одна из функций обучения алгоритма MLA;

α и β - весовые коэффициенты.

[017] В некоторых не имеющих ограничительного характера вариантах осуществления способа оптимизация включает в себя применение алгоритма стохастического ранжирования и алгоритма ранжирования йети (Yeti).

[018] В некоторых не имеющих ограничительного характера вариантах осуществления способа алгоритм MLA включает в себя ансамбль деревьев решений CatBoost.

[019] Согласно другому аспекту настоящей технологии реализован компьютерный способ формирования списка цифровых задач, предоставляемых оценщику для выбора по меньшей мере одной из них для выполнения, при этом оценщик является частью краудсорсинговой цифровой платформы, а способ выполняется процессором, содержащим краудсорсинговую цифровую платформу и выполняющим алгоритм MLA. Способ включает в себя: получение процессором запроса относительно списка цифровых задач от оценщика; получение множества цифровых задач, доступных для выполнения на краудсорсинговой цифровой платформе; формирование алгоритмом MLA подмножества цифровых задач путем: формирования алгоритмом MLA вектора признаков оценщика; формирования алгоритмом MLA соответствующего вектора признаков для каждой задачи из множества цифровых задач; выбора N задач из множества цифровых задач в качестве подмножества цифровых задач на основе близости вектора признаков оценщика к соответствующим векторам признаков множества цифровых задач; ранжирование алгоритмом MLA подмножества цифровых задач в список цифровых задач путем оптимизации параметра качества ранжирования, определяемого на основе сочетания (а) параметра взаимодействий оценщика, указывающего на прогнозируемую на основе набора навыков оценщика вероятность взаимодействия оценщика и цифровой задачи, при этом чем больше значение параметра взаимодействий оценщика для цифровой задачи, тем выше цифровая задача располагается в списке цифровых задач, и (б) параметра смещенной задачи, указывающего на негативное влияние перемещения другой цифровой задачи с более высокой позиции на более низкую позицию на удовлетворенность пользователя краудсорсинговой цифровой платформы для оценщика; при этом оптимизация включает в себя максимизацию значения параметра взаимодействий оценщика при сохранении значения параметра смещенной задачи на заранее заданном уровне.

[020] Согласно еще одному аспекту настоящей технологии реализована система для формирования списка цифровых задач, предоставляемых оценщику для выбора по меньшей мере одной из них для выполнения, при этом оценщик является частью краудсорсинговой цифровой платформы, а система содержит сервер, содержащий краудсорсинговую цифровую платформу и процессор, способный выполнять алгоритм MLA. Процессор способен: получать запрос списка цифровых задач от оценщика; получать множество цифровых задач, доступных для выполнения на краудсорсинговой цифровой платформе, в ответ на запрос; определять для цифровой задачи из множества цифровых задач соответствующий параметр взаимодействий оценщика, указывающего на значение вероятности выбора оценщиком цифровой задачи и определяемого на основе по меньшей мере одного связанного с оценщиком параметра профиля; получать для цифровой задачи соответствующий параметр точности выполнения, указывающий на значение вероятности правильного выполнения цифровой задачи оценщиком; ранжировать с использованием алгоритма MLA множество цифровых задач с целью формирования ранжированного множества цифровых задач, при этом ранжирование выполняется путем оптимизации параметра качества ранжирования, определяемого на основе сочетания (а) параметра удовлетворенности платформой пользователя, указывающего на удовлетворенность оценщика, исходя из позиции цифровой задачи в ранжированном списке множества цифровых задач, при этом параметр удовлетворенности платформой пользователя определяется на основе соответствующего параметра взаимодействий оценщика для множества цифровых задач и больший параметр удовлетворенности платформой пользователя указывает на соответствие позиции цифровой задачи в списке по меньшей мере одному параметру профиля оценщика, и (б) параметра удовлетворенности платформой владельца задания, указывающего на вероятность правильного выполнения цифровой задачи оценщиком, при этом параметр удовлетворенности платформой владельца задания определяется на основе соответствующего параметра точности выполнения для множества цифровых задач и больший параметр удовлетворенности платформой владельца задания указывает на правильное выполнение оценщиком цифровой задачи, расположенной выше в ранжированном списке. Оптимизация включает в себя максимизацию значения параметра удовлетворенности платформой владельца задания при сохранении значения параметра удовлетворенности платформой пользователя на заранее заданном уровне; и выбирать из ранжированного множества цифровых задач N цифровых задач с наибольшим рангом для их включения в список цифровых задач.

[021] В некоторых не имеющих ограничительного характера вариантах осуществления системы для получения множества доступных для выполнения цифровых задач процессор дополнительно способен определять подмножество цифровых задач, при этом определение включает в себя: формирование алгоритмом MLA вектора признаков оценщика; формирование алгоритмом MLA соответствующего вектора признаков для каждой цифровой задачи из множества цифровых задач; выбор процессором N цифровых задач из множества цифровых задач для их включения в подмножество цифровых задач на основе близости вектора признаков оценщика к соответствующим векторам признаков множества цифровых задач.

[022] В некоторых не имеющих ограничительного характера вариантах осуществления системы параметр удовлетворенности платформой пользователя представляет собой агрегированное значение параметров взаимодействий оценщика, связанных с множеством цифровых задач.

[023] В некоторых не имеющих ограничительного характера вариантах осуществления системы параметр удовлетворенности платформой владельца задания представляет собой агрегированное значение параметров точности выполнения, связанных с множеством цифровых задач.

[024] В некоторых не имеющих ограничительного характера вариантах осуществления системы соответствующий параметр взаимодействий оценщика указывает на то, выберет оценщик цифровую задачу или нет.

[025] В некоторых не имеющих ограничительного характера вариантах осуществления системы соответствующий параметр точности выполнения определяется с использованием контрольных цифровых задач.

[026] В некоторых не имеющих ограничительного характера вариантах осуществления системы соответствующий параметр точности выполнения определяется на основе степени соответствия ответа, предоставленного оценщиком для цифровой задачи, другим ответам, предоставленным для этой цифровой задачи другими оценщиками краудсорсинговой платформы.

[027] В контексте настоящего описания термин «сервер» означает компьютерную программу, выполняемую соответствующими аппаратными средствами и способную принимать запросы (например, от клиентских устройств) через сеть и выполнять эти запросы или инициировать их выполнение. Аппаратные средства могут представлять собой один физический компьютер или одну компьютерную систему, что не существенно для настоящей технологии. В настоящем контексте выражение «сервер» не означает, что каждая задача (например, принятая команда или запрос) или некоторая конкретная задача принимается, выполняется или запускается одним и тем же сервером (т.е. одними и теми же программными и/или аппаратными средствами). Это выражение означает, что любое количество программных средств или аппаратных средств может принимать, отправлять, выполнять или инициировать выполнение любой задачи или запроса либо результатов любых задач или запросов. Все эти программные и аппаратные средства могут представлять собой один сервер или несколько серверов, причем оба эти случая подразумеваются в выражении «по меньшей мере один сервер».

[028] В контексте настоящего описания термин «клиентское устройство» означает любое компьютерное аппаратное средство, способное выполнять программы, подходящие для решения поставленной задачи. Таким образом, некоторые (не имеющие ограничительного характера) примеры клиентских устройств включают в себя персональные компьютеры (настольные, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует отметить, что в данном контексте устройство, функционирующее как клиентское устройство, также может функционировать как сервер для других клиентских устройств. Использование выражения «клиентское устройство» не исключает использования нескольких клиентских устройств для приема, отправки, выполнения или инициирования выполнения любой задачи или запроса либо результатов любых задач или запросов либо шагов любого описанного здесь способа.

[029] В контексте настоящего описания термин «база данных» означает любой структурированный набор данных, независимо от его конкретной структуры, программного обеспечения для управления базой данных или компьютерных аппаратных средств для хранения этих данных, их применения или обеспечения их использования иным способом. База данных может располагаться в тех же аппаратных средствах, где реализован процесс, обеспечивающий хранение или использование информации, хранящейся в базе данных, либо база данных может располагаться в отдельных аппаратных средствах, таких как специализированный сервер или множество серверов.

[030] В контексте настоящего описания выражение «информация» включает в себя информацию любого рода или вида, допускающую хранение в базе данных. Таким образом, информация включает в себя аудиовизуальные произведения (изображения, фильмы, звукозаписи, презентации и т.д.), данные (данные о местоположении, числовые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы, списки слов и т.д., но не ограничивается ими.

[031] В контексте настоящего описания выражение «компонент» включает в себя обозначение программного обеспечения (подходящего для определенных аппаратных средств), необходимого и достаточного для выполнения определенной функции или нескольких функций.

[032] В контексте настоящего описания выражение «пригодный для использования в компьютере носитель информации» означает носители любого рода и вида, включая оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), диски (CD-ROM, DVD, гибкие диски, жесткие диски и т.д.), USB-накопители, твердотельные накопители, накопители на магнитных лентах и т.д.

[033] В контексте настоящего описания числительные «первый», «второй», «третий» и т.д. используются лишь для указания различия между существительными, к которым они относятся, а не для описания каких-либо определенных взаимосвязей между этими существительными. Например, должно быть понятно, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо определенного порядка, типа, хронологии, иерархии или классификации, в данном случае, серверов, а также что их использование (само по себе) не подразумевает наличие «второго сервера» в любой ситуации. Кроме того, как встречается в настоящем описании в другом контексте, ссылка на «первый» элемент и «второй» элемент не исключает того, что эти два элемента в действительности могут быть одним и тем же элементом. Таким образом, например, в некоторых случаях «первый» сервер и «второй» сервер могут представлять собой одно и то же программное и/или аппаратное средство, а в других случаях - различные программные и/или аппаратные средства.

[034] Каждый вариант осуществления настоящей технологии относится к по меньшей мере одной из вышеупомянутых целей и/или аспектов, но не обязательно ко всем ним. Должно быть понятно, что некоторые аспекты настоящей технологии, связанные с попыткой достижения вышеупомянутой цели, могут не соответствовать этой цели и/или могут соответствовать другим целям, явным образом здесь не упомянутым.

[035] Дополнительные и/или альтернативные признаки, аспекты и преимущества вариантов осуществления настоящей технологии содержатся в дальнейшем описании, на приложенных фигурах и в формуле изобретения.

Краткое описание чертежей

[036] Дальнейшее описание приведено для лучшего понимания настоящей технологии, а также других аспектов и их признаков, и должно использоваться совместно с приложенными фигурами.

[037] На фиг. 1 приведена схема системы, реализованной согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[038] На фиг. 2 приведена структура данных оценщика, хранящихся в системе, представленной на фиг. 1.

[039] На фиг. 3 приведена схема процесса, выполняемого краудсорсинговым приложением системы, представленной на фиг. 1.

[040] На фиг. 4 показано множество цифровых задач из пакета данных, представленного на фиг. 3.

[041] На фиг. 5 приведена схема процесса традиционного ранжирующего алгоритма MLA, выполняемого краудсорсинговым приложением системы, представленной на фиг. 1.

[042] На фиг. 6 приведена схема процесса алгоритма MLA, представленного на фиг. 3.

[043] На фиг. 7 показан набор предварительных ранжированных списков, сформированных алгоритмом MLA, представленным на фиг. 3.

[044] На фиг. 8 приведена блок-схема способа формирования списка цифровых задач согласно не имеющему ограничительного характера первому варианту осуществления настоящей технологии.

[045] На фиг. 9 представлена блок-схема способа формирования списка цифровых задач согласно не имеющему ограничительного характера второму варианту осуществления настоящей технологии.

Осуществление изобретения

[046] На фиг. 1 представлена схема системы 100, пригодной для реализации не имеющих ограничительного характера вариантов осуществления настоящей технологии. Система 100 представляет собой пример компьютерной краудсорсинговой среды.

[047] Очевидно, что система 100 приведена лишь для иллюстрации варианта реализации настоящей технологии. Таким образом, дальнейшее описание системы представляет собой описание примеров, иллюстрирующих настоящую технологию. Это описание не предназначено для определения объема или границ настоящей технологии. В некоторых случаях приводятся полезные примеры модификаций системы 100. Они способствуют пониманию, но также не определяют объема или границ настоящей технологии. Эти модификации не составляют исчерпывающего перечня. Как должно быть понятно специалисту в данной области, могут быть возможны и другие модификации. Кроме того, если в некоторых случаях модификации не описаны (т.е. примеры модификаций отсутствуют), это не означает, что они невозможны и/или что описание содержит единственно возможный вариант реализации того или иного элемента настоящей технологии. Специалисту в данной области должно быть понятно, что это может быть иначе. Кроме того, следует понимать, что система 100 в некоторых случаях может представлять собой упрощенную реализацию настоящей технологии и что такие варианты представлены для того, чтобы способствовать лучшему ее пониманию. Специалистам в данной области должно быть понятно, что другие варианты осуществления настоящей технологии могут быть значительно сложнее.

[048] Представленные здесь примеры и условный язык предназначены для обеспечения лучшего понимания принципов настоящей технологии, а не для ограничения ее объема до таких специально приведенных примеров и условий. Очевидно, что специалисты в данной области техники способны разработать различные способы и устройства, которые явно не описаны и не показаны, но реализуют принципы настоящей технологии в пределах ее существа и объема. Кроме того, чтобы способствовать лучшему пониманию, последующее описание может содержать упрощенные варианты реализации настоящей технологии. Специалисту в данной области должно быть понятно, что другие варианты осуществления данной технологии могут быть значительно сложнее.

[049] Более того, описание принципов, аспектов и вариантов реализации настоящей технологии, а также их конкретные примеры предназначены для охвата их структурных и функциональных эквивалентов, независимо от того, известны они в настоящее время или будут разработаны в будущем. Например, специалистам в данной области техники должно быть понятно, что любые описанные здесь структурные схемы соответствуют концептуальным представлениям иллюстративных принципиальных схем, реализующих основы настоящей технологии. Также должно быть понятно, что любые блок-схемы, схемы процессов, диаграммы изменения состояния, псевдокоды и т.п. соответствуют различным процессам, которые могут быть представлены на машиночитаемом физическом носителе информации и могут выполняться компьютером или процессором, независимо от того, показан такой компьютер или процессор явно или нет.

[050] Функции различных элементов, показанных на фигурах, включая любой функциональный блок, обозначенный как «процессор», могут быть реализованы с использованием специализированных аппаратных средств, а также аппаратных средств, способных выполнять соответствующее программное обеспечение. Если используется процессор, эти функции могут выполняться одним выделенным процессором, одним совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут использоваться совместно. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор может представлять собой процессор общего назначения, такой как центральный процессор (CPU), или специализированный процессор, такой как графический процессор (GPU). Кроме того, явное использование термина «процессор» или «контроллер» не должно трактоваться как указание исключительно на аппаратные средства, способные выполнять программное обеспечение, и может подразумевать, помимо прочего, аппаратные средства цифрового сигнального процессора (DSP), сетевой процессор, специализированную интегральную схему (ASIC), программируемую вентильную матрицу (FPGA), ПЗУ для хранения программного обеспечения, ОЗУ и энергонезависимое запоминающее устройство. Также могут подразумеваться другие аппаратные средства, общего назначения и/или заказные.

[051] Далее с учетом вышеизложенных принципов рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.

[052] Система 100 содержит сервер 102 и базу 104 данных, доступную серверу 102.

[053] Как схематически показано на фиг. 1, база 104 данных содержит указания на каждого из множества оценщиков-людей, выразивших готовность выполнить по меньшей мере одну краудсорсинговую задачу. Множество оценщиков-людей содержит оценщика-человека 106. Очевидно, что лишь трое оценщиков-людей в базе 104 данных показано исключительно для лучшего понимания. Должно быть понятно, что в базе 104 данных могут храниться указания на больше или меньше, чем трех оценщиков-людей.

[054] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии база 104 данных управляется и/или администрируется поставщиком краудсорсинговых услуг, таким как компания ООО Яндекс (ул. Льва Толстого, 16, Москва, 119021, Россия). В других не имеющих ограничительного характера вариантах осуществления настоящей технологии база 104 данных может управляться другой организацией.

[055] На реализацию базы 104 данных не накладывается каких-либо особых ограничений. База 104 данных может быть реализована с использованием любой подходящей известной технологии, обеспечивающей функции, описанные в этом документе. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, база 104 данных содержит интерфейс связи (не показан) или имеет доступ к нему для двухсторонней связи с сетью 110 связи.

[056] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии в качестве сети 110 связи может использоваться сеть Интернет. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии сеть 110 связи может быть реализована иначе, например, в виде любой глобальной сети связи, локальной сети связи, частной сети связи и т.п.

[057] Предполагается, что база 104 данных может по меньшей мере частично храниться на сервере 102 и/или по меньшей мере частично управляться сервером 102. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, база 104 данных содержит связанную с личностью оценщика-человека 106 информацию, достаточную для того, чтобы обратившийся к базе 104 данных элемент, такой как сервер 102, мог назначить и отправить одну или несколько задач для выполнения одним или несколькими оценщиками из множества оценщиков-людей.

[058] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, в базе 104 данных хранятся данные 112 оценщика, связанные с каждым оценщиком из множества оценщиков-людей. Например, данные 112 оценщика связаны с оценщиком-человеком 106.

[059] На фиг. 2 приведена структура данных 112 оценщика (связанных с оценщиком-человеком 106). Как описано выше, данные 112 оценщика хранятся в базе 104 данных. В некоторых не имеющих ограничительного характера вариантах осуществления изобретения данные 112 оценщика могут храниться в запоминающем устройстве, отличном от базы 104 данных.

[060] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, данные 112 оценщика содержат указание на оценку 202 качества и данные 204 профиля, связанные с оценщиком-человеком 106.

[061] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии оценка 202 качества оценщика-человека 106 указывает на надежность результата задачи, выполненной оценщиком-человеком 106 (или, иными словами, на коэффициент ошибок оценщика-человека 106 для конкретной задачи).

[062] В контексте настоящей технологии термин «задача» соответствует задаче определенного вида, выполняемой оценщиком-человеком. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии задачи схожего вида могут входить в состав одной группы задач. Например, группа может соответствовать задачам перевода, которые включают в себя задачи первого вида, соответствующие переводу текста с первого языка (например, с французского) на второй язык (например, на английский), задачи второго вида, соответствующие переводу текста с первого языка (например, с французского) на третий язык (например, на немецкий), и т.д. В другом примере группа может соответствовать задачам распознавания изображений, включая задачи первого вида, соответствующие классификации (т.е. категоризации или классификации изображений), задачи второго вида, соответствующие тегированию (т.е. назначению одного или нескольких тегов для изображения), задачи третьего вида, соответствующие обнаружению (т.е. определению объекта на изображении), и т.д.

[063] На способ определения оценки 202 качества оценщика-человека 106 не накладывается каких-либо ограничений. Например, оценка 202 качества может быть определена на основе первого множества «задач-ловушек», выполненных оценщиком-человеком 106. Здесь термин «задача-ловушка» означает задачу, правильный результат которой известен до ее отправки для выполнения оценщику-человеку 106, который тестируется или оценивается для определения связанной с ним оценки качества, причем правильный результат не сообщается оцениваемому оценщику-человеку 106.

[064] Результаты первого множества задач-ловушек, предоставленные оценщиком-человеком 106, регистрируются в базе 104 данных в подходящей структуре данных (не показана). Доля в процентах правильно выполненных оценщиком-человеком 106 задач из первого множества задач-ловушек рассчитывается и регистрируется в базе 104 данных в виде оценки 202 качества оценщика-человека 106. Например, если оценщик-человек 106 выполняет 20 задач-ловушек и предоставляет результат, совпадающий с соответствующим известным правильным результатом для 18 из 20 тестовых задач, то оценка 202 качества этого оценщика-человека 106 определяется следующим образом: 18/20 = 0,9 (90%). Очевидно, что оценка качества может быть выражена в различных форматах.

[065] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии оценка 202 качества может быть определена на основе статистического анализа ранее выполненных задач и проверок, выполненных одним или несколькими доверенными оценщиками-людьми.

[066] Например, оценка 202 качества указывает на то, что оценщик-человек 106 ранее выполнил задачи трех видов (обозначенные как A-1, A-2 и B-1) с соответствующим коэффициентом успешности. Иными словами, оценщик-человек 106 выполнил задачи двух видов из одной группы (обозначена как A) и задачу одного вида из другой группы (обозначена как B).

[067] Например, оценщик-человек 106 имеет: (а) коэффициент успешности 90% для задач вида A-1, (б) коэффициент успешности 95% для задач вида A-2 и (в) коэффициент успешности 60% для задач вида B-1.

[068] Должно быть понятно, что оценка 202 качества приведена для иллюстрации, а не для ограничения объема охраны настоящей технологии. Предполагается, что оценка 202 качества может включать в себя больше или меньше групп, видов и соответствующих коэффициентов успешности.

[069] Данные 112 оценщика также содержат данные 204 профиля, указывающие на профиль оценщика-человека 106, который, например, может содержать возраст, пол, уровень образования, опыт работы, количество выполненных зада и их виды и т.д. На сбор данных 204 профиля не накладывается каких-либо ограничений. Например, они могут отправляться оценщиком-человеком 106 при создании учетной записи и/или собираться после выполнения или выбора цифровых задач оценщиком-человеком 106.

[070] Сервер 102 (см. фиг. 1) может быть реализован в виде традиционного компьютерного сервера. В не имеющем ограничительного характера примере осуществления настоящей технологии сервер 102 может быть реализован в виде сервера Dell™ PowerEdge™, работающего под управлением операционной системы Microsoft™ Windows Server™. Очевидно, что сервер 102 может быть реализован с использованием любых других подходящих аппаратных средств и/или прикладного программного обеспечения и/или встроенного программного обеспечения либо их сочетания. В представленном не имеющем ограничительного характера варианте осуществления настоящей технологии сервер 102 реализован в виде одного сервера. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии функции сервера 102 могут быть распределены между несколькими серверами.

[071] Сервер 102 содержит интерфейс связи (не показан) для обеспечения двухсторонней связи с сетью 110 связи по линии 108 связи.

[072] На реализацию линии 108 связи не накладывается особых ограничений, она зависит от реализации сервера 102. Например, линия 108 связи может быть реализована в виде беспроводной линии связи (такой как канал сети связи 3G, канал сети связи 4G, Wireless Fidelity или сокращенно WiFi^®, Bluetooth^® и т.п.) или проводной линии связи (такой как соединение на основе Ethernet).

[073] Должно быть понятно, что варианты реализации сервера 102, линии 108 связи и сети 110 связи приведены лишь для иллюстрации. Специалисту в данной области должны быть понятны и другие конкретные детали реализации сервера 102, линии 108 связи и сети 110 связи. Представленные выше примеры никак не ограничивают объем настоящей технологии.

[074] Сервер 102 содержит память 114 сервера, содержащую один или несколько носителей информации и в общем случае хранящую компьютерные программные команды, исполняемые процессором 116 сервера. Например, память 114 сервера может быть реализована в виде машиночитаемого физического носителя информации, включая ПЗУ и/или ОЗУ. Память 114 сервера также может включать в себя одно или несколько устройств постоянного хранения, таких как жесткие диски (HDD), твердотельные накопители (SSD) и карты флэш-памяти.

[075] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 может эксплуатироваться организацией, управляющей базой 104 данных. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 может эксплуатироваться организацией, отличной от той, что управляет базой 104 данных.

[076] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 способен выполнять краудсорсинговое приложение 118. Например, краудсорсинговое приложение 118 может быть реализовано в виде краудсорсинговой платформы, такой как Yandex.Toloka™ либо другой проприетарной или коммерчески доступной краудсорсинговой платформы.

[077] Сервер 102 связан с базой 121 данных задач. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии база 121 данных задач может быть связана с сервером 102 через сеть 110 связи. Несмотря на то, что база 121 данных задач схематично показана здесь в виде одного элемента, предполагается, что база 121 данных задач может быть распределенной.

[078] База 121 данных задач наполняется множеством задач для человеческого интеллекта (HIT) (далее «цифровые задачи» или просто «задачи», отдельно не обозначены).

[079] На наполнение базы 121 данных задач множеством задач не накладывается каких-либо ограничений. В общем случае один или несколько владельцев заданий (не показаны) могут отправлять краудсорсинговому приложению 118 одну или несколько задач для выполнения (которые затем сохраняются в базе 121 задач). В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии один или несколько владельцев заданий могут связывать с задачей зависящие от нее данные, такие как группа, вид, сложность задачи, интервал времени выполнения, стоимость выполнения задачи, количество оценщиков-людей, которые должны выполнять одну цифровую задачу, и/или бюджет, который должен быть выделен всему пулу оценщиков-людей, выполняющих задачу или несколько задач.

[080] Должно быть понятно, что база 121 данных задач содержит невыполненные цифровые задачи, подобные виду или группе задач, ранее уже выполненных оценщиком-человеком 106, и невыполненные цифровые задачи, связанные с одной или несколькими видами или группами задач, которые ранее не выполнялись оценщиком-человеком 106 или неизвестны ему.

[081] Как описано выше, база 121 данных задач содержит цифровые задачи, которые при отправке оценщику-человеку содержат инструкции для выполнения задачи. Оценщик-человек может ввести свой ответ (с использованием метки, текста и т.п.), используемый владельцем задания в качестве обучающих данных для обучения алгоритма машинного обучения.

[082] Сервер 102 способен осуществлять связь с различными элементами через сеть 110 связи. В качестве примеров таких элементов можно привести базу 104 данных, электронное устройство 120, связанное с каждым оценщиком из множества оценщиков-людей, и другие устройства, которые могут быть подключены к сети 110 связи. Соответственно, краудсорсинговое приложение 118 способно получать задачу из базы 121 данных задач и отправлять задачу электронному устройству 120, используемому оценщиком-человеком 106 для выполнения задачи, например, через сеть 110 связи. Аналогично, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 102 способен получать набор ответов для задачи, выполненной оценщиком-человеком 106.

[083] Предполагается, что для этой цели может быть использована любая подходящая технология и/или среда передачи файлов. Также предполагается, что задача может быть отправлена оценщику-человеку 106 с использованием любого другого подходящего способа, такого как обеспечение удаленного доступа к задаче для оценщика-человека 106.

[084] В по меньшей мере некоторых вариантах осуществления настоящей технологии предполагается, что цифровые задачи из базы 121 данных задач могут содержать задачи разметки данных, т.е. ответ, предоставленный оценщиком-человеком, может использоваться для определения метки для соответствующего набора данных и/или может представлять собой такую метку. Например, если цифровая задача представляет собой задачу вида классификации изображений, т.е. требует от оценщика-человека предоставление ответа, указывающего на соответствие изображения (набора данных) изображению собаки или кота, то ответ, предоставленный оценщиком-человеком, может представлять собой метку для изображения, указывающую на наличие животного на изображении.

[085] Такие задачи разметки данных могут использоваться для обучения и проверки алгоритмов машинного обучения. Например, алгоритм машинного обучения может представлять собой любой алгоритм из множества традиционных алгоритмов машинного обучения, включая алгоритмы глубокого обучения, нейронные сети или коннекционные системы других видов, деревья решений, леса решений, байесовские сети или другие алгоритмы машинного обучения, которые известны в настоящее время или будут разработаны в будущем и используют обучающие наборы данных (например, алгоритмы обучения с учителем или с частичным привлечением учителя), но не ограничиваясь ими.

[086] В представленном выше примере изображение (набор данных) и ответ (метка) могут образовывать обучающий набор для обучения алгоритма классификации изображений. Алгоритм классификации изображений может быть обучен с привлечением учителя путем использования большого количества обучающих наборов, сформированных подобно тому, как описано выше. Например, в по меньшей мере одном варианте осуществления настоящей технологии алгоритм классификации изображений может соответствовать конкретному классу алгоритмов машинного обучения, такому как сверточная нейронная сеть.

[087] Несмотря на то, что система 100 описана со ссылкой на различные элементы аппаратных средств (такие как база 104 данных, сервер 102, база 121 данных задач и т.д.), изображенные по отдельности, должно быть понятно, что это сделано для лучшего понимания. Предполагается, что различные функции, выполняемые этими различными элементами, могут быть реализованы одним элементом или распределены между различными элементами.

Краудсорсинговое приложение 118

[088] На фиг. 3 представлена схема процесса, выполняемого краудсорсинговым приложением 118 с целью формирования ранжированного списка цифровых задач для предоставления оценщику-человеку.

[089] Краудсорсинговое приложение 118 выполняет процедуру 302 приема, процедуру 304 определения параметров и процедуру 306 ранжирования или иным способом осуществляет доступ к ним.

[090] В контексте настоящего описания термин «процедура» подразумевает подмножество компьютерных программных команд краудсорсингового приложения 118, исполняемых процессором 116 сервера (процедура 302 приема, процедура 304 определения параметров и процедура 306 ранжирования). Должно быть однозначно понятно, что процедура 302 приема, процедура 304 определения параметров и процедура 306 ранжирования показаны по отдельности для удобства объяснения процессов, выполняемых краудсорсинговым приложением 118. Предполагается, что некоторые или все процедуры из числа процедуры 302 приема, процедуры 304 определения параметров и процедуры 306 ранжирования могут быть реализованы в виде одной или нескольких комбинированных процедур.

[091] Для лучшего понимания настоящей технологии ниже описаны функции и обрабатываемые или сохраняемые данные и/или информация процедуры 302 приема, процедуры 304 определения параметров и процедуры 306 ранжирования.

[092] Функции процедуры 302 приема, процедуры 304 определения параметров и процедуры 306 ранжирования описаны ниже преимущественно применительно к этапу использования краудсорсингового приложения 118.

Процедура 302 приема

[093] Процедура 302 приема способна получать пакет 308 данных от оценщика-человека 106. Пакет 308 данных содержит запрос оценщика-человека 106 относительно списка цифровых задач. Например, запрос может соответствовать указанию на доступность оценщика-человека 106 для выполнения одной или нескольких цифровых задач. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии пакет 308 данных может быть отправлен электронным устройством 120, связанным с оценщиком-человеком 106, обращающимся к краудсорсинговому приложению 118.

[094] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии в ответ на получение пакета 308 данных процедура 302 приема способна получать данные 112 оценщика, связанные с оценщиком-человеком 106, из базы 104 данных.

[095] Затем в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 302 приема способна формировать векторное представление данных 112 оценщика. На хорошо известное в данной области техники формирование векторного представления не накладывается каких-либо ограничений. Достаточно сказать, что процедура 302 приема может выполнять алгоритм MLA (не показан), способный формировать вектор оценщика для данных 112 оценщика. С учетом того, что данные 112 оценщика содержат оценку 202 качества и данные 204 профиля, вектор оценщика может быть сформирован на основе оценки 202 качества и данных 204 профиля или с использованием либо оценки 202 качества, либо данных 204 профиля.

[096] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 302 приема дополнительно способна обращаться к базе 121 данных задач и выбирать одну или несколько цифровых задач на основе вектора оценщика. В частности, процедура 302 приема способна формировать соответствующий вектор признаков задачи для каждой содержащейся в базе 121 данных задач цифровой задачи на основе их соответствующих зависящих от задачи данных. Затем процедура 302 приема способна рассчитывать соответствующую близость вектора оценщика к одному или нескольким векторам признаков задач.

[097] Расчет близости вектора оценщика к одному или нескольким векторам признаков задач известен в данной области техники и здесь подробно не описан. Достаточно сказать, что вектор оценщика и один или несколько векторов признаков задач отображаются в многомерное векторное пространство и затем рассчитывается расстояние для одного или нескольких векторов признаков задач (такое как угловое расстояние между векторами).

[098] Например, если предположить, что база 121 данных задач содержит 100 цифровых задач, то процедура 302 приема способна формировать вектор признаков задачи для каждой задачи из числа 100 цифровых задач и рассчитывать близость каждого вектора из числа 100 векторов признаков задач к вектору оценщика.

[099] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 302 приема дополнительно способна выбирать N цифровых задач, наиболее близких к вектору оценщика. Должно быть понятно, что число N может соответствовать любому числу, заданному администратором краудсорсингового приложения 118. Очевидно предположение, что вместо выбора N цифровых задач процедура 302 приема может выбирать одну или несколько цифровых задач, значение близости векторов для которых больше заранее заданного порога.

[0100] После выбора множества цифровых задач на основе близости векторов процедура 302 приема способна отправлять процедуре 304 определения параметров пакет 310 данных, содержащий множество цифровых задач.

[0101] Очевидно, что, несмотря на то, что согласно представленному выше описанию вектор оценщика и соответствующие векторы признаков задач сформированы процедурой 302 приема, объем изобретения этим не ограничивается. Предполагается, что вектор оценщика и соответствующие векторы признаков задач могут быть заранее сформированы и сохранены в базе 104 данных и в базе 121 данных задач, соответственно.

[0102] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии предполагается, что вместо выбора N цифровых задач процедура 302 приема способна в ответ на получение пакета 308 данных обращаться к базе 121 данных задач и получать множество цифровых задач. Например, процедура 302 приема способна получать множество цифровых задач, соответствующих последним цифровым задачам, отправленным одним или несколькими владельцами заданий и не выполненным заранее заданным количеством оценщиков-людей. Затем в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 302 приема может выбирать N цифровых задач, соответствующих наибольшей близости к вектору оценщика.

Процедура 304 определения параметров

[0103] На фиг. 4 представлена структура множества цифровых задач из пакета 310 данных. Пакет 310 данных содержит по меньшей мере первую цифровую задачу 402, вторую цифровую задачу 404, третью цифровую задачу 406, четвертую цифровую задачу 408 и пятую цифровую задачу 410. Первая цифровая задача 402, вторая цифровая задача 404, третья цифровая задача 406, четвертая цифровая задача 408 и пятая цифровая задача 410 образуют множество 412 цифровых задач. Очевидно, что несмотря на то, что множество 412 цифровых задач содержит лишь пять цифровых задач, объем изобретения этим не ограничивается и данное множество может содержать больше или меньше пяти цифровых задач.

[0104] В ответ на получение пакета 310 данных процедура 304 определения параметров способна определять (а) соответствующий параметр взаимодействий оценщика и (б) соответствующий параметр точности выполнения.

[0105] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр взаимодействий оценщика указывает на значение вероятности выбора цифровой задачи оценщиком-человеком (таким как оценщик-человек 106). В частности, процедура 304 определения параметров способна определять соответствующий параметр взаимодействий оценщика для каждой цифровой задачи из множества 412 цифровых задач (для первой цифровой задачи 402, для второй цифровой задачи 404, для третьей цифровой задачи 406, для четвертой цифровой задачи 408 и для пятой цифровой задачи 410).

[0106] На определение параметра взаимодействий оценщика не накладывается каких-либо ограничений. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 304 определения параметров способна выполнять алгоритм машинного обучения (не показан), обученный выполнять для цифровой задачи следующие действия: получение вектора оценщика и вектора признаков задачи, связанного с цифровой задачей, и вывод параметра взаимодействий оценщика, связанного с цифровой задачей. На обучение алгоритма машинного обучения не накладывается каких-либо ограничений. Например, оно может основываться на наборе векторов обучающих оценщиков, наборе векторов признаков обучающих задач и наборе обучающих меток, указывающих на наличие прошлого взаимодействия между обучающими оценщиками (представленными соответствующими векторами обучающего оценщика) и каждой обучающей цифровой задачей (представленной соответствующим вектором признаков обучающей задачи).

[0107] Пусть процедура 304 определения параметров определила набор 414 параметров взаимодействий оценщика, содержащий соответствующий параметр взаимодействий оценщика, связанный с каждой задачей из числа первой цифровой задачи 402, второй цифровой задачи 404, третьей цифровой задачи 406, четвертой цифровой задачи 408 и пятой цифровой задачи 410 из множества 412 цифровых задач (без отдельных числовых обозначений).

[0108] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр точности выполнения указывает на значение вероятности выполнения оценщиком-человеком (таким как оценщик-человек 106) каждой цифровой задачи из множества 412 цифровых задач (первой цифровой задачи 402, второй цифровой задачи 404, третьей цифровой задачи 406, четвертой цифровой задачи 408 и пятой цифровой задачи 410).

[0109] Ниже описано определение параметра точности выполнения. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 304 определения параметров способна формировать параметр точности выполнения для цифровой задачи на основе по меньшей мере одного из следующих наборов признаков:

- признак точности, соответствующий оценке 202 качества оценщика-человека 106;

- признак времени выполнения, соответствующий прогнозируемому периоду времени выполнения цифровой задачи оценщиком-человеком 106 и определяемый путем анализа времени, которое ранее требовалось оценщику-человеку 106 для выполнения цифровых задач, подобных по виду данной задаче или входящих в состав той же группы, что и данная задача; и

- признак выполнения, соответствующий доле выполненных цифровых задач подобного вида (или входящих в состав той же группы, что и данная задача) среди всех цифровых задач, ранее выбранных оценщиком-человеком 106.

[0110] На определение параметра точности выполнения не накладывается каких-либо ограничений. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 304 определения параметров способна выполнять алгоритм машинного обучения (не показан), обученный выполнять для цифровой задачи следующие действия: получение вектора оценщика, вектора признаков задачи, связанного с цифровой задачей, и набора признаков и вывод параметра точности выполнения, связанного с цифровой задачей. На обучение алгоритма машинного обучения не накладывается каких-либо ограничений. Например, оно может основываться на наборе векторов обучающих оценщиков, наборе векторов признаков обучающих задач, соответствующем наборе признаков и наборе обучающих меток, указывающих на правильное выполнение обучающими оценщиками (представленными соответствующими векторами обучающего оценщика) каждой обучающей цифровой задачи (представленной соответствующим вектором признаков обучающей задачи).

[0111] Пусть процедура 304 определения параметров определила набор 416 параметров точности выполнения, содержащий соответствующий параметр точности выполнения, связанный с каждой задачей из числа первой цифровой задачи 402, второй цифровой задачи 404, третьей цифровой задачи 406, четвертой цифровой задачи 408 и пятой цифровой задачи 410 из множества 412 цифровых задач (без отдельных числовых обозначений).

[0112] Сформировав параметр взаимодействий оценщика и параметр точности выполнения для каждой цифровой задачи из множества 412 цифровых задач, процедура 304 определения параметров способна отправлять пакет 312 данных процедуре 306 ранжирования (см. фиг. 3). Пакет 312 данных содержит множество 412 цифровых задач в сочетании с набором 414 параметров взаимодействий оценщика и набором 416 параметров точности выполнения.

Процедура 306 ранжирования

[0113] После получения пакета 312 данных процедура 306 ранжирования может выполнять алгоритм 314 MLA, способный формировать ранжированный список множества 412 цифровых задач.

[0114] Описанию алгоритма 314 MLA предшествует краткое описание процесса известного в данной области техники ранжирующего алгоритма 502 MLA, ранее использованного при ранжировании множества 412 цифровых задач (схема представлена на фиг. 5). Следует отметить, что описание алгоритма 314 MLA представлено для иллюстрации технического эффекта от использования алгоритма 502 MLA, реализованного согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии.

Ранжирующий алгоритм 502 MLA

[0115] Ранжирующий алгоритм 502 MLA способен ранжировать множество 412 цифровых задач для максимизации параметра 504 удовлетворенности платформой пользователя. В контексте настоящей технологии параметр 504 удовлетворенности платформой пользователя указывает на прогнозируемую вероятность удовлетворенности оценщика-человека 106 ранжированными позициями множества 412 цифровых задач в традиционном ранжированном списке 506, сформированном ранжирующим алгоритмом 502 MLA.

[0116] На определение параметра 504 удовлетворенности платформой пользователя не накладывается каких-либо ограничений. Например, процедура 306 ранжирования может анализировать данные 204 профиля (см. фиг. 2) оценщика-человека 106 и получать один или несколько параметров профиля, таких как предпочтительная группа, виды цифровых задач, сложность, желательный доход, предполагаемое время выполнения и т.п. Процесс максимизации параметра 504 удовлетворенности платформой пользователя при формировании традиционного ранжированного списка 506 хорошо известен в данной области техники и поэтому подробно здесь не описан. Достаточно сказать, что затем ранжирующий алгоритм 502 MLA способен ранжировать множество 412 цифровых задач так, чтобы относительная ранжированная позиция цифровых задач отражала степень соответствия одному или нескольким параметрам профиля.

[0117] Как хорошо известно в данной области техники, эффективность ранжирующего алгоритма 502 MLA (или любого другого алгоритма MLA для такой задачи) может быть повышена путем оценивания эффективности выходных ранжированных списков с использованием различных способов, таких как дисконтированный кумулятивный показатель (DCG, Discounted Cumulative Gain) и т.п.

[0118] Например, пусть ранжирующий алгоритм 502 MLA сформировал традиционный ранжирующий список 506 множества 412 цифровых задач, в котором самую высокую позицию занимает первая цифровая задача 402, после которой последовательно расположены вторая цифровая задача 404, третья цифровая задача 406, четвертая цифровая задача 408 и пятая цифровая задача 410. Иными словами, ранжирующий алгоритм 502 MLA определил, что во множестве 412 цифровых задач первая цифровая задача 402 в наибольшей степени соответствует одному или нескольким параметрам профиля оценщика-человека 106, а пятая цифровая задача 410 в наименьшей степени соответствует одному или нескольким параметрам профиля оценщика-человека 106.

[0119] Исходя из вышеизложенного, должно быть понятно, что ранжированный порядок множества 412 цифровых задач в традиционном ранжированном списке 506 основан на наибольшем значении параметра 504 удовлетворенности платформой пользователя, в отличие от другого ранжированного порядка множества 412 цифровых задач.

[0120] Очевидно, что ранжирующий алгоритм 502 MLA максимизирует параметр 504 удовлетворенности платформой пользователя для наилучшей настройки ранжирования множества 412 цифровых задач, чтобы оценщик 106 с большей вероятностью выбирал одну из цифровых задач с наибольшим рангом и не выполнял дополнительных поисков. Должно быть понятно, что за счет максимизации параметра 504 удовлетворенности платформой пользователя ранжирующий алгоритм 502 MLA удовлетворяет потребности оценщика-человека 106 путем отображения цифровых задач, о которых известно, что они представляют интерес для оценщика-человека 106, на более высокой позиции по сравнению с неизвестными или не представляющими интерес для оценщика-человека 106 цифровыми задачами.

[0121] Иными словами, если ранжированное множество 412 цифровых задач упорядочено иначе, то значение параметра 504 удовлетворенности платформой пользователя будет меньше значения параметра 504 удовлетворенности платформой пользователя для традиционного ранжированного списка 506. Например, если первая цифровая задача 402 в результате ранжирования была размещена на более низкой позиции, то значение параметра 504 удовлетворенности платформой пользователя будет меньше значения параметра 504 удовлетворенности платформой пользователя для традиционного ранжированного списка 506. Таким образом, можно сказать, что путем максимизации параметра 504 удовлетворенности платформой пользователя ранжирующий алгоритм 502 MLA минимизирует неудовлетворенность оценщика-человека 106 традиционным ранжированным списком 506.

[0122] Выше описан ранжирующий алгоритм 502 MLA. Ниже приведено описание процесса алгоритма 314 MLA, используемого при ранжировании множества 412 цифровых задач (схема представлена на фиг. 6).

Алгоритм MLA 314

[0123] В ответ на получение пакета 312 данных процедура 306 ранжирования способна формировать параметр 604 качества ранжирования. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр 604 качества ранжирования представляет собой один из входных признаков алгоритма 314 MLA для формирования ранжированного списка 606 множества 412 цифровых задач. На реализацию алгоритма 314 MLA не накладывается каких-либо ограничений. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 314 MLA включает в себя ансамбль деревьев решений CatBoost.

[0124] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр 604 качества ранжирования содержит параметр 504 удовлетворенности платформой пользователя и параметр 602 удовлетворенности платформой владельца задания.

[0125] В контексте настоящей технологии параметр 602 удовлетворенности платформой владельца задания указывает на вероятность правильного выполнения оценщиком-человеком 106 цифровых задач из множества 412 цифровых задач в ранжированной позиции списка 606. Например, цифровой задаче, которая, вероятно, будет правильно выполнена оценщиком-человеком 106, назначается больший параметр 602 удовлетворенности платформой владельца задания и, таким образом, она размещается выше в ранжированном списке 606. На определение параметра 602 удовлетворенности платформой владельца задания не накладывается каких-либо ограничений. Он может быть определен на основе набора 416 параметров точности выполнения (подробно описано ниже). На реализацию параметра 602 удовлетворенности платформой владельца задания не накладывается каких-либо ограничений. Например, он может соответствовать числовому значению из диапазона (например, между 0 и 1) или значению в процентах и т.п.

[0126] Должно быть понятно, что параметр 602 удовлетворенности платформой владельца задания отличается от параметра 504 удовлетворенности платформой пользователя, поскольку он не учитывает один или несколько параметров профиля оценщика-человека 106, а представляет собой вероятность правильного выполнения цифровой задачи оценщиком-человеком 106.

[0127] Проще говоря, параметр 504 удовлетворенности платформой пользователя представляет собой приблизительный параметр для удовлетворенности оценщика-человека 106 позициями цифровых задач в ранжированном списке 606, а параметр 602 удовлетворенности платформой владельца задания представляет собой приблизительный параметр для удовлетворенности владельца (или владельцев) цифровой задачи (или задач) позицией (или позициями) цифровой задачи (или задач) в ранжированном списке 606 для достижения количества оценщиков-людей, необходимого для выполнения задачи. Это основано на предположении разработчиков настоящей технологии о том, что даже если элемент цифрового контента не соответствует одному или нескольким параметрам профиля оценщика-человека 106 (поскольку элемент цифрового контента представляет собой цифровую задачу нового вида или новой группы, с которой не сталкивался оценщик-человек 106), может быть желательно учитывать вероятность правильного выполнения оценщиком-человеком 106 цифровой задачи для удовлетворения потребностей владельца цифровой задачи (т.е. потребности в правильных ответах).

[0128] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр 604 качества ранжирования вводится в алгоритм 314 MLA для формирования ранжированного списка 606.

[0129] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 314 MLA способен формировать ранжированный список 606 путем оптимизации параметра 604 качества ранжирования. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии оптимизация параметра 604 качества ранжирования включает в себя максимизацию значения параметра 602 удовлетворенности платформой владельца задания при сохранении значения параметра 504 удовлетворенности платформой пользователя на уровне заранее заданного целевого значения.

[0130] Иными словами, в отличие от ранжирующего алгоритма 502 MLA, способного формировать традиционный ранжированный список 506 путем максимизации параметра 504 удовлетворенности платформой пользователя, алгоритм 314 MLA способен максимизировать параметр 602 удовлетворенности платформой владельца задания с учетом конкретного порога, определенного с использованием заранее заданного целевого значения параметра 504 удовлетворенности платформой пользователя. На порядок определения заранее заданного целевого значения параметра 504 удовлетворенности платформой пользователя не накладывается каких-либо ограничений. Он может быть определен эмпирически.

[0131] Например, на фиг. 7 представлено четыре предварительных ранжированных списка, сформированных алгоритмом 314 MLA в ответ на получение пакета 312 данных, а именно: традиционный ранжированный список 506, первый предварительный список 702, второй предварительный список 704 и третий предварительный список 706. Несмотря на то, что здесь представлены лишь четыре предварительных ранжированных списка, это сделано для лучшего понимания и должно быть понятно, что алгоритм 314 MLA способен формировать большее или меньшее количество предварительных ранжированных списков.

[0132] Для объяснения можно предположить, что пятая цифровая задача 410 представляет собой цифровую задачу такого вида или группы, что она не соответствует одному или нескольким параметрам профиля оценщика-человека 106, но на основе параметра точности выполнения, связанного с пятой цифровой задачей 410, определено, что она с наибольшей вероятностью будет правильно выполнена оценщиком-человеком 106.

[0133] Каждый список из числа традиционного ранжированного списка 506, первого предварительного списка 702, второго предварительного списка 704 и третьего предварительного списка 706 связан с соответствующим параметром 504 удовлетворенности платформой пользователя и параметром 602 удовлетворенности платформой владельца задания.

[0134] Согласно фиг. 7, (а) максимальный параметр 504 удовлетворенности платформой пользователя соответствует традиционному ранжированному списку 506 и (б) параметр 504 удовлетворенности платформой пользователя уменьшается по мере повышения ранга пятой цифровой задачи 410, что показано в следующей таблице.

Таблица 1 Ранжированный список Ранжированная позиция пятой цифровой задачи 410 Параметр 504 удовлетворенности платформой пользователя Параметр 602 удовлетворенности платформой владельца задания 506 5 100% 40% 702 1 60% 100% 704 2 80% 80% 706 3 90% 60%

[0135] Традиционному ранжированному списку 506 соответствуют максимальный параметр 504 удовлетворенности платформой пользователя (100%) и параметр 602 удовлетворенности платформой владельца задания, равный 40%.

[0136] В первом предварительном списке 702 в первой ранжированной позиции расположена пятая цифровая задача 410 (вследствие этого она заменяет первую цифровую задачу 402 в традиционном ранжированном списке 506), за которой следуют первая цифровая задача 402, вторая цифровая задача 404 и т.д. Параметр 504 удовлетворенности платформой пользователя равен 60%, а параметр 602 удовлетворенности платформой владельца задания равен 100%, т.е. первому предварительному списку 702 соответствует максимальный параметр 602 удовлетворенности платформой владельца задания.

[0137] Во втором предварительном списке 704 в первой ранжированной позиции расположена первая цифровая задача 402, за которой следуют пятая цифровая задача 410, вторая цифровая задача 404 и т.д. Параметр 504 удовлетворенности платформой пользователя соответствует 80%, а параметр 602 удовлетворенности платформой владельца задания соответствует 80%.

[0138] Как описано выше, алгоритм 314 MLA способен максимизировать параметр 602 удовлетворенности платформой владельца задания с учетом заранее заданного целевого значения параметра 504 удовлетворенности платформой пользователя. Если предположить, что заранее заданное целевое значение соответствует 80%, то алгоритм 314 MLA способен выбрать предварительный список с наибольшим значением параметра 602 удовлетворенности платформой владельца задания, для которого параметр 504 удовлетворенности платформой пользователя превышает 80%. Таким образом, алгоритм 314 MLA способен выбрать второй предварительный список 704 в качестве ранжированного списка 606.

[0139] Иными словами, алгоритм 314 MLA способен формировать ранжированный список 606, обеспечивающий максимизацию параметра 602 удовлетворенности платформой владельца задания и минимизацию неудовлетворенности оценщика-человека 106 (проиллюстрировано уменьшением параметра 504 удовлетворенности платформой пользователя) до заранее заданного целевого значения.

[0140] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр 604 качества ранжирования определяется согласно следующему выражению:

, (Выражение 1)

где

(Выражение 2)

соответствует параметру 504 удовлетворенности платформой пользователя;

(Выражение 3)

соответствует параметру 602 удовлетворенности платформой владельца задания;

- соответствующий параметр взаимодействий оценщика для цифровой задачи ;

- соответствующий параметр точности выполнения, связанный с оценщиком , выполняющим цифровую задачу ;

i - текущая позиция цифровой задачи в списке цифровых задач;

r - запрос, используемый для формирования цифровой задачи;

c - одна из функций обучения алгоритма MLA;

α и β - весовые коэффициенты, которые могут быть определены эмпирически.

[0141] Как описано выше, параметр 504 удовлетворенности платформой пользователя соответствует совокупности соответствующих параметров взаимодействий оценщика для множества 412 цифровых задач, а параметр 602 удовлетворенности платформой владельца задания соответствует совокупности параметров точности выполнения для множества 412 цифровых задач.

[0142] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии оптимизация включает в себя применение алгоритма стохастического ранжирования и алгоритма ранжирования йети (Yeti).

[0143] Сформировав ранжированный список 606, процедура 306 ранжирования способна отправлять пакет 316 данных, содержащий ранжированный список 606, электронному устройству 120, связанному с оценщиком-человеком 106 (см. фиг. 3).

[0144] Описанные выше архитектура и примеры позволяют выполнять компьютерный способ распределения задач в компьютерной краудсорсинговой среде. На фиг. 8 представлена блок-схема способа 800, выполняемого согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии. Способ 800 может выполняться сервером 102.

[0145] Шаг 802: получение процессором запроса относительно списка цифровых задач от оценщика.

[0146] Способ 800 начинается с шага 802, на котором процедура 302 приема может получать пакет 308 данных от оценщика-человека 106. Пакет 308 данных содержит запрос оценщика-человека 106 относительно списка цифровых задач.

[0147] Например, запрос может соответствовать указанию на доступность оценщика-человека 106 для выполнения одной или нескольких цифровых задач. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии пакет 308 данных может быть отправлен электронным устройством 120, связанным с оценщиком-человеком 106, который обращается к краудсорсинговому приложению 118.

[0148] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии после получения пакета 308 данных процедура 302 приема может получать данные 112 оценщика, связанные с оценщиком-человеком 106, из базы 104 данных.

[0149] Затем в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 302 приема может формировать векторное представление данных 112 оценщика. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 302 приема дополнительно может обращаться к базе 121 данных задач и выбирать одну или несколько цифровых задач на основе вектора оценщика. В частности, процедура 302 приема может формировать соответствующий вектор признаков задачи для каждой содержащейся в базе 121 данных задач цифровой задачи на основе их соответствующих зависящих от задачи данных. Затем процедура 302 приема может рассчитывать соответствующую близость вектора оценщика к одному или нескольким векторам признаков задач.

[0150] Шаг 804: получение множества цифровых задач, доступных для выполнения на краудсорсинговой цифровой платформе, в ответ на запрос.

[0151] На шаге 804 процедура 302 приема может получать множество 412 цифровых задач, соответствующих наибольшей близости к вектору оценщика. После выбора множества 412 цифровых задач на основе близости векторов процедура 302 приема может отправлять процедуре 304 определения параметров пакет 310 данных, содержащий множество 412 цифровых задач.

[0152] Шаг 806: определение для цифровой задачи из множества цифровых задач соответствующего параметра взаимодействий оценщика, указывающего на значение вероятности выбора оценщиком цифровой задачи и определяемого на основе по меньшей мере одного связанного с оценщиком параметра профиля.

[0153] На шаге 806 в ответ на получение пакета 310 данных процедура 304 определения параметров может определять соответствующий параметр взаимодействий оценщика для каждой цифровой задачи из множества 412 цифровых задач.

[0154] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр взаимодействий оценщика указывает на значение вероятности выбора цифровой задачи оценщиком-человеком (таким как оценщик-человек 106). В частности, процедура 304 определения параметров может определять соответствующий параметр взаимодействий оценщика для каждой цифровой задачи из множества 412 цифровых задач (для первой цифровой задачи 402, для второй цифровой задачи 404, для третьей цифровой задачи 406, для четвертой цифровой задачи 408 и для пятой цифровой задачи 410).

[0155] На определение параметра взаимодействий оценщика не накладывается каких-либо ограничений. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 304 определения параметров может выполнять алгоритм машинного обучения (не показан), обученный выполнять для цифровой задачи следующие действия: получение вектора оценщика и вектора признаков задачи, связанного с цифровой задачей, и выдачу параметра взаимодействий оценщика, связанного с цифровой задачей. На обучение алгоритма машинного обучения не накладывается каких-либо ограничений. Например, оно может основываться на наборе векторов обучающих оценщиков, наборе векторов признаков обучающих задач и наборе обучающих меток, указывающих на наличие взаимодействия между обучающими оценщиками (представлены соответствующими векторами обучающего оценщика) и каждой обучающей цифровой задачей (представлена соответствующим вектором признаков обучающей задачи).

[0156] Шаг 808: получение процессором для цифровой задачи соответствующего параметра точности выполнения, указывающего на значение вероятности правильного выполнения цифровой задачи оценщиком.

[0157] На шаге 808 процедура приема может определять параметр точности выполнения для каждой цифровой задачи из множества 412 цифровых задач.

[0158] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр точности выполнения указывает на значение вероятности выполнения оценщиком-человеком (таким как оценщик-человек 106) каждой цифровой задачи из множества 412 цифровых задач (первой цифровой задачи 402, второй цифровой задачи 404, третьей цифровой задачи 406, четвертой цифровой задачи 408 и пятой цифровой задачи 410).

[0159] Шаг 810: ранжирование алгоритмом MLA множества цифровых задач с целью формирования ранжированного множества цифровых задач, при этом ранжирование выполняется путем оптимизации параметра качества ранжирования, определяемого на основе сочетания (а) параметра удовлетворенности платформой пользователя, указывающего на удовлетворенность оценщика, исходя из позиции цифровой задачи в ранжированном списке множества цифровых задач, при этом параметр удовлетворенности платформой пользователя определяется на основе соответствующего параметра взаимодействий оценщика для множества цифровых задач и больший параметр удовлетворенности платформой пользователя указывает на соответствие позиции цифровой задачи в списке по меньшей мере одному параметру профиля оценщика, и (б) параметра удовлетворенности платформой владельца задания, указывающего на вероятность правильного выполнения цифровой задачи оценщиком, при этом параметр удовлетворенности платформой владельца задания определяется на основе соответствующего параметра точности выполнения для множества цифровых задач и больший параметр удовлетворенности платформой владельца задания указывает на правильное выполнение оценщиком цифровой задачи, расположенной выше в ранжированном списке. Оптимизация включает в себя максимизацию значения параметра удовлетворенности платформой владельца задания при условии сохранения значения параметра удовлетворенности платформой пользователя на заранее заданном уровне.

[0160] На шаге 810 в ответ на получение пакета 312 данных процедура 306 ранжирования может формировать параметр 604 качества ранжирования. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр 604 качества ранжирования представляет собой один из входных признаков алгоритма 314 MLA для формирования ранжированного списка 606 множества 412 цифровых задач.

[0161] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр 604 качества ранжирования содержит параметр 504 удовлетворенности платформой пользователя и параметр 602 удовлетворенности платформой владельца задания.

[0162] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр 504 удовлетворенности платформой пользователя представляет собой приблизительный параметр для удовлетворенности оценщика-человека 106 позициями цифровых задач в ранжированном списке 606, а параметр 602 удовлетворенности платформой владельца задания представляет собой приблизительный параметр для удовлетворенности владельца (или владельцев) цифровой задачи (или задач) позицией (или позициями) цифровой задачи (или задач) в ранжированном списке 606 для достижения количества оценщиков-людей, необходимого для выполнения задачи.

[0163] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 314 MLA способен формировать ранжированный список 606 путем оптимизации параметра 604 качества ранжирования. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии оптимизация параметра 604 качества ранжирования включает в себя максимизацию значения параметра 602 удовлетворенности платформой владельца задания при условии сохранения значения параметра 504 удовлетворенности платформой пользователя на уровне заранее заданного целевого значения. Иными словами, алгоритм 314 MLA способен формировать ранжированный список 606, обеспечивающий максимизацию параметра 602 удовлетворенности платформой владельца задания и минимизацию неудовлетворенности оценщика-человека 106 (проиллюстрировано уменьшением параметра 504 удовлетворенности платформой пользователя) до заранее заданного целевого значения.

[0164] Шаг 812: выбор процессором из ранжированного множества цифровых задач N цифровых задач с наибольшим рангом для их включения в список цифровых задач.

[0165] На шаге 812, сформировав ранжированный список 606, процедура 306 ранжирования может отправлять пакет 316 данных, содержащий ранжированный список 606, электронному устройству 120, связанному с оценщиком-человеком 106. Пакет 316 данных содержит ранжированный список 606.

[0166] Следует отметить, что представленные выше примеры соответствуют лишь одному способу выполнения оптимизации параметра качества ранжирования. В по меньшей мере некоторых альтернативных не имеющих ограничительного характера вариантах осуществления настоящей технологии способ оптимизации параметра качества ранжирования может основываться на оптимизации (а) параметра взаимодействий оценщика и (б) параметра смещенной задачи.

[0167] В этих вариантах осуществления настоящей технологии параметр взаимодействий оценщика указывает на прогнозируемую на основе набора навыков оценщика вероятность взаимодействия оценщика и цифровой задачи, при этом чем больше значение параметра взаимодействий оценщика для цифровой задачи, тем выше цифровая задача располагается в списке цифровых задач. В по меньшей мере некоторых вариантах осуществления настоящей технологии параметр взаимодействий оценщика зависит от выполнения оценщиком задачи и, в более широком смысле, от способности платформы выполнять цифровые задачи с участием требуемого количества оценщиков.

[0168] Параметр смещенной задачи указывает на негативное влияние перемещения другой цифровой задачи с более высокой позиции на более низкую позицию на удовлетворенность пользователя краудсорсинговой цифровой платформы для оценщика. Параметр смещенной задачи зависит от уменьшения удовлетворенности пользователя для конкретных оценщиков в ответ на размещение конкретных задач в более высокой позиции и, следовательно, на перемещение других цифровых задач с более высоких ранжированных позиций.

[0169] Таким образом, согласно альтернативным вариантам осуществления настоящей технологии, может выполняться способ 900.

[0170] Шаг 902: получение процессором запроса относительно списка цифровых задач от оценщика.

[0171] Способ 900 начинается с шага 902, на котором процедура 302 приема может получать пакет 308 данных от оценщика-человека 106. Пакет 308 данных содержит запрос оценщика-человека 106 относительно списка цифровых задач.

[0172] Шаг 904: получение множества цифровых задач, доступных для выполнения на краудсорсинговой цифровой платформе.

[0173] На шаге 904 процедура 302 приема в ответ на получение пакета 308 данных может обращаться к базе 121 данных задач и получать множество цифровых задач. Например, процедура 302 приема может получать множество цифровых задач, соответствующих последним цифровым задачам, отправленным одним или несколькими владельцами заданий и не выполненным заранее заданным количеством оценщиков-людей.

[0174] Шаг 906: формирование алгоритмом MLA подмножества цифровых задач путем формирования алгоритмом MLA вектора признаков оценщика, формирования алгоритмом MLA соответствующего вектора признаков для каждой задачи из множества цифровых задач и выбора N задач из множества цифровых задач в качестве подмножества цифровых задач на основе близости вектора признаков оценщика к соответствующим векторам признаков множества цифровых задач.

[0175] На шаге 906 процедура 302 приема может получать данные 112 оценщика, связанные с оценщиком-человеком 106, из базы 104 данных.

[0176] Затем в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 302 приема может формировать векторное представление данных 112 оценщика. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 302 приема дополнительно может обращаться к базе 121 данных задач и выбирать одну или несколько цифровых задач на основе вектора оценщика. В частности, процедура 302 приема может формировать соответствующий вектор признаков задачи для каждой содержащейся в базе 121 данных задач цифровой задачи на основе их соответствующих зависящих от задачи данных. Затем процедура 302 приема может рассчитывать соответствующую близость вектора оценщика к одному или нескольким векторам признаков задач.

[0177] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процедура 302 приема дополнительно может выбирать N цифровых задач, соответствующих наибольшей близости к вектору оценщика. Должно быть понятно, что число N может соответствовать любому числу, заданному администратором краудсорсингового приложения 118. Очевидно предположение, что вместо выбора N цифровых задач процедура 302 приема может выбирать одну или несколько цифровых задач, значение близости векторов для которых больше заранее заданного порога.

[0178] После выбора множества 412 цифровых задач на основе близости векторов процедура 302 приема может отправлять процедуре 304 определения параметров пакет 310 данных, содержащий множество 412 цифровых задач.

[0179] Шаг 908: ранжирование алгоритмом MLA подмножества цифровых задач в виде списка цифровых задач путем оптимизации параметра качества ранжирования, определяемого на основе сочетания (а) параметра взаимодействий оценщика, указывающего на прогнозируемую на основе набора навыков оценщика вероятность взаимодействия оценщика и цифровой задачи, при этом чем больше значение параметра взаимодействий оценщика для цифровой задачи, тем выше цифровая задача располагается в списке цифровых задач, и (б) параметра смещенной задачи, указывающего на негативное влияние перемещения другой цифровой задачи с более высокой позиции на более низкую позицию на удовлетворенность пользователя краудсорсинговой цифровой платформы для оценщика.

[0180] На шаге 908 в ответ на получение пакета 310 данных процедура 304 определения параметров может определять соответствующий параметр взаимодействий оценщика для каждой цифровой задачи из множества 412 цифровых задач.

[0181] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр взаимодействий оценщика указывает на значение вероятности выбора цифровой задачи оценщиком-человеком (таким как оценщик-человек 106). В частности, процедура 304 определения параметров может определять соответствующий параметр взаимодействий оценщика для каждой цифровой задачи из множества 412 цифровых задач (для первой цифровой задачи 402, для второй цифровой задачи 404, для третьей цифровой задачи 406, для четвертой цифровой задачи 408 и для пятой цифровой задачи 410).

[0182] Процедура 304 определения параметров дополнительно может определять параметр смещенной задачи для каждой цифровой задачи из множества 412 цифровых задач.

[0183] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр смещенной задачи указывает на негативное влияние перемещения другой цифровой задачи с более высокой позиции на более низкую позицию на удовлетворенность пользователя краудсорсинговой цифровой платформы для оценщика. Параметр смещенной задачи зависит от уменьшения удовлетворенности пользователя для конкретных оценщиков в ответ на размещение конкретных задач в более высокой позиции и, следовательно, на перемещение других цифровых задач с более высоких ранжированных позиций.

[0184] Затем процедура 306 ранжирования может формировать параметр 604 качества ранжирования. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр 604 качества ранжирования представляет собой один из входных признаков алгоритма 314 MLA для формирования ранжированного списка 606 множества 412 цифровых задач.

[0185] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии параметр 604 качества ранжирования содержит параметр взаимодействий оценщика и параметр смещенной задачи.

[0186] Шаг 910: оптимизация, включающая в себя максимизацию значения параметра взаимодействий оценщика при сохранении значения параметра смещенной задачи на заранее заданном уровне.

[0187] На шаге 910 алгоритм 314 MLA может формировать ранжированный список 606 путем оптимизации параметра 604 качества ранжирования. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии оптимизация параметра 604 качества ранжирования включает в себя максимизацию значения параметра взаимодействий оценщика при условии сохранения значения параметра смещенной задачи на уровне заранее заданного целевого значения. Иными словами, алгоритм 314 MLA может формировать ранжированный список 606, обеспечивающий максимизацию параметра взаимодействий оценщика и минимизацию неудовлетворенности оценщика-человека 106 (проиллюстрировано уменьшением параметра смещенной задачи) до заранее заданного целевого значения.

[0188] Специалистам в данной области техники должно быть понятно, что по меньшей некоторые варианты осуществления настоящей технологии преследуют цель расширения арсенала технических решений определенной технической проблемы, присущей традиционной краудсорсинговой технологии, а именно, назначения задачи неизвестного вида оценщику-человеку.

[0189] Очевидно, что не все упомянутые в данном описании технические эффекты должны присутствовать в каждом варианте осуществления настоящей технологии. Например, возможны варианты осуществления настоящей технологии, когда пользователь не получает некоторые из этих технических эффектов, или другие варианты реализации, когда пользователь получает другие технические эффекты либо когда технический эффект отсутствует.

[0190] Для специалиста в данной области могут быть очевидными возможные изменения и усовершенствования описанных выше вариантов осуществления настоящей технологии. Предшествующее описание приведено лишь в иллюстративных целях, а не для ограничения объема изобретения. Объем охраны настоящей технологии определяется исключительно объемом приложенной формулы изобретения.

[0191] Несмотря на то, что описанные выше варианты реализации приведены со ссылкой на конкретные шаги, выполняемые в определенном порядке, должно быть понятно, что эти шаги могут быть объединены, разделены, или что их порядок может быть изменен без выхода за границы настоящей технологии. Соответственно, порядок и группировка шагов не носят ограничительного характера для настоящей технологии.

Группа изобретений относится к способам и системам для формирования списка цифровых задач для оценщика, в частности списка цифровых задач для оценщика, являющегося частью краудсорсинговой цифровой платформы. Реализованы способ и система для формирования списка цифровых задач для оценщика. Способ включает в себя получение запроса относительно списка цифровых задач от оценщика, получение множества доступных цифровых задач, определение параметра взаимодействий оценщика, получение параметра точности выполнения, ранжирование множества цифровых задач с целью формирования ранжированного множества цифровых задач. При этом ранжирование выполняется путем оптимизации параметра качества ранжирования, определяемого на основе сочетания параметра удовлетворенности платформой пользователя и параметра удовлетворенности платформой владельца задания, и выбор из ранжированного множества цифровых задач N цифровых задач с наибольшим рангом для их включения в список цифровых задач. Технический результат - расширение арсенала технических решений определенной технической проблемы, присущей традиционной краудсорсинговой технологии, а именно назначения задачи неизвестного вида оценщику-человеку. 3 н. и 10 з.п. ф-лы, 9 ил.

1. Компьютерный способ обучения модели искусственного интеллекта (ИИ) с помощью машинного обучения на обучающих данных, формируемых в результате распределения и выполнения цифровых задач на связанных с пользователями электронных устройствах (120) в краудсорсинговой цифровой платформе, причем способ выполняется сервером, содержащим процессор, и включает в себя:

- получение, от электронного устройства, запроса списка цифровых задач;

- получение множества цифровых задач, доступных для выполнения на краудсорсинговой цифровой платформе, в ответ на упомянутый запрос;

- определение для цифровой задачи из множества цифровых задач параметра взаимодействий, связанного с электронным устройством, указывающего значение вероятности выбора на электронном устройстве данной цифровой задачи и определяемого на основе по меньшей мере одного связанного с электронным устройством параметра профиля;

- определение процессором для цифровой задачи параметра точности выполнения, указывающего значение вероятности правильного выполнения цифровой задачи на электронном устройстве;

- ранжирование алгоритмом MLA множества цифровых задач с целью формирования ранжированного множества цифровых задач для упомянутого электронного устройства, при этом ранжирование выполняется путем оптимизации параметра качества ранжирования, определяемого на основе определенных параметров взаимодействий и точности выполнения;

- выбор процессором из ранжированного множества цифровых задач N цифровых задач с наибольшим рангом для их включения в список цифровых задач, подлежащих выполнению на упомянутом электронном устройстве;

- передачу списка цифровых задач, подлежащих выполнению на упомянутом электронном устройстве, на упомянутое электронное устройство;

- прием от упомянутого электронного устройства результатов выполнения на упомянутом электронном устройстве цифровых задач из списка цифровых задач;

- формирование обучающих данных из результатов выполнения цифровых задач; и

- обучение модели ИИ на основе сформированных обучающих данных.

2. Способ по п. 1, отличающийся тем, что получение множества доступных для выполнения цифровых задач дополнительно включает в себя определение подмножества цифровых задач, включая:

- формирование алгоритмом MLA вектора признаков, связанного с электронным устройством;

- формирование алгоритмом MLA вектора признаков для каждой цифровой задачи из множества цифровых задач; и

- выбор процессором N цифровых задач из множества цифровых задач для их включения в подмножество цифровых задач на основе близости вектора признаков, связанного с электронным устройством, к векторам признаков множества цифровых задач.

3. Способ по п. 1, отличающийся тем, что параметр взаимодействий, связанный с электронным устройством, указывает на то, была бы определенная цифровая задача выбрана для выполнения на этом электронном устройстве или нет.

4. Способ по п. 1, отличающийся тем, что параметр точности выполнения определяется с использованием контрольных цифровых задач.

5. Способ по п. 1, отличающийся тем, что параметр точности выполнения определяется на основе степени соответствия ответа, предоставленного на электронном устройстве для цифровой задачи, другим ответам, предоставленным для этой цифровой задачи на других электронных устройствах в упомянутой краудсорсинговой цифровой платформе.

6. Способ по п. 1, отличающийся тем, что цифровая задача представляет собой задачу заранее заданного вида, а параметр точности выполнения указывает значение вероятности правильного выполнения цифровой задачи этого заранее заданного вида на электронном устройстве.

7. Способ по п. 1, отличающийся тем, что параметр качества ранжирования определяется согласно выражению:

где – соответствующий параметр взаимодействий, связанный с электронным устройством , для цифровой задачи ;

– соответствующий параметр точности выполнения, связанный с электронным устройством , выполняющим цифровую задачу ;

i – текущая позиция цифровой задачи в списке цифровых задач;

r – запрос, используемый для формирования цифровой задачи;

c – одна из функций обучения алгоритма MLA; и

α и β – весовые коэффициенты.

8. Способ по п. 1, отличающийся тем, что оптимизация включает в себя применение алгоритма стохастического ранжирования и/или алгоритма ранжирования йети.

9. Способ по п. 1, отличающийся тем, что алгоритм MLA включает в себя ансамбль деревьев решений CatBoost.

10. Компьютерный способ обучения модели искусственного интеллекта (ИИ) с помощью машинного обучения на обучающих данных, формируемых в результате распределения и выполнения цифровых задач на связанных с пользователями электронных устройствах (120), участвующих в краудсорсинговой цифровой платформе, причем способ выполняется сервером, исполняющим краудсорсинговую цифровую платформу и содержащим процессор, и включает в себя:

- получение, от электронного устройства, запроса списка цифровых задач, подлежащих выполнению на электронном устройстве;

- получение множества цифровых задач, доступных для выполнения на краудсорсинговой цифровой платформе, в ответ на получение упомянутого запроса;

- формирование алгоритмом MLA подмножества цифровых задач путем:

- формирования алгоритмом MLA вектора признаков, связанного с электронным устройством;

- формирования алгоритмом MLA вектора признаков для каждой задачи из множества цифровых задач; и

- выбора N задач из множества цифровых задач в качестве подмножества цифровых задач на основе близости вектора признаков, связанного с электронным устройством, к векторам признаков множества цифровых задач;

- ранжирование алгоритмом MLA подмножества цифровых задач в список цифровых задач для упомянутого электронного устройства путем оптимизации параметра качества ранжирования, определяемого на основе параметра взаимодействий, связанного с электронным устройством, указывающего значение вероятности выбора на электронном устройстве определенной цифровой задачи, и параметра точности выполнения, указывающего значение вероятности правильного выполнения цифровой задачи на электронном устройстве;

- передачу полученного ранжированием списка цифровых задач на упомянутое электронное устройство;

- прием от упомянутого электронного устройства результатов выполнения упомянутым электронным устройством цифровых задач из списка цифровых задач; и

- обучение модели ИИ на обучающих данных, в качестве которых по меньшей мере частично используют принятые результаты выполнения на упомянутом электронном устройстве цифровых задач из списка цифровых задач.

11. Способ по п. 10, отличающийся тем, что оптимизация включает в себя применение алгоритма стохастического ранжирования и/или алгоритма ранжирования йети.

12. Способ по п. 10, отличающийся тем, что алгоритм MLA включает в себя ансамбль деревьев решений CatBoost.

13. Система обучения модели искусственного интеллекта (ИИ) с помощью машинного обучения на обучающих данных, формируемых в результате распределения и выполнения цифровых задач на связанных с пользователями электронных устройствах (120), участвующих в краудсорсинговой цифровой платформе, причем система содержит запоминающее устройство, хранящее исполняемые компьютером инструкции, которые при исполнении компьютером побуждают компьютер к выполнению способа по любому из пп. 1-9 или по любому из пп. 10-12.