ОБЛАСТЬ ТЕХНИКИ
[001] Настоящая технология относится к способам и системам генерирования обучающих данных для алгоритма машинного обучения (MLA); и, в частности, к способам и системам для идентификации наборов оценщиков для выполнения задач по генерированию обучающих данных.
УРОВЕНЬ ТЕХНИКИ
[002] Алгоритмы машинного обучения (MLA) требуют большого объема размеченных данных для обучения. Платформы краудсорсинга, такие как платформа краудсорсинга Amazon Mechanical Turk™, позволяют получать наборы размеченных обучающих данных путем назначения различных цифровых задач оценщикам, которым предоставлены инструкции для выполнения этих цифровых задач. Таким образом, платформы краудсорсинга могут позволить получить наборы размеченных обучающих данных за более короткое время, а также с меньшими затратами по сравнению с тем, что необходимо для использования ограниченного числа экспертов.
[003] Однако известно, что оценщики, в отличие от экспертов, как правило, не являются профессионалами и различаются по уровню знаний, и поэтому получаемые метки являются более зашумленными, чем таковые, получаемые от экспертов.
[004] В краудсорсинговой среде имеется несколько известных источников шума. Например, наиболее изученный вид шума появляется в задачах мультиклассификации, в которых оценщики могут путать классы. Другим типом шума являются автоматизированные боты или спамеры, которые выполняют как можно больше задач, чтобы увеличить доход, что может снизить общее качество результирующего набора обучающих данных.
[005] Один из подходов к оценке качества оценщиков, выполняющих задачи и, таким образом, к контролю уровня шума в результирующем наборе обучающих данных, основан на контрольных задачах (также называемых здесь «медовыми горшочками»), то есть определенной доле задач с предопределенными ожидаемыми результатами. Таким образом, исходя из того, как данный оценщик выполняет контрольные задачи, для данного оценщика может быть определен соответствующий ему показатель качества. Кроме того, на основе определенных таким образом показателей качества оценщиков предоставленные таким образом метки могут быть скорректированы, например путем назначения весов, указывающих соответствующие показатели качества оценщиков, что может позволить снизить уровень шума в результирующем наборе обучающих данных.
[006] Однако такой подход может быть неэффективным, поскольку некоторые из оценщиков (также называемых здесь «мошенниками») могут научиться распознавать контрольные задачи и, таким образом, могут добросовестно выполнять их, выполняя другие задачи с меньшей самоотдачей или точностью. Кроме того, генерирование и предоставление новых контрольных задач для обнаружения мошеннической разметки может привести к значительному увеличению стоимости результирующего набора размеченных данных.
[007] Были предложены определенные подходы предшествующего уровня техники для решения указанной выше технической задачи повышения качества обучающих данных для MLA.
[008] Публикация патентной заявки США №: 2012/265,573-A1 от 18 октября 2012 г., назначенной CrowdFlower Inc и озаглавленной «Dynamic Optimization for Data Quality Control in Crowd Sourcing Tasks to Crowd Labor» раскрывает системы и способы динамической оптимизации для контроля качества данных в задачах краудсорсинга для совместной работы. В одном аспекте варианты осуществления данного раскрытия включают в себя способ, который может быть реализован в системе, для динамического отслеживания результатов, принимаемых от работников для задачи, распределенной для оценки через платформу распределения заданий, с постепенным назначением дополнительных работников для этой задачи с использованием результатов и постоянным отслеживанием дополнительных результатов, чтобы при необходимости назначать любых дополнительных работников для соответствия метрике качества для данной задачи.
[009] В статье «Enhancing Reliability Using Peer Consistency Evaluation in Human Computation», написанной Shih Wen Huang и Wai Tat Fu и опубликованной в Proceedings of the ACM Conference on Computer Supported Cooperative Work, CSCW, раскрываются человеческие вычислительные системы, использующие оценку равноправной согласованности. Было показано, что простое сообщение работникам о том, что их ответы будут использоваться в качестве будущих стандартов оценки, может значительно повысить рабочие характеристики работников. Результаты имеют важное значение для способов, которые повышают надежность человеческих вычислительных систем.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0010] Целью настоящей технологии является устранение по меньшей мере одного затруднения, имеющегося в предшествующем уровне техники.
[0011] Разработчики настоящей технологии осознали, что общее качество результирующего набора обучающих данных может быть повышено, если оценщики, выполняющие задачи по их генерированию, могут быть идентифицированы не только на основе соответствующих им показателей качества, определенных на основе контрольных задач, но также и на основе того, как результаты, обеспеченные ими для предыдущих задач, соответствовали результатам, обеспеченным большинством.
[0012] Таким образом, разработчики настоящей технологии разработали метрику согласованности (также называемую здесь «голосом большинства»), указывающую апостериорную вероятность того, что большинство из множества оценщиков обеспечило правильный результат при выполнении определенной задачи. Таким образом, максимизируя метрику согласованности, способы и системы, описанные в данном документе, могут позволить определить по меньшей мере один набор оценщиков для выполнения следующей задачи, где каждый оценщик имеет оптимальный соответствующий показатель качества для правильного выполнения этой следующей задачи с предопределенным уровнем достоверности.
[0013] Таким образом, неограничивающие варианты осуществления настоящей технологии могут позволить, с одной стороны, повысить общее качество результирующего набора обучающих данных без необходимости обеспечения дополнительных контрольных задач для проверки точности обеспеченных результатов; и, с другой стороны, идентифицировать и в дальнейшем заблокировать оценщиков, обеспечивающих противоречивые (несогласованные) результаты, например, систематически обеспечивающих мошеннические результаты. Таким образом, могут быть достигнуты более высокое качество результирующего набора обучающих данных и повышенная эффективность его генерирования.
[0014] Более конкретно, в соответствии с первым широким аспектом настоящей технологии обеспечивается реализуемый компьютером способ генерирования обучающих данных для исполняемого компьютером алгоритма машинного обучения (MLA). Обучающие данные основаны на цифровых задачах, доступных множеству оценщиков. Способ является исполняемым на сервере. Сервер включает в себя процессор, коммуникативно соединяемый по сети связи с электронными устройствами, связанными с упомянутым множеством оценщиков. Способ содержит: извлечение процессором данных об оценщиках, связанных с множеством оценщиков, причем данные об оценщиках включают в себя данные, указывающие прошлые рабочие характеристики соответствующих оценщиков из множества оценщиков, выполняющих определенную цифровую задачу, в том числе данные, указывающие множество результатов в ответ на предоставление данной цифровой задачи множеству оценщиков; на основе множества результатов, определение по меньшей мере одного набора оценщиков из множества оценщиков таким образом, чтобы метрика согласованности среди результатов, обеспеченных упомянутым по меньшей мере одним набором оценщиков для данной цифровой задачи, была максимальной, метрика согласованности указывает апостериорную вероятность того, что результат, обеспеченный большинством из множества оценщиков, является правильным результатом для данной цифровой задачи; передачу процессором следующей цифровой задачи на соответствующие электронные устройства, связанные с упомянутым по меньшей мере одним набором оценщиков; и генерирование обучающих данных для исполняемого компьютером MLA, включающих в себя данные, сгенерированные в ответ на выполнение соответствующими оценщиками из упомянутого по меньшей мере одного набора оценщиков упомянутой следующей цифровой задачи.
[0015] В некоторых реализациях способа метрику согласованности определяют в соответствии с уравнением:
где zMV является результатом из множества результатов, обеспеченным большинством из упомянутого по меньшей мере одного набора оценщиков,
ywi является определенным одним из множества результатов, обеспеченным соответствующим оценщиком из упомянутого по меньшей мере одного набора оценщиков,
qwi = 
, является взвешенным соответствующим показателем качества соответствующего одного из упомянутого по меньшей мере одного набора оценщиков, и
δ является бинарной функцией, возвращающей 1, если ее аргумент истинен, иначе возвращающей 0.
[0016] В некоторых реализациях способа определенный один из множества оценщиков имеет предопределенный показатель качества, и определение по меньшей мере одного набора оценщиков выполняют таким образом, чтобы определенный один из по меньшей мере одного набора оценщиков имел соответствующий предопределенный показатель качества в пределах предопределенного диапазона показателей качества.
[0017] В некоторых реализациях способа определение упомянутого по меньшей мере одного набора оценщиков выполняют для типа следующей цифровой задачи, причем типом является один из набора предопределенных типов.
[0018] В некоторых реализациях способа тип следующей задачи связан с предопределенным диапазоном показателей качества.
[0019] В некоторых реализациях способа соответствующий предопределенный показатель качества был определен на основе точности выполнения определенным одним из упомянутого по меньшей мере одного набора оценщиков контрольной цифровой задачи.
[0020] В некоторых реализациях способа определение упомянутого по меньшей мере одного набора оценщиков из множества оценщиков инициируется приемом сервером следующей цифровой задачи.
[0021] В некоторых реализациях способа способ дополнительно содержит определение по меньшей мере другого одного набора оценщиков для передачи на их соответствующие электронные устройства другой следующей задачи, отличной от упомянутой следующей задачи.
[0022] В некоторых реализациях способа упомянутый по меньшей мере один набор оценщиков и упомянутый по меньшей мере другой один набор оценщиков перекрываются по меньшей мере частично.
[0023] В некоторых реализациях способа упомянутый по меньшей мере один набор оценщиков и упомянутый по меньшей мере другой один набор оценщиков являются взаимоисключающими.
[0024] В соответствии со вторым широким аспектом настоящей технологии предусмотрен исполняемый компьютером способ определения качества обучающих данных, сгенерированных для обучения исполняемого компьютером алгоритма машинного обучения (MLA). Обучающие данные основаны на цифровых задачах, доступных множеству оценщиков. Способ является исполняемым на сервере, включающем в себя процессор. Способ включает в себя: извлечение процессором определенного набора данных собственно обучающих данных, причем упомянутый набор данных включает в себя: множество результатов в ответ на предоставление определенной цифровой задачи множеству оценщиков; на основе множества результатов, определение метрики согласованности среди результатов упомянутого множества, метрика согласованности указывает число оценщиков из упомянутого множества, обеспечивших одинаковый результат для данной цифровой задачи; в ответ на то, что метрика согласованности больше или равна предопределенному порогу согласованности, использование упомянутого набора данных для обучения исполняемого компьютером MLA; и в ответ на то, что метрика согласованности ниже упомянутого предопределенного порога согласованности, удаление упомянутого набора данных из обучающих данных.
[0025] В некоторых реализациях способа метрику согласованности определяют в соответствии с уравнением:
где zMV является результатом из множества результатов, обеспеченным большинством из множества оценщиков,
ywi является определенным одним из множества результатов, обеспеченным соответствующим одним из множества оценщиков,
qwi = , является взвешенным соответствующим показателем качества соответствующего одного из множества оценщиков, и
δ является бинарной функцией, возвращающей 1, если ее аргумент истинен, иначе возвращающей 0.
[0026] В соответствии с третьим широким аспектом настоящей технологии предоставлена система генерирования обучающих данных для исполняемого компьютером алгоритма машинного обучения (MLA). Обучающие данные основаны на цифровых задачах, доступных множеству оценщиков. Система включает в себя сервер, дополнительно включающий в себя: процессор, коммуникативно соединяемый через сеть связи с электронными устройствами, связанными с множеством оценщиков, и долговременный считываемый компьютером носитель, хранящий инструкции. Процессор, при исполнении упомянутых инструкций, выполнен с возможностью: извлечения данных об оценщиках, связанных с множеством оценщиков, причем данные об оценщиках включают в себя данные, указывающие прошлые рабочие характеристики соответствующих оценщиков из множества оценщиков, выполняющих определенную цифровую задачу, в том числе данные, указывающие множество результатов в ответ на предоставление упомянутой цифровой задачи множеству оценщиков; на основе множества результатов, определения по меньшей мере одного набора оценщиков из множества оценщиков таким образом, чтобы метрика согласованности среди результатов, обеспеченных упомянутым по меньшей мере одним набором оценщиков для данной цифровой задачи, была максимальной, метрика согласованности указывает апостериорную вероятность того, что результат, обеспеченный большинством из множества оценщиков, является правильным результатом для данной цифровой задачи; передачи следующей цифровой задачи на соответствующие электронные устройства, связанные с упомянутым по меньшей мере одним набором оценщиков; и генерирования обучающих данных для исполняемого компьютером MLA, включающих в себя данные, сгенерированные в ответ на выполнение соответствующими оценщиками из упомянутого по меньшей мере одного набора оценщиков упомянутой следующей цифровой задачи.
[0027] В некоторых реализациях системы процессор выполнен с возможностью определения метрики согласованности в соответствии с уравнением:
где zMV является результатом из множества результатов, обеспеченным большинством из упомянутого по меньшей мере одного набора оценщиков,
ywi является определенным одним из множества результатов, обеспеченным соответствующим оценщиком из упомянутого по меньшей мере одного набора оценщиков,
qwi = , является взвешенным соответствующим показателем качества соответствующего одного из упомянутого по меньшей мере одного набора оценщиков, и
δ является бинарной функцией, возвращающей 1, если ее аргумент истинен, иначе возвращающей 0.
[0028] В некоторых реализациях системы определенный один из множества оценщиков имеет предопределенный показатель качества, и процессор выполнен с возможностью определения по меньшей мере одного набора оценщиков таким образом, чтобы определенный один из по меньшей мере одного набора оценщиков имел соответствующий предопределенный показатель качества в пределах предопределенного диапазона показателей качества.
[0029] В некоторых реализациях системы процессор выполнен с возможностью определения упомянутого по меньшей мере одного набора оценщиков для типа следующей цифровой задачи, причем типом является один из набора предопределенных типов.
[0030] В некоторых реализациях системы тип следующей задачи связан с предопределенным диапазоном показателей качества.
[0031] В некоторых реализациях системы процессор выполнен с возможностью определения соответствующего предопределенного показателя качества на основе точности выполнения определенным одним из упомянутого по меньшей мере одного набора оценщиков контрольной цифровой задачи.
[0032] В некоторых реализациях системы процессор выполнен с возможностью определения по меньшей мере одного набора оценщиков из множества оценщиков в ответ на прием следующей цифровой задачи.
[0033] В некоторых реализациях системы процессор дополнительно выполнен с возможностью определения по меньшей мере другого одного набора оценщиков для передачи на их соответствующие электронные устройства другой следующей задачи, отличной от упомянутой следующей задачи, причем упомянутый по меньшей мере один набор оценщиков и упомянутый по меньшей мере другой один набор оценщиков перекрываются по меньшей мере частично.
[0034] В контексте настоящего описания «сервер» представляет собой компьютерную программу, которая работает на надлежащем аппаратном обеспечении и способна принимать запросы (например, от клиентских устройств) по сети и выполнять эти запросы, или вызывать выполнение этих запросов. Аппаратное обеспечение может быть одним физическим компьютером или одной физической компьютерной системой, но ни то, ни другое не является обязательным для настоящей технологии. В настоящем контексте использование выражения «сервер» не предполагает, что каждая задача (например, принятые инструкции или запросы) или какая-либо конкретная задача будут приняты, выполнены или вызваны для выполнения одним и тем же сервером (т.е. тем же самым программным обеспечением и/или аппаратным обеспечением); данное выражение предполагает, что любое количество программных элементов или аппаратных устройств может быть задействовано в приеме/отправке, выполнении или вызове для выполнения любой задачи или запроса, или последствий любой задачи или запроса; и все это программное обеспечение и аппаратное обеспечение может быть одним сервером или многочисленными серверами, причем оба данных случая включены в выражение «по меньшей мере один сервер».
[0035] В контексте настоящего описания «клиентское устройство» представляет собой любое компьютерное аппаратное обеспечение, которое способно выполнять программное обеспечение, подходящее для соответствующей решаемой задачи. Таким образом, некоторые (неограничивающие) примеры клиентских устройств включают в себя персональные компьютеры (настольные ПК, ноутбуки, нетбуки и т.д.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует отметить, что устройству, действующему как клиентское устройство в данном контексте, не запрещается действовать в качестве сервера для других клиентских устройств. Использование выражения «клиентское устройство» не исключает использования многочисленных клиентских устройств при приеме/отправке, выполнении или вызове для выполнения какой-либо задачи или запроса, или последствий любой задачи или запроса, или этапов любого описанного в данном документе способа.
[0036] В контексте настоящего описания «база данных» представляет собой любую структурированную совокупность данных, независимо от ее конкретной структуры, программное обеспечение для администрирования базы данных, или компьютерное аппаратное обеспечение, на котором данные хранятся, реализуются или их делают доступными для использования иным образом. База данных может находиться на том же аппаратном обеспечении, что и процесс, который сохраняет или использует информацию, хранящуюся в базе данных, или она может находиться на отдельном аппаратном обеспечении, например на выделенном сервере или множестве серверов.
[0037] В контексте настоящего описания выражение «информация» включает в себя информацию любого характера или вида, которая способна сохраняться в базе данных любым образом. Таким образом, информация включает в себя, но без ограничения, аудиовизуальные произведения (изображения, фильмы, звуковые записи, презентации и т.д.), данные (данные о расположении, численные данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы, списки слов и т.д.
[0038] В контексте настоящего описания, если специально не указано иное, подразумевается, что термин «компонент» включает в себя программное обеспечение (соответствующее конкретному аппаратному контексту), которое является как необходимым, так и достаточным для реализации конкретной функции (функций), на которую ссылаются.
[0039] В контексте настоящего описания предполагается, что выражение «используемый компьютером носитель хранения информации» включает в себя носители любого характера и вида, в том числе RAM, ROM, диски (CD-ROM, DVD, дискеты, накопители на жестких дисках и т.д.), USB-ключи, твердотельные накопители, ленточные накопители и т.д.
[0040] В контексте настоящего описания слова «первый», «второй», «третий» и т.д. используются в качестве прилагательных только для того, чтобы позволить отличать существительные, которые они модифицируют, друг от друга, а не для описания какой-либо особой взаимосвязи между такими существительными. Таким образом, например, следует понимать, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо конкретного порядка, типа, хронологии, иерархии или ранжирования (например) таких серверов, равно как и их использование (само по себе) не означает, что какой-либо «второй сервер» должен обязательно существовать в любой определенной ситуации. Кроме того, как обсуждается в других контекстах данного документа, ссылка на «первый» элемент и «второй» элемент не исключает того, что эти два элемента фактически являются одним и тем же элементом реального мира. Таким образом, например, в некоторых случаях «первый» сервер и «второй» сервер могут быть одним и тем же программным обеспечением и/или аппаратным обеспечением, в других случаях они могут представлять собой разное программное обеспечение и/или аппаратное обеспечение.
[0041] Каждая из реализаций настоящей технологии обладает по меньшей мере одним из вышеупомянутых аспектов и/или цели, но не обязательно имеет их все. Следует понимать, что некоторые аспекты настоящей технологии, которые возникли в попытке достичь вышеупомянутой цели, могут не удовлетворять этой цели и/или удовлетворять другим целям, которые в данном документе явным образом не описаны.
[0042] Дополнительные и/или альтернативные признаки, аспекты и преимущества реализаций настоящей технологии станут очевидными из нижеследующего описания, сопроводительных чертежей и приложенной формулы изобретения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0043] Для лучшего понимания настоящей технологии, а также других ее аспектов и дополнительных признаков, ссылка приводится на нижеследующее описание, которое должно использоваться в сочетании с сопроводительными чертежами, на которых:
[0044] Фигура 1 иллюстрирует схематичное представление примерной компьютерной системы для реализации некоторых неограничивающих вариантов осуществления систем и/или способов настоящей технологии;
[0045] Фигура 2 иллюстрирует сетевую вычислительную среду, конфигурируемую для генерирования обучающих данных для обучения алгоритма машинного обучения (MLA), в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии;
[0046] Фигура 3 иллюстрирует схематичное представление интерфейса краудсорсингового приложения, выполняемого на сервере, присутствующем в сетевой вычислительной среде, показанной на Фигуре 2, для выполнения примерной цифровой задачи одним из оценщиков в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии;
[0047] Фигура 4 иллюстрирует схематичное представление процесса для идентификации сервером, присутствующим в сетевой вычислительной среде, показанной на Фигуре 2, по меньшей мере одного набора оценщиков в пределах множества оценщиков на основе метрики согласованности в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии;
[0048] Фигура 5 иллюстрирует схематичное представление процесса для определения сервером, присутствующим в сетевой вычислительной среде на Фигуре 2, поднаборов оценщиков в пределах упомянутого по меньшей мере одного набора оценщиков, показанного на Фигуре 4, на основе связанных с ними соответствующими показателями качества в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии;
[0049] Фигура 6 иллюстрирует блок-схему последовательности операций способа генерирования сервером, присутствующим в сетевой вычислительной среде, показанной на Фигуре 2, обучающих данных для обучения MLA в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии; и
[0050] Фигура 7 иллюстрирует блок-схему последовательности операций способа определения сервером, присутствующим в сетевой вычислительной среде, показанной на Фигуре 2, качества обучающих данных для обучения MLA в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии.
ПОДРОБНОЕ ОПИСАНИЕ
[0051] Приведенные в данном документе примеры и условные формулировки призваны главным образом помочь читателю понять принципы настоящей технологии, а не ограничить ее объем такими конкретно приведенными примерами и условиями. Должно быть понятно, что специалисты в данной области смогут разработать различные механизмы, которые, хоть и не описаны в данном документе явным образом, тем не менее воплощают принципы настоящей технологии и включаются в ее суть и объем.
[0052] Кроме того, нижеследующее описание может описывать реализации настоящей технологии в относительно упрощенном виде для целей упрощения понимания. Специалисты в данной области поймут, что различные реализации настоящей технологии могут иметь большую сложность.
[0053] В некоторых случаях также могут быть изложены примеры модификаций настоящей технологии, которые считаются полезными. Это делается лишь для содействия понимаю и, опять же, не для строгого определения объема или очерчивания границ настоящей технологии. Эти модификации не являются исчерпывающим списком, и специалист в данной области может осуществлять другие модификации, все еще оставаясь при этом в рамках объема настоящей технологии. Кроме того, случаи, когда примеры модификаций не приводятся, не следует толковать так, что никакие модификации не могут быть осуществлены и/или что описанное является единственным способом реализации такого элемента настоящей технологии.
[0054] Кроме того, все содержащиеся в данном документе утверждения, в которых указываются принципы, аспекты и реализации настоящей технологии, а также их конкретные примеры, призваны охватить как структурные, так и функциональные эквиваленты, вне зависимости от того, известны ли они в настоящее время или будут ли они разработаны в будущем. Таким образом, например, специалисты в данной области осознают, что любые блок-схемы в данном документе представляют концептуальные виды иллюстративной схемы, воплощающей принципы настоящей технологии. Аналогичным образом, будет понятно, что любые блок-схемы последовательности операций, схемы последовательности операций, схемы изменения состояний, псевдокоды и подобное представляют различные процессы, которые могут быть по сути представлены на считываемых компьютером носителях и исполнены компьютером или процессором вне зависимости от того, показан такой компьютер или процессор явным образом или нет.
[0055] Функции различных элементов, показанных на фигурах, в том числе любого функционального блока, помеченного как «процессор» или «графический процессор», могут быть обеспечены с помощью специального аппаратного обеспечения, а также аппаратного обеспечения, способного исполнять программное обеспечение, в сочетании с надлежащим программным обеспечением. При обеспечении процессором функции могут быть обеспечены одним выделенным процессором, одним совместно используемым процессором и/или множеством отдельных процессоров, некоторые из которых могут быть совместно используемыми. В некоторых вариантах осуществления настоящей технологии процессор может быть процессором общего назначения, таким как центральный процессор (CPU), или процессором, выделенным для конкретной цели, таким как графический процессор (GPU). Кроме того, явное использование термина «процессор» или «контроллер» не должно истолковываться как относящееся исключительно к аппаратному обеспечению, способному исполнять программное обеспечение, и может в неявной форме включать в себя, без ограничений, аппаратное обеспечение цифрового сигнального процессора (DSP), сетевой процессор, интегральную схему специального назначения (ASIC), программируемую пользователем вентильную матрицу (FPGA), постоянную память (ROM) для хранения программного обеспечения, оперативную память (RAM) и/или энергонезависимое хранилище. Другое аппаратное обеспечение, традиционное и/или специализированное, также может быть включено в состав.
[0056] Программные модули, или просто модули, в качестве которых может подразумеваться программное обеспечение, могут быть представлены в настоящем документе как любая комбинация элементов блок-схемы последовательности операций или других элементов, указывающих выполнение этапов процесса и/или текстовое описание. Такие модули могут исполняться аппаратным обеспечением, которое показано явно или неявно.
[0057] Учитывая эти основополагающие особенности, рассмотрим некоторые неограничивающие примеры, чтобы проиллюстрировать различные реализации аспектов настоящей технологии.
Компьютерная система
[0058] Со ссылкой на Фигуру 1 показана компьютерная система 100, подходящая для использования с некоторыми реализациями настоящей технологии. Компьютерная система 100 содержит различные аппаратные компоненты, в том числе один или несколько одноядерных или многоядерных процессоров, совместно представленных процессором 110, графический процессор (GPU) 111, твердотельный накопитель 120, оперативную память 130, интерфейс 140 дисплея и интерфейс 150 ввода/вывода.
[0059] Связь между различными компонентами компьютерной системы 100 может быть обеспечена одной или несколькими внутренними и/или внешними шинами 160 (например, шиной PCI, универсальной последовательной шиной, шиной «Firewire» IEEE 1394, шиной SCSI, шиной Serial-ATA и т.д.), с которой различные компоненты оборудования связаны электронным образом.
[0060] Интерфейс 150 ввода/вывода может быть связан с сенсорным экраном 190 и/или с одной или несколькими внутренними и/или внешними шинами 160. Сенсорный экран 190 может быть частью дисплея. В некоторых неограничивающих вариантах осуществления настоящей технологии сенсорным экраном 190 является дисплей. Сенсорный экран 190 может также упоминаться как экран 190. В вариантах осуществления, проиллюстрированных на Фигуре 1, сенсорный экран 190 содержит воспринимающее касание аппаратное обеспечение 194 (например, чувствительные к давлению ячейки, встроенные в слой дисплея, позволяющие обнаруживать физическое взаимодействие между пользователем и дисплеем) и контроллер 192 сенсорного ввода/вывода, обеспечивающий возможность связи с интерфейсом 140 дисплея и/или одной или более внутренними и/или внешними шинами 160. В некоторых вариантах осуществления интерфейс 150 ввода/вывода может быть подключен к клавиатуре (не показана), мыши (не показана) или трекпаду (не показан), позволяющим пользователю взаимодействовать с компьютерной системой 100 в дополнение к или вместо сенсорного экрана 190.
[0061] Следует отметить, что некоторые компоненты компьютерной системы 100 могут быть опущены в некоторых неограничивающих вариантах осуществления настоящей технологии. Например, сенсорный экран 190 может быть опущен, особенно (но не ограничиваясь этим), когда компьютерная система реализуется как сервер.
[0062] Согласно реализациям настоящей технологии, твердотельный накопитель 120 хранит программные инструкции, подходящие для загрузки в оперативную память 130 и исполнения процессором 110 и/или GPU 111. Например, программные инструкции могут быть частью библиотеки или приложения.
Сетевая вычислительная среда
[0063] Со ссылкой на Фигуру 2 представлено схематичное представление сетевой вычислительной среды 200, подходящей для использования с некоторыми неограничивающими вариантами осуществления систем и/или способов настоящей технологии. Сетевая вычислительная среда 200 содержит сервер 202 и базу 204 данных об оценщиках, коммуникативно связанную с сервером 202 по соответствующей линии связи.
[0064] Согласно некоторым неограничивающим вариантам осуществления настоящей технологии база 204 данных об оценщиках может содержать указание идентификационных данных множества 214 оценщиков (например, людей-оценщиков), доступных для выполнения по меньшей мере одной цифровой задачи (также называемой здесь «задачей для человеческого интеллекта (HIT)», краудсорсинговой задачей или просто задачей) и/или которые выполнили по меньшей мере одну цифровую задачу в прошлом и/или зарегистрировались для выполнения по меньшей мере одной цифровой задачи. Кроме того, в некоторых неограничивающих вариантах осуществления настоящей технологии база 204 данных об оценщиках может также хранить данные об оценщиках, связанные с множеством 214 оценщиков, в том числе, например, но без ограничения, социально-демографические параметры каждого из множества 214 оценщиков; данные, указывающие прошлые рабочие характеристики каждого из множества 214 оценщиков; параметры, указывающие точность выполнения цифровых задач, связанных с каждым из множества 214 оценщиков, такие как соответствующие показатели качества, что будет более подробно описано ниже.
[0065] В некоторых неограничивающих вариантах осуществления настоящей технологии база 204 данных об оценщиках может находиться под контролем и/или управлением поставщика краудсорсинговых услуг, такого как ООО «Яндекс», расположенного по адресу улица Льва Толстого, дом 16, Москва, 119021, Россия. В альтернативных неограничивающих вариантах осуществления настоящей технологии база 204 данных об оценщиках может управляться другим субъектом.
[0066] Реализация базы 204 данных об оценщиках конкретным образом не ограничена и, как таковая, база 204 данных об оценщиках может быть реализована с использованием любой подходящей известной технологии до тех пор, пока функциональные возможности, описанные в этом описании, предусматриваются. Также следует отметить, что в альтернативных неограничивающих вариантах осуществления настоящей технологии база 204 данных об оценщиках может быть связана с сервером 202 через сеть 210 связи.
[0067] Предполагается, что база 204 данных об оценщиках может храниться по меньшей мере частично на сервере 202 и/или управляться по меньшей мере частично сервером 202. В соответствии с неограничивающими вариантами осуществления настоящей технологии, база 204 данных об оценщиках содержит достаточную информацию, связанную с идентификационными данными по меньшей мере некоторых из множества 214 оценщиков, чтобы позволить субъекту, который имеет доступ к базе 204 данных об оценщиках, например серверу 202, назначать и передавать одну или более задач для выполнения одним или более оценщиками.
[0068] В некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть реализован как обычный компьютерный сервер и, таким образом, может содержать некоторые или все компоненты компьютерной системы 100, показанной на Фигуре 1. В неограничивающем примере сервер 202 может быть реализован как сервер Dell™ PowerEdge™, работающий под управлением операционной системы Microsoft™ Windows Server™. Само собой разумеется, сервер 202 может быть реализован в любом другом подходящем аппаратном и/или программном и/или микропрограммном обеспечении или как их комбинация. В проиллюстрированном неограничивающем варианте осуществления настоящей технологии сервер 202 является единственным сервером. В альтернативных неограничивающих вариантах осуществления настоящей технологии функциональные возможности сервера 202 могут быть распределены и могут быть реализованы посредством многочисленных серверов.
[0069] В некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может управляться тем же субъектом, который управляет базой 204 данных об оценщиках. В альтернативных неограничивающих вариантах осуществления настоящей технологии сервер 202 может управляться субъектом, отличным от субъекта, который управляет базой 204 данных об оценщиках.
[0070] В некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью исполнения краудсорсингового приложения 212. Например, краудсорсинговое приложение 212 может быть реализовано как краудсорсинговая платформа, такая как краудсорсинговая платформа Яндекс.Толока™, или другая проприетарная или коммерчески доступная краудсорсинговая платформа.
[0071] С этой целью, согласно некоторым неограничивающим вариантам осуществления настоящего технологии, сервер 202 может быть коммуникативно связан через сеть 210 связи с базой 206 данных задач. В альтернативных неограничивающих вариантах осуществления база 206 данных задач может быть связана с сервером 202 через прямую линию связи. Хотя база 206 данных задач схематично проиллюстрирована здесь как единый объект, предполагается, что база 206 данных задач может быть реализована распределенным образом.
[0072] База 206 данных задач наполнена цифровыми задачами, которые подлежат выполнению по меньшей мере некоторыми из множества 214 оценщиков. То, как база 206 данных задач наполняется задачами, ограничением не является. Вообще говоря, один или несколько инициаторов задач (отдельно не показан) могут предоставлять одну или несколько задач для сохранения в базе 206 данных задач. В некоторых неограничивающих вариантах осуществления настоящей технологии один или несколько инициаторов задач могут задавать тип оценщиков, которым данная задача предназначена, и/или бюджет, который должен быть выделен каждому из множества 214 оценщиков, обеспечивающему результат.
[0073] Например, определенный инициатор задач может предоставить в базу данных 206 задач определенную цифровую задачу 208; а сервер 202 может быть выполнен с возможностью извлечения данной цифровой задачи 208 из базы 206 данных задач и назначения данной цифровой задачи множеству 214 оценщиков. Кроме того, сервер 202 может быть выполнен с возможностью предоставления данной цифровой задачи 208 множеству 214 оценщиков посредством передачи указания данной цифровой задачи 208 через сеть 210 связи на соответствующие электронные устройства (отдельно не помеченные) множества 214 оценщиков.
[0074] Согласно различным неограничивающим вариантам осуществления настоящей технологии соответствующее электронное устройство, связанное с определенным оценщиком 216 из множества 214 оценщиков, может быть устройством, включающим в себя аппаратное обеспечение, на котором выполняется соответствующее программное обеспечение, подходящее для выполнения соответствующей решаемой задачи (например, упомянутой цифровой задачи 208), в том числе, но без ограничения, например одно из персонального компьютера, ноутбука или смартфона. С этой целью соответствующее электронное устройство может включать в себя некоторые или все компоненты компьютерной системы 100, проиллюстрированной на Фигуре 1.
[0075] В некоторых неограничивающих вариантах осуществления настоящей технологии цифровая задача 208, хранящаяся в базе 206 данных задач, может быть задачей классификации. Как можно понять, задача классификации соответствует задаче, в которой определенному одному из множества 214 оценщиков предоставляется фрагмент данных, который подлежит классификации согласно множеству предоставленных вариантов классификации. Со ссылкой на Фигуру 3 схематично показан снимок экрана краудсорсингового интерфейса 300 краудсорсингового приложения 212 для выполнения примерной задачи классификации в соответствии с определенным неограничивающим вариантом осуществления настоящей технологии. Краудсорсинговый интерфейс 300 изображен на Фигуре 3 так, как он может отображаться на экране одного из соответствующих электронных устройств множества 214 оценщиков, в качестве одного примера.
[0076] Краудсорсинговый интерфейс 300 демонстрирует изображение 302 вместе с инструкциями 304 на выбор оценщиком 216 из множества 214 оценщиков одной из по меньшей мере двух соответствующих меток, наилучшим образом соответствующей упомянутому изображению 302: первая метка 306 связана с одним классом (т.е., например, «КОШКА»), а вторая метка 308 связана с другим классом (т.е., например, «СОБАКА»). Таким образом, данный оценщик 216, основываясь на его восприятии, выбирает одну из первой метки 306 и второй метки 308, тем самым назначая упомянутому изображению 302 соответствующий класс. Следует отметить, что предусмотрены другие категории задач классификации, такие как классификация текстовых документов, аудиофайлов, видеофайлов и т.п.
[0077] Следует отметить, что упомянутая цифровая задача 208, хранящаяся в базе 206 данных задач, может иметь тип, отличный от упомянутой задачи классификации, например, укажите параметр релевантности документа поисковому запросу (т.е. задача регрессии) и подобное.
[0078] Кроме того, хотя в примере на Фигуре 3 инструкции 304 обеспечивают двоичный выбор, т.е. выбор из первой метки 306 и второй метки 308, следует четко понимать, что могут использоваться другие форматы инструкций 304, например, шкала от «1» до «5», где «1» соответствует одному классу, а «5» - другому классу; или, например, шкала от «1» до «10», где «1» соответствует одному классу, а «10» соответствует другому классу. В других неограничивающих вариантах осуществления настоящей технологии инструкции 304 могут предоставлять шкалу с множественным выбором, где каждое ее значение связано с разным классом.
[0079] Возвращаясь к Фигуре 2, в некоторых неограничивающих вариантах осуществления настоящей технологии цифровая задача 208 может, таким образом, быть предоставлена определенным инициатором в базу 206 данных задач, например, для генерирования обучающих данных, используемых для обучения алгоритма машинного обучения (MLA), выполняемого сторонним сервером 220, связанным с упомянутым инициатором задач. Само собой разумеется, что сторонний сервер 220 может быть реализован аналогично серверу 220, как описано выше. С этой целью в некоторых неограничивающих вариантах осуществления настоящей технологии определенная цифровая задача 208 может быть одной из множества цифровых задач 207, в том числе, например, сотни, тысячи или даже сотни тысяч цифровых задач классификации, подобных упомянутой цифровой задаче 208, которую сервер 202 может быть выполнен с возможностью предоставлять на исполнение для генерирования набора 218 размеченных обучающих данных для обучения MLA, выполняемого на стороннем сервере 220.
[0080] В некоторых неограничивающих вариантах осуществления настоящей технологии MLA может быть основан на нейронных сетях (NN), сверточных нейронных сетях (CNN), моделях дерева принятия решений, MLA на основе дерева принятия решений с повышенным градиентом, MLA на основе обучения на ассоциативных правилах, MLA на основе глубокого обучения, MLA на основе индуктивного логического программирования, MLA на основе машин опорных векторов, MLA на основе кластеризации, байесовских сетях, MLA на основе обучения с подкреплением, MLA на основе репрезентативного обучения, MLA на основе обучения схожести и метрического обучения, MLA на основе разреженного словарного обучения, MLA на основе генетических алгоритмов и тому подобном, не выходя за рамки настоящей технологии.
[0081] Кроме того, сервер 202 может быть выполнен с возможностью передачи по сети 210 связи набора 218 размеченных обучающих данных на сторонний сервер 220. Таким образом, во время фазы обучения сторонний сервер 220 может быть выполнен с возможностью обучения MLA на основе набора 218 размеченных обучающих данных для обучения его конкретным функциям, которые в дальнейшем могут использоваться во время фазы использования для классификации входных данных, которые могут включать в себя, в зависимости от множества цифровых задач, без ограничения, изображения, аудиофайлы, видеофайлы, текстовые документы и подобное.
[0082] В одном примере, в котором сторонний сервер 220 является сервером поисковой системы приложения поисковой системы (такого как приложение поисковой системы Яндекс™, приложение поисковой системы Google™ и т.п.), обученный таким образом MLA может использоваться для выполнения задач классификации для предоставления страниц результатов поиска (SERP), которые лучше отвечают на пользовательские запросы. В другом примере, в котором сторонний сервер 220 является сервером, обеспечивающим управление беспилотным автомобилем, обученный таким образом MLA может использоваться для обнаружения и распознавания объектов в сценах, зарегистрированных датчиками беспилотного автомобиля. В еще одном примере, в котором сторонний сервер 220 является сервером приложения виртуального помощника (например, приложения виртуального помощника Яндекс™ Алиса™), обученный таким образом MLA может использоваться для распознавания пользовательских высказываний в аудиосигналах, генерируемых устройством виртуального помощника, выполняющим приложение виртуального помощника. Другие приложения MLA, обученные на основе набора 218 размеченных обучающих данных, как описано выше, также могут быть предусмотрены без выхода за рамки настоящей технологии.
[0083] Кроме того, как можно понять, общее качество размеченного обучающего набора обычно зависит от того, насколько точно каждый из множества 214 оценщиков выполняет каждую из множества цифровых задач и, таким образом, может зависеть от соответствующих показателей качества каждого из множества 214 оценщиков. Вообще говоря, соответствующий показатель качества, связанный с определенным оценщиком 216 из множества 214 оценщиков, как используется в данном документе, может представлять меру качества результатов, которые данный оценщик 216 предоставляет при выполнении цифровых задач, назначенных ему сервером 202. Например, соответствующий показатель качества может прямо или косвенно указывать уровень опыта и/или квалификацию определенного оценщика 216. Другими словами, можно сказать, что соответствующий показатель качества определенного оценщика 216 указывает значение вероятности того, что данный оценщик 216 правильно выполнит определенную цифровую задачу 208, например, выбрав с помощью соответствующего электронного устройства, в примере на Фигуре 3, правильную первую метку 306, а не вторую метку.
[0084] В некоторых неограничивающих вариантах осуществления настоящей технологии соответствующий показатель качества определенного оценщика 216 может иметь значения от 0 до 1, где 0 является наименьшим значением, а 1 является наивысшим значением. Однако другие шкалы и форматы представления значений соответствующего показателя качества определенного оценщика 216 также предусмотрены без выхода за рамки настоящей технологии.
[0085] В этом отношении, в некоторых неограничивающих вариантах осуществления настоящей технологии определенная цифровая задача 208 может относиться к одному из предопределенных типов цифровых задач, при этом предопределенный тип связан с соответствующим предопределенным диапазоном показателей качества оценщиков. Например, в некоторых неограничивающих вариантах осуществления настоящей технологии предопределенный тип может быть связан с цифровыми задачами различных категорий классификации, так что цифровая задача для классификации человеческих высказываний может быть связана с более высоким предопределенным диапазоном показателей качества, чем таковой для классификации изображений. Однако в других неограничивающих вариантах осуществления настоящей технологии некоторые предопределенные типы цифровых задач могут быть определены в рамках цифровых задач определенной категории классификации - например, на основе их сложности. Например, предопределенный тип может быть назначен определенной цифровой задаче 208 определенным инициатором задач при предоставлении упомянутой цифровой задачи в базу 206 данных задач.
[0086] В некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения соответствующего показателя качества определенного оценщика 216 на основе контрольных цифровых задач с предварительно связанными правильными результатами (так называемых «медовых горшочков»), предоставляемых определенному оценщику 216 время от времени (или с предопределенной частотой) для оценки точности обеспечиваемых результатов.
[0087] Однако в других неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения соответствующего показателя качества определенного оценщика 216 с использованием одного из подходов, описанных в находящейся в совладении патентной заявке, озаглавленной «METHOD AND SYSTEM FOR GENERATING TRAINING DATA FOR A MACHINE-LEARNING ALGORITHM» с номером дела поверенного: 40700.215 (номер патентной заявки США еще не доступен), которая подана одновременно с данной заявкой и содержимое которой полностью включено в настоящий документ по ссылке. С этой целью, более конкретно, сервер 202 может быть выполнен с возможностью: (1) извлечения данных об оценщиках, связанных с прошлым множеством оценщиков, включающим в себя определенного оценщика 216, причем данные об оценщиках указывают прошлые рабочие характеристики соответствующих оценщиков из прошлого множества оценщиков, выполняющих определенную цифровую задачу, причем данные об оценщиках включают в себя: данные, указывающие множество результатов в ответ на предоставление упомянутой прошлой цифровой задачи прошлому множеству оценщиков; и данные, указывающие соответствующие показатели качества каждого из прошлого множества оценщиков; (2) определения для определенного результата из множества результатов числа его вхождений во множество результатов; (3) определения на основе числа вхождений и соответствующих показателей качества тех из прошлого множества оценщиков, которые обеспечили упомянутый результат, соответствующего значения совокупной метрики качества, связанной с упомянутым результатом; идентификации надежного результата из множества результатов как связанного с максимальным значением совокупной метрики качества; (4) определения на основе надежного результата обновленных показателей качества для каждого из прошлого множества оценщиков таким образом, чтобы: в ответ на обеспечение определенным оценщиком 216 соответствующего результата, соответствующего надежному результату, увеличить соответствующий показатель качества, связанный с данным оценщиком 216, на предопределенное значение; и в ответ на обеспечение определенным оценщиком 216 соответствующего результата, не соответствующего надежному результату, уменьшить упомянутый соответствующий показатель качества на предопределенное значение; (5) в ответ на то, что соответствующий обновленный показатель качества, связанный с определенным оценщиком 216, больше или равен предопределенному порогу показателя качества, включения данного оценщика 216 во множество 214 оценщиков; (6) передачи определенной цифровой задачи 208 для выполнения на соответствующие электронные устройства, связанные с множеством 214 оценщиков; и генерирования обучающих данных (таких как набор 218 размеченных обучающих данных) для MLA, в том числе данных, сгенерированных в ответ на выполнение соответствующими из множества 214 оценщиков упомянутой цифровой задачи 208.
[0088] Однако некоторые из множества 214 оценщиков (также известные как «мошенники») могут научиться идентифицировать контрольные цифровые задачи и обеспечивать для них правильные результаты, чтобы поддерживать относительно высокий соответствующий показатель качества, выполняя при этом другие задачи с меньшей точностью, обеспечивая для них результаты более низкого качества. Это может вызвать шум в наборе 218 размеченных обучающих данных, который приводит в результате к его более низкому качеству. Проблема может усугубляться еще и тем, что в таком случае своевременная идентификация мошенников может оказаться сложной задачей, поскольку может потребоваться разработка новых контрольных задач.
[0089] Кроме того, некоторые неограничивающие варианты осуществления настоящей технологии были разработаны на основе понимания разработчиками того, что даже те из множества 214 оценщиков, которые имеют относительно высокие соответствующие показатели качества, могут обеспечивать различные результаты для определенной цифровой задачи 208.
[0090] Таким образом, определенные неограничивающие варианты осуществления настоящей технологии направлены на определение, во множестве 214 оценщиков, на основе множества их результатов в ответ на определенную цифровую задачу 208 по меньшей мере одного набора оценщиков так, чтобы несоответствие между их результатами было сведено к минимуму. Другими словами, описанные в данном документе способы и системы направлены на максимизацию так называемой метрики согласованности, связанной с множеством 214 оценщиков, которая указывает значение апостериорной вероятности того, что большинство из множества оценщиков обеспечило правильный результат, тем самым идентифицируя по меньшей мере один набор оценщиков, которые вероятно обеспечат согласованные между собой результаты для следующих цифровых задач в будущем. Кроме того, в пределах по меньшей мере одного набора оценщиков, которые вероятно обеспечат согласованные результаты, сервер 202 может быть выполнен с возможностью идентификации тех оценщиков, которые связаны с более высокими соответствующими показателями качества, для назначения им следующих цифровых задач связанного предопределенного типа (например, с более высокой сложностью, как пример).
[0091] Таким образом, настоящие способы и системы могут позволить определять надежные результаты для цифровых задач из множества 207 цифровых задач, выполняемых соответствующими наборами оценщиков. Это может быть достигнуто путем рассмотрения как (1) результатов, обеспеченных большинством из соответствующих наборов оценщиков, выполняющих множество 207 цифровых задач, которые могут быть представлены метрикой согласованности; так и (2) соответствующих связанных с ними показателей качества, что может дополнительно позволить сократить использование контрольных цифровых задач для определения качества обеспечиваемых результатов и эффективной идентификации и последующего исключения мошенников из числа оценщиков. Следовательно, это может позволить повысить эффективность генерирования набора 218 размеченных обучающих данных и его общее качество.
[0092] То, как сервер 202 может быть выполнен с возможностью определения упомянутого по меньшей мере одного набора оценщиков из множества 214 оценщиков на основе метрики согласованности в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии, будет описано ниже со ссылкой на Фигуры с 4 по 5.
Сеть связи
[0093] В некоторых неограничивающих вариантах осуществления настоящей технологии сеть 210 связи представляет собой Интернет. В альтернативных неограничивающих вариантах осуществления настоящей технологии сеть 210 связи может быть реализована как любая подходящая локальная сеть (LAN), глобальная сеть (WAN), частная сеть связи или подобная. Следует четко понимать, что реализации для сети связи приведены только в целях иллюстрации. То, каким образом реализуется соответствующая линия связи (не пронумерованная отдельно) между каждым из сервера 202, базы 204 данных об оценщиках, базы 206 данных задач, стороннего сервера 220, каждого из электронных устройств множества 214 оценщиков и сети 210 связи, будет зависеть, среди прочего, от того, как реализуется каждое из каждого из сервера 202, базы 204 данных об оценщиках, базы 206 данных задач, стороннего сервера 220 и электронных устройств, связанных с множеством 214 оценщиков. Просто в качестве примера, а не ограничения, в тех вариантах осуществления настоящей технологии, в которых определенное одно из электронных устройств множества 214 оценщиков включает в себя устройство беспроводной связи, линия связи может быть реализована как линяя беспроводной связи. Примеры линий беспроводной связи включают в себя, но без ограничения, линию сети связи 3G, линию сети связи 4G и подобные. Сеть 210 связи также может использовать беспроводное соединение с сервером 202 и базой 206 данных задач.
Определение набора (наборов) оценщиков
[0094] Как отмечено выше, в некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью (1) приема от базы 204 данных об оценщиках указания идентификационных данных множества 214 оценщиков для выполнения определенной цифровой задачи 208; (2) приема данных об оценщиках с прошлыми рабочими характеристиками каждого из множества 214 оценщиков, в том числе связанных с ними соответствующих показателей качества; (3) приема множества результатов, обеспеченных множеством 214 оценщиков для упомянутой цифровой задачи 208; (4) определения на основе множества результатов метрики согласованности, связанной с множеством 214 оценщиков; и (5) максимизируя метрику согласованности, определения по меньшей мере одного набора оценщиков для выполнения следующих из множества 207 цифровых задач.
[0095] Со ссылкой на Фигуру 4 обеспечено схематичное представление процесса для определения сервером 202 набора 414 оценщиков из множества 214 оценщиков на основе связанной с ними метрики согласованности в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии.
[0096] Таким образом, как лучше всего показано на Фигуре 4, сервер 202 может быть выполнен с возможностью извлечения из базы 204 данных об оценщиках текущих значений соответствующих показателей качества множества 214 оценщиков, например текущего значения 402, swi, соответствующего показателя качества определенного оценщика 216. Кроме того, как отмечено выше, сервер 202 может быть выполнен с возможностью предоставления определенной цифровой задачи 208 множеству 214 оценщиков посредством передачи по сети 210 связи указания данной цифровой задачи 208 в соответствующие электронные устройства множества 214 оценщиков. В некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 мог выбирать определенную цифровую задачу 208 для выполнения множеством 214 оценщиков на основе текущих значений соответствующих показателей качества упомянутого множества оценщиков.
[0097] Кроме того, сервер 202 может быть выполнен с возможностью приема множества 404 результатов, обеспеченных множеством 214 оценщиков при выполнении определенной цифровой задачи 208. Как можно понять из Фигуры 4, каждый из множества 404 результатов включает в себя экземпляр одной из первой метки 306 и второй метки 308, выбранной соответствующим одним из множества 214 оценщиков при выполнении определенной цифровой задачи 208. Сервер 202 может быть дополнительно выполнен с возможностью включения множества 404 результатов в набор 218 размеченных обучающих данных.
[0098] Кроме того, согласно некоторым неограничивающим вариантам осуществления настоящей технологии, сервер 202 может быть выполнен с возможностью определения на основе множества 404 результатов определенного значения 406 метрики согласованности, связанной с множеством 214 оценщиков. Вообще говоря, метрика согласованности, как описано в данном документе, указывает значение апостериорной вероятности того, что большинство из определенного множества оценщиков, например, большинство из множества 214 оценщиков, обеспечило правильный результат для определенной цифровой задачи 208. Другими словами, если оценщики упомянутого множества 214 различаются по обеспечиваемым результатам, метрика согласованности имеет более низкое значение. Напротив, если большинство из множества 214 оценщиков обеспечивают одинаковый результат, метрика согласованности имеет более высокое значение.
[0099] В некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения определенного значения 406 метрики согласованности в соответствии с уравнением:
(1)
где zMV является результатом из множества 404 результатов, обеспеченным большинством из множества 214 оценщиков,
ywi является определенным одним из множества 404 результатов, обеспеченным соответствующим оценщиком из множества 214 оценщиков, например обеспеченным определенным оценщиком 216,
qwi = , является взвешенным значением соответствующего показателя качества определенного оценщика 216, и
δ является бинарной функцией, возвращающей 1, если ее аргумент истинен, иначе возвращающей 0.
[00100] Кроме того, в некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения набора 414 оценщиков на основе сравнения определенного значения 406 метрики согласованности с предопределенным пороговым значением согласованности. Например, предопределенное пороговое значение согласованности может быть заранее определено определенным инициатором задач при предоставлении определенной цифровой задачи 208 из множества 207 цифровых задач в базу 206 данных задач; и может равняться, например, 0,7, 0,8 или 0,9.
[00101] Таким образом, в ответ на то, что определенное значение 406 больше или равно предопределенному пороговому значению согласованности, сервер 202 может быть выполнен с возможностью определения набора 414 оценщиков в качестве упомянутого множества 214 оценщиков. Другими словами, если определенное значение 406 метрики согласованности больше или равно предопределенному пороговому значению согласованности, оценщики упомянутого множества 214 могут рассматриваться как обеспечивающие согласованные результаты и могут дополнительно использоваться для выполнения по меньшей мере одной следующей цифровой задачи из множества 207 цифровых задач.
[00102] Однако в ответ на то, что определенное значение 406 метрики согласованности ниже предопределенного порогового значения согласованности, сервер 202 может быть выполнен с возможностью максимизации метрики согласованности, связанной с множеством 214 оценщиков, тем самым определяя набор 414 оценщиков.
[00103] С этой целью в некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью исключения из множества 214 оценщиков по меньшей мере одного из оценщиков, которые обеспечили противоречивые результаты. Продолжая пример на Фигуре 4, предположим, что большинство из множества оценщиков обеспечило первую метку 306 при выполнении определенной цифровой задачи 208; таким образом, сервер 202 может быть выполнен с возможностью исключения из множества 214 оценщиков определенного оценщика 216, поскольку обеспеченный им соответствующий один из множества 404 результатов, т.е. вторая метка 308, отличается от результата, обеспеченного большинством из множества 214 оценщиков.
[00104] Кроме того, после исключения определенного оценщика 216 сервер 202 может быть выполнен с возможностью определения, является ли обновленное значение (не проиллюстрировано) метрики согласованности большим или равным предопределенному пороговому значению согласованности; и если нет, сервер 202 может быть выполнен с возможностью продолжения идентификации и удаления тех оценщиков из множества 214 оценщиков, которые обеспечили противоречивые результаты при выполнении определенной цифровой задачи 208.
[00105] Таким образом, в некоторых неограничивающих вариантах осуществления настоящей технологии, чтобы определить набор 414 оценщиков для выполнения по меньшей мере одной следующей цифровой задачи из множества 207 цифровых задач, сервер 202 может быть выполнен с возможностью оптимизации метрики согласованности посредством (1) итеративной идентификации и удаления тех оценщиков из множества 214 оценщиков, которые обеспечили результаты, которые не согласуются с результатами, обеспеченными большинством; и (2) определения на каждой итерации соответствующего значения метрики согласованности до тех пор, пока оно не будет удовлетворять условию того, что оно больше или равно предопределенному пороговому значению согласованности. Таким образом, исключая из множества 214 оценщиков тех оценщиков, которые обеспечивают противоречивые результаты, в некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью максимизации метрики согласованности до значения, большего или равного предопределенному пороговому значению согласованности, тем самым определяя набор 414 оценщиков, которые вероятно обеспечат согласованные результаты для по меньшей мере следующих задач из множества 207 цифровых задач.
[00106] В дополнительных неограничивающих вариантах осуществления настоящей технологии, в которых по меньшей мере одна следующая цифровая задача относится к одному из предопределенных типов цифровых задач, связанному с предопределенным диапазоном показателей качества оценщиков, сервер 202 может быть дополнительно выполнен с возможностью определения набора 414 оценщиков так, чтобы их соответствующие показатели качества находились в пределах предопределенного диапазона показателей качества. С этой целью сервер 202 может быть выполнен с возможностью оптимизации метрики согласованности, идентифицируя и удаляя не только тех оценщиков из множества 214 оценщиков, которые обеспечивают противоречивые результаты, но также и тех оценщиков, чьи соответствующие показатели качества ниже, чем нижняя граница предопределенного диапазона показателей качества, в качестве примера.
[00107] Однако в других неограничивающих вариантах осуществления настоящей технологии, сервер 202 может быть выполнен с возможностью сначала оптимизации метрики согласованности, связанной с множеством 214 оценщиков, чтобы определить набор 414 оценщиков, а затем идентификации в пределах упомянутого набора 414 оценщиков одного или нескольких поднаборов оценщиков, связанных с соответствующими предопределенными диапазонами показателей качества.
[00108] Со ссылкой на Фигуру 5 обеспечено схематичное представление процесса для идентификации сервером 202 по меньшей мере двух поднаборов оценщиков в наборе 414 оценщиков в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии.
[00109] Как можно понять из Фигуры 5, сервер 202 может быть выполнен с возможностью идентификации в наборе 414 оценщиков по меньшей мере двух поднаборов оценщиков на основе соответствующего предопределенного диапазона показателей качества, в том числе (1) первого поднабора 502 оценщиков, каждый из которых имеет соответствующий показатель качества в пределах первого предопределенного диапазона 512 показателей качества, RQ1; и (2) второго поднабора 504 оценщиков, каждый из которых имеет соответствующий показатель качества в пределах второго предопределенного диапазона 514 показателей качества, RQ2.
[00110] В некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью идентификации по меньшей мере двух поднаборов оценщиков в наборе 414 оценщиков для предоставления им различных следующих цифровых задач из множества 207 цифровых задач. Например, первый предопределенный диапазон 512 показателей качества может быть более высоким, чем второй предопределенный диапазон 514 показателей качества; и, таким образом, сервер 202 может быть выполнен с возможностью предоставления следующих цифровых задач более высокой сложности первому поднабору 502 оценщиков, а не второму поднабору 504 оценщиков.
[00111] Кроме того, хотя первый поднабор 502 оценщиков и второй поднабор 504 оценщиков изображены на Фигуре 5 как являющиеся взаимоисключающими, т.е. включающими в себя разных оценщиков из набора 414 оценщиков, следует четко понимать, что в других неограничивающих вариантах осуществления настоящей технологии первый поднабор 502 оценщиков и второй поднабор 504 оценщиков могут перекрываться по меньшей мере частично. В качестве примера, а не ограничения, если первым предопределенным диапазоном 512 показателей качества является диапазон от 0,6 до 0,8, а вторым предопределенным диапазоном 514 показателей качества является диапазон от 0,5 до 0,7, оценщики из набора 414 оценщиков, имеющие соответствующие показатели качества от 0,6 до 0,7, могут быть включены как в первый поднабор 502 оценщиков, так и во второй поднабор 504 оценщиков.
[00112] Кроме того, в некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью генерирования соответствующего набора оценщиков, как описано выше со ссылкой на Фигуры 4 и 5, для выполнения каждой следующей цифровой задачи из множества 207 цифровых задач. Однако в других неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения новых наборов оценщиков для выполнения следующих цифровых задач из множества 207 цифровых задач время от времени, например с предопределенной частотой, как пример.
[00113] Таким образом, согласно некоторым неограничивающим вариантам осуществления настоящей технологии, путем предоставления каждой из множества 207 цифровых задач соответствующим определенным таким образом наборам оценщиков, сервер 202 может быть выполнен с возможностью агрегирования соответствующих множеств результатов, например множества 404 результатов в ответ на предоставление определенной цифровой задачи 208 множеству 214 оценщиков, тем самым генерируя набор 218 размеченных обучающих данных, который дополнительно может использоваться для обучения MLA на стороннем сервере 220, как описано выше.
Первый способ
[00114] Учитывая архитектуру и примеры, обеспеченные выше, можно выполнить способ генерирования обучающих данных для обучения MLA, таких как набор 218 размеченных обучающих данных, описанный выше, на основе цифровых задач, выполняемых оценщиками. Со ссылкой на Фигуру 6 проиллюстрирована блок-схема последовательности операций первого способа 600 согласно неограничивающим вариантам осуществления настоящей технологии. Первый способ 600 может выполняться сервером 202, включающим в себя компьютерную систему 100.
ЭТАП 602: ИЗВЛЕЧЕНИЕ ПРОЦЕССОРОМ ДАННЫХ ОБ ОЦЕНЩИКАХ, СВЯЗАННЫХ С МНОЖЕСТВОМ ОЦЕНЩИКОВ, ПРИЧЕМ ДАННЫЕ ОБ ОЦЕНЩИКАХ ВКЛЮЧАЮТ В СЕБЯ ДАННЫЕ, УКАЗЫВАЮЩИЕ ПРОШЛЫЕ РАБОЧИЕ ХАРАКТЕРИСТИКИ СООТВЕТСТВУЮЩИХ ОЦЕНЩИКОВ ИЗ МНОЖЕСТВА ОЦЕНЩИКОВ, ВЫПОЛНЯЮЩИХ ОПРЕДЕЛЕННУЮ ЦИФРОВУЮ ЗАДАЧУ, В ТОМ ЧИСЛЕ ДАННЫЕ, УКАЗЫВАЮЩИЕ МНОЖЕСТВО РЕЗУЛЬТАТОВ В ОТВЕТ НА ПРЕДОСТАВЛЕНИЕ ДАННОЙ ЦИФРОВОЙ ЗАДАЧИ МНОЖЕСТВУ ОЦЕНЩИКОВ
[00115] Первый способ 600 начинается с этапа 602, на котором сервер 202 выполнен с возможностью приема из базы 206 данных задач указания определенной цифровой задачи 208 из множества 207 цифровых задач, предоставленных в базу 206 данных задач определенным инициатором задач. Например, как упомянуто выше, определенный инициатор задач мог предоставить множество 207 цифровых задач для генерирования набора 218 размеченных обучающих данных для обучения MLA, выполняемого на стороннем сервере 220.
[00116] Таким образом, в некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью извлечения из базы 204 данных об оценщиках указания идентификационных данных множества 214 оценщиков для предоставления им определенной цифровой задачи 208. Кроме того, сервер 202 может быть выполнен с возможностью извлечения из базы 204 данных об оценщиках данных об оценщиках с прошлыми рабочими характеристиками каждого из множества 214 оценщиков. Например, данные об оценщиках с прошлыми рабочими характеристиками множества оценщиков могут включать в себя соответствующие показатели качества, связанные с каждым из множества 214 оценщиков, например текущее значение 402 соответствующего показателя качества, связанного с определенным оценщиком 216, как описано выше со ссылкой на Фигуру 4.
[00117] Как упомянуто выше, в некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения текущего значения 402 соответствующего показателя качества на основе контрольных цифровых задач, обеспечиваемых данному оценщику 216 время от времени совместно с множеством 207 цифровых задач.
[00118] Однако, как дополнительно описано выше, в других неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения соответствующего показателя качества определенного оценщика 216 с использованием подходов, описанных в находящейся в совладении патентной заявке, озаглавленной «METHOD AND SYSTEM FOR GENERATING TRAINING DATA FOR A MACHINE-LEARNING ALGORITHM» с номером дела поверенного: 40700.215 (номер патентной заявки США еще не доступен), которая подана одновременно с данной заявкой и содержимое которой полностью включено в настоящий документ по ссылке.
[00119] Кроме того, сервер 202 может быть выполнен с возможностью предоставления определенной цифровой задачи 208 множеству 214 оценщиков для выполнения посредством передачи указания данной цифровой задачи 208 в соответствующие электронные устройства множества 214 оценщиков, как показано на Фигуре 2. Кроме того, как описано выше со ссылкой на Фигуре 4, сервер 202 может быть выполнен с возможностью приема от множества 214 оценщиков множества 404 результатов в ответ на определенную цифровую задачу 208.
[00120] Таким образом, первый способ 600 переходит на этап 604.
ЭТАП 604: НА ОСНОВЕ МНОЖЕСТВА РЕЗУЛЬТАТОВ, ОПРЕДЕЛЕНИЕ ПО МЕНЬШЕЙ МЕРЕ ОДНОГО НАБОРА ОЦЕНЩИКОВ ИЗ МНОЖЕСТВА ОЦЕНЩИКОВ ТАКИМ ОБРАЗОМ, ЧТОБЫ МЕТРИКА СОГЛАСОВАННОСТИ СРЕДИ РЕЗУЛЬТАТОВ, ОБЕСПЕЧИВАЕМЫХ УПОМЯНУТЫМ ПО МЕНЬШЕЙ МЕРЕ ОДНИМ НАБОРОМ ОЦЕНЩИКОВ ДЛЯ ОПРЕДЕЛЕННОЙ ЦИФРОВОЙ ЗАДАЧИ, БЫЛА МАКСИМИЗИРОВАНА
[00121] Кроме того, на этапе 604, согласно некоторым неограничивающим вариантам осуществления настоящей технологии, на основе множества 404 результатов сервер 202 может быть выполнен с возможностью определения соответствующего значения метрики согласованности, связанного с множеством 214 оценщиков, например определенного значения 406, как описано выше со ссылкой на Фигуру 4.
[00122] Как отмечено выше метрика согласованности указывает значение апостериорной вероятности того, что большинство из множества 214 оценщиков обеспечило правильный результат для определенной цифровой задачи 208. В некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения определенного значения 406 метрики согласованности в соответствии с Уравнением (1).
[00123] Кроме того, согласно некоторым неограничивающим вариантам осуществления настоящей технологии, на основе определенного значения 406 метрики согласованности, связанной с множеством 214 оценщиков, сервер 202 может быть выполнен с возможностью идентификации во множестве 214 оценщиков по меньшей мере одного набора оценщиков для выполнения по меньшей мере одной следующей цифровой задачи из множества 207 цифровых задач, например набора 414 оценщиков, как описано выше со ссылкой на Фигуру 4.
[00124] Таким образом, в ответ на то, что определенное значение 406 метрики согласованности больше или равно предопределенному пороговому значению согласованности, сервер 202 может быть выполнен с возможностью определения набора 414 оценщиков в качестве упомянутого множества 214 оценщиков, т.е. оставить множество 214 оценщиков без изменений.
[00125] Однако, в ответ на то, что определенное значение 406 метрики согласованности, связанной с множеством 214 оценщиков, ниже предопределенного порогового значения, чтобы определить набор 414 оценщиков для выполнения по меньшей мере одной следующей цифровой задачи из множества 207 цифровых задач, сервер 202 может быть выполнен с возможностью оптимизации метрики согласованности посредством (1) итеративной идентификации и удаления тех оценщиков из множества 214 оценщиков, которые обеспечили результаты, которые не согласуются с результатом, обеспеченными большинством, например определенного оценщика 216 в примере на Фигуре 4; и (2) определения на каждой итерации соответствующего значения метрики согласованности до тех пор, пока оно не будет удовлетворять условию того, что оно больше или равно предопределенному пороговому значению согласованности. Таким образом, исключая из множества 214 оценщиков тех оценщиков, которые обеспечивают противоречивые результаты, в некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью максимизации метрики согласованности до значения, большего или равного предопределенному пороговому значению согласованности, тем самым определяя набор 414 оценщиков, которые вероятно обеспечат согласованные результаты для по меньшей мере одной следующей задачи из множества 207 цифровых задач в будущем.
[00126] Кроме того, в дополнительных неограничивающих вариантах осуществления настоящей технологии, в которых по меньшей мере одна следующая цифровая задача относится к одному из предопределенных типов цифровых задач, связанному с соответствующим предопределенным диапазоном показателей качества оценщиков, сервер 202 может быть дополнительно выполнен с возможностью определения набора 414 оценщиков так, чтобы их соответствующие показатели качества находились в пределах предопределенного диапазона показателей качества. С этой целью сервер 202 может быть выполнен с возможностью оптимизации метрики согласованности, идентифицируя и удаляя не только тех оценщиков из множества 214 оценщиков, которые обеспечивают противоречивые результаты, но также и тех оценщиков, чьи соответствующие показатели качества ниже, чем нижняя граница предопределенного диапазона показателей качества, в качестве примера.
[00127] В других неограничивающих вариантах осуществления настоящей технологии, сервер 202 может быть выполнен с возможностью сначала оптимизации метрики согласованности, связанной с множеством 214 оценщиков, чтобы определить набор 414 оценщиков, а затем идентификации в пределах упомянутого набора 414 оценщиков одного или нескольких поднаборов оценщиков, связанных с соответствующими предопределенными диапазонами показателей качества. Например, как описано выше со ссылкой на Фигуру 5, сервер 202 может быть выполнен с возможностью идентификации в наборе 414 оценщиков по меньшей мере двух поднаборов оценщиков, в том числе (1) первого поднабора 502 оценщиков, каждый из которых имеет соответствующий показатель качества в пределах первого предопределенного диапазона 512 показателей качества, RQ1; и (2) второго поднабора 504 оценщиков, каждый из которых имеет соответствующий показатель качества в пределах второго предопределенного диапазона 514 показателей качества, RQ2. В этом отношении сервер 202 может быть выполнен с возможностью предоставления следующих цифровых задач из множества 207 цифровых задач одного предопределенного типа, связанных с первым предопределенным диапазоном 512 показателей качества, первому поднабору 502 оценщиков; и следующих цифровых задач другого предопределенного типа, связанных со вторым предопределенным диапазоном 514 показателей качества, второму поднабору 504 оценщиков. Таким образом, в некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения определенного одного из первого поднабора 502 и второго поднабора 504 в ответ на прием из базы 206 данных задач последующих цифровых задач соответствующих предопределенных типов.
[00128] Как дополнительно отмечено выше со ссылкой на Фигуру 5, на основе конкретных значений первого предопределенного диапазона 512 показателей качества и второго предопределенного диапазона 514 показателей качества первый поднабор 502 оценщиков и второй поднабор 504 оценщиков могут быть либо взаимоисключающими, либо перекрывающимися по меньшей мере частично.
[00129] Таким образом, в некоторых неограничивающих вариантах осуществления настоящей технологии для выполнения каждой следующей цифровой задачи из множества 207 цифровых задач сервер 202 может быть выполнен с возможностью определения соответствующего набора оценщиков путем итеративного применения этапов 602 и 604, описанных выше. Однако в других неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения новых наборов оценщиков для выполнения следующих цифровых задач из множества 207 цифровых задач время от времени, например с предопределенной частотой, как пример.
[00130] Первый способ 600 далее переходит на этап 606.
ЭТАП 606: ПЕРЕДАЧУ ПРОЦЕССОРОМ СЛЕДУЮЩЕЙ ЦИФРОВОЙ ЗАДАЧИ НА СООТВЕТСТВУЮЩИЕ ЭЛЕКТРОННЫЕ УСТРОЙСТВА, СВЯЗАННЫЕ С УПОМЯНУТЫМ ПО МЕНЬШЕЙ МЕРЕ ОДНИМ НАБОРОМ ОЦЕНЩИКОВ
[00131] Кроме того, на этапе 606 сервер 202 может быть выполнен с возможностью передачи указаний следующих цифровых задач из множества 207 цифровых задач на соответствующие электронные устройства идентифицированных таким образом наборов оценщиков, тем самым предоставляя следующие цифровые задачи для выполнения.
[00132] Первый способ 600 затем переходит на этап 608.
ЭТАП 608: ГЕНЕРИРОВАНИЕ ОБУЧАЮЩИХ ДАННЫХ ДЛЯ ИСПОЛНЯЕМОГО КОМПЬЮТЕРОМ MLA, ВКЛЮЧАЮЩИХ В СЕБЯ ДАННЫЕ, СГЕНЕРИРОВАННЫЕ В ОТВЕТ НА ВЫПОЛНЕНИЕ СООТВЕТСТВУЮЩИМИ ОЦЕНЩИКАМИ ИЗ УПОМЯНУТОГО ПО МЕНЬШЕЙ МЕРЕ ОДНОГО НАБОРА ОЦЕНЩИКОВ СЛЕДУЮЩЕЙ ЦИФРОВОЙ ЗАДАЧИ
[00133] Наконец, на этапе 608, согласно некоторым неограничивающим вариантам осуществления настоящей технологии, сервер 202 может быть выполнен с возможностью приема соответствующих множеств результатов в ответ на предоставление следующих цифровых задач соответствующим наборам оценщиков, например множества 404 результатов, обеспеченных множеством 214 оценщиков при выполнении определенной цифровой задачи. Кроме того, сервер 202 может быть выполнен с возможностью агрегирования соответствующих множеств результатов, тем самым генерируя набор 218 размеченных обучающих данных.
[00134] Сервер 202 может быть дополнительно выполнен с возможностью передачи набора 218 размеченных обучающих данных на сторонний сервер 220 для обучения MLA, выполняемого на стороннем сервере 220, на его основе.
[00135] Таким образом, некоторые неограничивающие варианты осуществления первого способа 600 могут позволить (1) определять для выполнения цифровых задач наборы оценщиков, обеспечивающих согласованные между ними результаты, и (2) таким образом автоматически идентифицировать и блокировать оценщиков, обеспечивающих результаты низкого качества для цифровых задач, без необходимости использования контрольных цифровых задач, что может дополнительно позволить сгенерировать обучающие данные для обучения MLA более высокого качества более эффективным образом.
[00136] Первый способ 600 затем завершается.
Определение качества набора обучающих данных
[00137] Разработчики настоящей технологии осознали, что метрика согласованности, описанная выше со ссылкой на Фигуру 4, может использоваться для определения качества уже сгенерированных обучающих данных. Таким образом, в некоторых неограничивающих вариантах осуществления настоящей технологии соответствующее значение метрики согласованности, связанное с определенным набором обучающих данных, может указывать его качество. В соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии, определенный набор обучающих данных может включать в себя по меньшей мере одно множество результатов, обеспеченных соответствующим набором оценщиков, которое было сгенерированы по существу аналогично множеству 404 результатов, сгенерированных в ответ на предоставление определенной цифровой задачи 208 множеству 214 оценщиков.
[00138] Следовательно, более конкретно, чем выше соответствующее значение метрики согласованности, определенное для ранее сгенерированного по меньшей мере одного множества результатов, тем выше его качество.
[00139] Таким образом, в некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью (1) приема указания определенного набора обучающих данных, включающего в себя по меньшей мере одно множество результатов, сгенерированных соответствующим набором оценщиков; (2) на основе по меньшей мере одного множества результатов, определения соответствующего значения связанной с ним метрики согласованности, например в соответствии с уравнением (1); и (3) в ответ на то, что соответствующее значение метрики согласованности больше или равно предопределенному пороговому значению согласованности, сохранения упомянутого по меньшей мере одного множества результатов в определенном наборе обучающих данных. Напротив, если соответствующее значение метрики согласованности ниже, чем предопределенное пороговое значение согласованности, сервер 202 может быть выполнен с возможностью исключения по меньшей мере одного множества результатов из определенного набора обучающих данных.
[00140] Таким образом, сервер 202 может быть выполнен с возможностью идентификации и включения в определенный набор обучающих данных множеств результатов с более высокими соответствующими значениями метрики согласованности, например тех множеств, в которых соответствующие оценщики находились в согласии по отношению к обеспеченным результатам, что может позволить повысить общее качество данного набора обучающих данных.
[00141] Ниже приведены некоторые конкретные примеры использования сервером 202 метрики согласованности для определения качества обучающих данных в соответствии с некоторыми неограничивающими вариантами осуществления настоящей технологии. Следует отметить, что приведенные ниже примеры обеспечены исключительно в целях иллюстрации и прояснения некоторых неограничивающих вариантов осуществления настоящей технологии, и никоим образом не в качестве ограничения.
Пример 1
[00142] Предположим, что сервер 202 принял (или иным образом сгенерировал) определенный набор обучающих данных, включающий в себя по меньшей мере одно множество результатов, представленных в первой строке нижеследующей Таблицы 1, которые были обеспечены соответствующим набором оценщиков, имеющих соответствующие показатели качества, представленные во второй строке нижеследующей Таблицы 1.
[00143] Таким образом, на основе по меньшей мере одного множества результатов, в соответствии с уравнением (1), сервер 202 может быть выполнен с возможностью определения соответствующего значения метрики согласованности следующим образом:
[00144] Как можно понять, несмотря на относительно высокое среднее значение соответствующих показателей качества соответствующего набора оценщиков, соответствующее значение метрики согласованности может быть относительно более низким. Таким образом, с учетом предопределенного порогового значения согласованности 0,7, в качестве примера, сервер 202 может быть выполнен с возможностью исключения по меньшей мере одного множества результатов в настоящем примере из определенного набора обучающих данных.
Пример 2
[00145] Теперь, со ссылкой на Таблицу 2, приведен другой пример по меньшей мере одного множества результатов, в котором среднее значение соответствующих показателей качества соответствующего набора оценщиков ниже, чем в Примере 1; однако согласованность результата является более высокой.
[00146] На основе по меньшей мере одного множества результатов и соответствующих показателей качества соответствующего набора оценщиков, приведенных в Таблице 2, сервер 202 может быть выполнен с возможностью определения соответствующего значения метрики согласованности следующим образом:
[00147] Таким образом, как можно понять, даже если среднее значение соответствующих показателей качества соответствующего набора оценщиков является относительно низким, соответствующее значение метрики согласованности превышает предопределенное пороговое значение согласованности; следовательно, сервер 202 может быть выполнен с возможностью сохранения по меньшей мере одного множества результатов из Таблицы 2 в определенном наборе обучающих данных.
Второй способ
[00148] Учитывая архитектуру и примеры, приведенные выше, можно выполнить способ определения качества обучающих данных для обучения MLA, которые были сгенерированы на основе выполнения цифровых задач оценщиками, таких как множество 404 результатов. Со ссылкой на Фигуру 7 проиллюстрирована блок-схема последовательности операций второго способа 700 согласно неограничивающим вариантам осуществления настоящей технологии. Второй способ 700 может выполняться сервером 202, включающим в себя компьютерную систему 100.
ЭТАП 702: ИЗВЛЕЧЕНИЕ ПРОЦЕССОРОМ ОПРЕДЕЛЕННОГО НАБОРА ДАННЫХ СОБСТВЕННО ОБУЧАЮЩИХ ДАННЫХ, ПРИЧЕМ УПОМЯНУТЫЙ НАБОР ДАННЫХ
[00149] Второй способ 700 начинается с этапа 702, на котором сервер 202 выполнен с возможностью приема (или генерирования, например) определенного обучающего набора данных, включающего в себя по меньшей мере одно множество результатов, сгенерированных соответствующим набором оценщиков по существу аналогично множеству 404 результатов, обеспеченных множеством 214 оценщиков, как описано выше со ссылкой на Фигуру 4.
[00150] В некоторых неограничивающих вариантах осуществления настоящей технологии определенный набор обучающих данных может также включать в себя данные, указывающие соответствующие показатели качества каждого оценщика из соответствующего набора оценщиков, обеспечивших по меньшей мере одно множество результатов.
[00151] Второй способ 700 затем переходит на этап 704.
ЭТАП 704: НА ОСНОВЕ МНОЖЕСТВА РЕЗУЛЬТАТОВ, ОПРЕДЕЛЕНИЕ МЕТРИКИ СОГЛАСОВАННОСТИ СРЕДИ РЕЗУЛЬТАТОВ УПОМЯНУТОГО МНОЖЕСТВА
[00152] Далее, на этапе 704 сервер 202 может быть выполнен с возможностью определения качества по меньшей мере одного множества результатов, обеспеченных соответствующим набором оценщиков. С этой целью на основе по меньшей мере одного множества результатов и соответствующих показателей качества соответствующего набора оценщиков, сервер 202 может быть выполнен с возможностью определения соответствующего значения метрики согласованности, связанной с по меньшей мере одним множеством результатов.
[00153] В некоторых неограничивающих вариантах осуществления настоящей технологии сервер 202 может быть выполнен с возможностью определения соответствующего значения метрики согласованности в соответствии с Уравнением (1), как описано выше. В этом отношении метрика согласованности может указывать число оценщиков из упомянутого набора, которые обеспечили одинаковый результат при выполнении связанной цифровой задачи. Более конкретно, как описано выше, чем выше соответствующее значение метрики согласованности, определенное для сгенерированного по меньшей мере одного множества результатов, тем выше его качество.
[00154] Второй способ 700 далее переходит на этап 706.
ЭТАП 706: В ОТВЕТ НА ТО, ЧТО МЕТРИКА СОГЛАСОВАННОСТИ БОЛЬШЕ ИЛИ РАВНА ПРЕДОПРЕДЕЛЕННОМУ ПОРОГУ СОГЛАСОВАННОСТИ, ИСПОЛЬЗОВАНИЕ УПОМЯНУТОГО НАБОРА ДАННЫХ ДЛЯ ОБУЧЕНИЯ ИСПОЛНЯЕМОГО КОМПЬЮТЕРОМ MLA
[00155] Таким образом, как пояснено в Примере 2, приведенном выше, в ответ на то, что соответствующее значение метрики согласованности, связанной с по меньшей мере одним множеством результатов, больше или равно предопределенному пороговому значению согласованности, сервер 202 может быть выполнен с возможностью сохранения упомянутого по меньшей мере одного множества результатов в определенном наборе обучающих данных для дальнейшего использования в целях обучения MLA, такого как MLA, выполняемого на стороннем сервере 220.
[00156] Второй способ 700 затем переходит на этап 708.
ЭТАП 708: В ОТВЕТ НА ТО, ЧТО МЕТРИКА СОГЛАСОВАННОСТИ НИЖЕ УПОМЯНУТОГО ПРЕДОПРЕДЕЛЕННОГО ПОРОГА СОГЛАСОВАННОСТИ, УДАЛЕНИЕ УПОМЯНУТОГО НАБОРА ДАННЫХ ИЗ ОБУЧАЮЩИХ ДАННЫХ
[00157] Наконец, как проиллюстрировано выше в Примере 1, если соответствующее значение метрики согласованности, связанной с по меньшей мере одним множеством результатов, ниже, чем предопределенное пороговое значение, сервер 202 может быть выполнен с возможностью удаления упомянутого по меньшей мере одного множества результатов из определенного набора обучающих данных.
[00158] Таким образом, некоторые неограничивающие варианты осуществления второго способа 700 могут позволить повысить общее качество уже сгенерированного набора обучающих данных на основе согласованности результатов для соответствующих цифровых задач, которые обеспечены связанными наборами оценщиков.
[00159] Второй способ 700 затем завершается.
[00160] Следует четко понимать, что не все технические эффекты, упомянутые в настоящем документе, должны быть реализованы в каждом варианте осуществления настоящей технологии.
[00161] Модификации и улучшения вышеописанных реализаций настоящей технологии могут стать очевидными для специалистов в данной области техники. Предшествующее описание предназначено для того, чтобы быть примерным, а не ограничивающим. Поэтому предполагается, что объем настоящей технологии ограничен лишь объемом прилагаемой формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| Способ и система классификации пользователя электронного устройства | 2021 |
|
RU2795152C2 |
| СПОСОБ И СЕРВЕР ГЕНЕРИРОВАНИЯ МЕТА-ПРИЗНАКА ДЛЯ РАНЖИРОВАНИЯ ДОКУМЕНТОВ | 2018 |
|
RU2721159C1 |
| СПОСОБ И СИСТЕМА ДЛЯ РАНЖИРОВАНИЯ ЦИФРОВЫХ ОБЪЕКТОВ НА ОСНОВЕ СВЯЗАННОЙ С НИМИ ЦЕЛЕВОЙ ХАРАКТЕРИСТИКИ | 2019 |
|
RU2757174C2 |
| СПОСОБ И СИСТЕМА ПОСТРОЕНИЯ ПОИСКОВОГО ИНДЕКСА С ИСПОЛЬЗОВАНИЕМ АЛГОРИТМА МАШИННОГО ОБУЧЕНИЯ | 2018 |
|
RU2720954C1 |
| СПОСОБ И СИСТЕМА ДЛЯ ОБРАБОТКИ ПОЛЬЗОВАТЕЛЬСКОГО РАЗГОВОРНОГО РЕЧЕВОГО ФРАГМЕНТА | 2019 |
|
RU2757264C2 |
| Способ и сервер для определения обучающего набора для обучения алгоритма машинного обучения (MLA) | 2020 |
|
RU2817726C2 |
| СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ СОБЫТИЯ ПОСЕЩЕНИЯ МЕСТА ПОЛЬЗОВАТЕЛЕМ | 2019 |
|
RU2762779C2 |
| СПОСОБ И СЕРВЕР ДЛЯ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ ФОРМИРОВАНИЮ ТЕКСТОВОЙ ВЫХОДНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ | 2020 |
|
RU2798362C2 |
| СПОСОБ И СИСТЕМА ГЕНЕРИРОВАНИЯ ПРИЗНАКА ДЛЯ РАНЖИРОВАНИЯ ДОКУМЕНТА | 2018 |
|
RU2733481C2 |
| Способ и сервер для ранжирования цифровых документов в ответ на запрос | 2020 |
|
RU2818279C2 |
Изобретение относится к области вычислительной техники. Технический результат заключается в повышении точности генерирования обучающих данных для алгоритма машинного обучения. Технический результат достигается за счет определения процессором метрики согласованности среди результатов из упомянутого множества результатов, указывающей апостериорную вероятность того, что результат, обеспеченный большинством из множества электронных устройств, является правильным результатом для данной цифровой задачи; на основе множества результатов, определения процессором набора электронных устройств из множества электронных устройств таким образом, чтобы метрика согласованности среди результатов, обеспеченных упомянутым набором упомянутых электронных устройств для данной цифровой задачи, была максимальной, путём исключения из множества электронных устройств по меньшей мере одного из электронных устройств, которые обеспечили результаты, отличные от результатов, обеспеченных большинством из множества электронных устройств; передачи процессором следующей цифровой задачи на соответствующие упомянутые электронные устройства, связанные с упомянутым по меньшей мере одним набором упомянутых электронных устройств; и генерирования процессором обучающих данных для исполняемого компьютером MLA, включающих в себя данные, сгенерированные в ответ на выполнение соответствующими электронными устройствами из упомянутого набора упомянутых электронных устройств следующей цифровой задачи. 3 н. и 17 з.п. ф-лы, 7 ил.
1. Реализуемый компьютером способ генерирования обучающих данных для исполняемого компьютером алгоритма машинного обучения (MLA) для классификации данных, причем обучающие данные основаны на цифровых задачах, доступных множеству электронных устройств, связанных с множеством оценщиков; при этом способ исполняется в сетевой вычислительной среде краудсорсинговой платформы на сервере, включающем в себя процессор, соединённый с возможностью передачи данных по сети связи с упомянутыми электронными устройствами, связанными с упомянутым множеством электронных устройств, причем способ содержит:
извлечение процессором, из базы данных, данных об упомянутых электронных устройствах, связанных с множеством электронных устройств, причем данные об электронных устройствах включают в себя данные, указывающие прошлые показатели для соответствующих упомянутых электронных устройств из множества электронных устройств, выполняющих определенную цифровую задачу, в том числе данные, указывающие множество результатов в ответ на предоставление данной цифровой задачи множеству электронных устройств;
определение процессором метрики согласованности среди результатов из упомянутого множества результатов, указывающей апостериорную вероятность того, что результат, обеспеченный большинством из множества электронных устройств, является правильным результатом для данной цифровой задачи;
на основе множества результатов, определение процессором по меньшей мере одного набора упомянутых электронных устройств из множества электронных устройств таким образом, чтобы метрика согласованности среди результатов, обеспеченных упомянутым по меньшей мере одним набором упомянутых электронных устройств для данной цифровой задачи, была максимальной, путём исключения из множества электронных устройств по меньшей мере одного из электронных устройств, которые обеспечили результаты, отличные от результатов, обеспеченных большинством из множества электронных устройств;
передачу процессором следующей цифровой задачи на соответствующие упомянутые электронные устройства, связанные с упомянутым по меньшей мере одним набором упомянутых электронных устройств; и
генерирование процессором обучающих данных для исполняемого компьютером MLA, включающих в себя данные, сгенерированные в ответ на выполнение соответствующими электронными устройствами из упомянутого по меньшей мере одного набора упомянутых электронных устройств следующей цифровой задачи.
2. Способ по п. 1, в котором метрику согласованности определяют в соответствии с уравнением:
где zMV является результатом из множества результатов, обеспеченным большинством из множества электронных устройств,
ywi является определенным одним из множества результатов, обеспеченным соответствующим одним из множества электронных устройств,
qwi = 
является взвешенным соответствующим показателем качества соответствующего одного из множества электронных устройств, и
δ является бинарной функцией, возвращающей 1, если ее аргумент истинен, иначе возвращающей 0.
3. Способ по п. 1, в котором определенное одно из множества электронных устройств имеет предопределенный показатель качества, и упомянутое определение по меньшей мере одного набора электронных устройств выполняют таким образом, чтобы определенное одно из по меньшей мере одного набора электронных устройств имело соответствующий предопределенный показатель качества в пределах предопределенного диапазона показателей качества.
4. Способ по п. 3, в котором упомянутое определение упомянутого по меньшей мере одного набора электронных устройств выполняют для типа следующей цифровой задачи, причем типом является один из набора предопределенных типов.
5. Способ по п. 4, в котором тип следующей задачи связан с предопределенным диапазоном показателей качества.
6. Способ по п. 3, в котором соответствующий предопределенный показатель качества был определен на основе точности выполнения определенным одним из упомянутого по меньшей мере одного набора электронных устройств контрольной цифровой задачи.
7. Способ по п. 1, в котором определение упомянутого по меньшей мере одного набора упомянутых электронных устройств из множества электронных устройств инициируется приемом сервером следующей цифровой задачи.
8. Способ по п. 1, дополнительно содержащий определение по меньшей мере одного другого набора упомянутых электронных устройств для передачи на соответствующие электронные устройства другой следующей задачи, отличной от упомянутой следующей задачи.
9. Способ по п. 8, в котором упомянутый по меньшей мере один набор упомянутых электронных устройств и упомянутый по меньшей мере один другой набор упомянутых электронных устройств по меньшей мере частично совпадают.
10. Способ по п. 9, в котором упомянутый по меньшей мере один набор упомянутых электронных устройств и упомянутый по меньшей мере один другой набор упомянутых электронных устройств являются взаимоисключающими.
11. Исполняемый компьютером способ определения качества обучающих данных, сгенерированных для обучения исполняемого компьютером алгоритма машинного обучения (MLA) для классификации данных, причем обучающие данные основаны на цифровых задачах, доступных множеству электронных устройств, связанных с множеством оценщиков; причем способ исполняется в сетевой вычислительной среде краудсорсинговой платформы на сервере, включающем в себя процессор, причем способ содержит:
извлечение процессором определенного набора данных собственно обучающих данных, причем упомянутый набор данных включает в себя:
множество результатов в ответ на предоставление определенной цифровой задачи множеству упомянутых электронных устройств;
на основе множества результатов, определение процессором метрики согласованности среди результатов упомянутого множества, указывающей апостериорную вероятность того, что результат, обеспеченный большинством из множества упомянутых электронных устройств, является правильным результатом для данной цифровой задачи,
причём метрика согласованности указывает число электронных устройств из упомянутого множества, обеспечивших одинаковый результат для данной цифровой задачи;
в ответ на то, что метрика согласованности больше или равна предопределенному порогу согласованности, использование процессором упомянутого набора данных для обучения исполняемого компьютером MLA; и
в ответ на то, что метрика согласованности ниже упомянутого предопределенного порога согласованности, удаление процессором упомянутого набора данных из обучающих данных.
12. Способ по п. 11, в котором метрику согласованности определяют в соответствии с уравнением:
где zMV является результатом из множества результатов, обеспеченным большинством из множества упомянутых электронных устройств,
ywi является определенным одним из множества результатов, обеспеченным соответствующим одним из множества упомянутых электронных устройств,
qwi = является взвешенным соответствующим показателем качества соответствующего одного из множества упомянутых электронных устройств, и
δ является бинарной функцией, возвращающей 1, если ее аргумент истинен, иначе возвращающей 0.
13. Система для генерирования обучающих данных для исполняемого компьютером алгоритма машинного обучения (MLA) для классификации данных, причем обучающие данные основаны на цифровых задачах, доступных множеству электронных устройств, связанных с множеством оценщиков, причем система реализована в сетевой вычислительной среде краудсорсинговой платформы и включает в себя сервер, дополнительно включающий в себя:
процессор, соединённый с возможностью передачи данных по сети связи с электронными устройствами, связанными с упомянутым множеством электронных устройств,
постоянный машиночитаемый носитель, на котором сохранены инструкции,
причем процессор, при исполнении упомянутых инструкций, выполнен с возможностью:
извлечения процессором данных об упомянутых электронных устройствах, связанных с множеством электронных устройств, из базы данных, причем данные об электронных устройствах включают в себя данные, указывающие прошлые показатели для соответствующих электронных устройств из множества упомянутых электронных устройств, выполняющих определенную цифровую задачу, в том числе данные, указывающие множество результатов в ответ на предоставление упомянутой цифровой задачи множеству упомянутых электронных устройств;
определения процессором метрики согласованности среди результатов из упомянутого множества результатов, указывающей апостериорную вероятность того, что результат, обеспеченный большинством из множества упомянутых электронных устройств, является правильным результатом для данной цифровой задачи;
на основе множества результатов, определения по меньшей мере одного набора электронных устройств из множества электронных устройств таким образом, чтобы метрика согласованности среди результатов, обеспеченных упомянутым по меньшей мере одним набором упомянутых электронных устройств для данной цифровой задачи, была максимальной, путём исключения из множества электронных устройств по меньшей мере одного из электронных устройств, которые обеспечили результаты, отличные от результатов, обеспеченных большинством из множества электронных устройств,
передачи следующей цифровой задачи на соответствующие электронные устройства, связанные с упомянутым по меньшей мере одним набором упомянутых электронных устройств; и
генерирования обучающих данных для исполняемого компьютером MLA, включающих в себя данные, сгенерированные в ответ на выполнение соответствующими электронными устройствами из упомянутого по меньшей мере одного набора электронных устройств упомянутой следующей цифровой задачи.
14. Система по п. 13, в которой процессор выполнен с возможностью определения метрики согласованности в соответствии с уравнением:
где zMV является результатом из множества результатов, обеспеченным большинством из множества упомянутых электронных устройств,
ywi является определенным одним из множества результатов, обеспеченным соответствующим одним из множества упомянутых электронных устройств,
qwi = является взвешенным соответствующим показателем качества соответствующего одного из множества электронных устройств, и
δ является бинарной функцией, возвращающей 1, если ее аргумент истинен, иначе возвращающей 0.
15. Система по п. 13, в которой определенный один из множества электронных устройств имеет предопределенный показатель качества, и процессор выполнен с возможностью определения по меньшей мере одного набора электронных устройств таким образом, чтобы определенный один из по меньшей мере одного набора упомянутых электронных устройств имел соответствующий предопределенный показатель качества в пределах предопределенного диапазона показателей качества.
16. Система по п. 15, в которой процессор выполнен с возможностью определения упомянутого по меньшей мере одного набора электронных устройств для типа следующей цифровой задачи, причем типом является один из набора предопределенных типов.
17. Система по п. 16, в которой тип следующей задачи связан с предопределенным диапазоном показателей качества.
18. Система по п. 15, в которой процессор выполнен с возможностью определения соответствующего предопределенного показателя качества на основе точности выполнения определенным одним из упомянутого по меньшей мере одного набора электронных устройств контрольной цифровой задачи.
19. Система по п. 13, в которой процессор выполнен с возможностью определения по меньшей мере одного набора электронных устройств из множества электронных устройств в ответ на прием следующей цифровой задачи.
20. Система по п. 13, в которой процессор дополнительно выполнен с возможностью определения по меньшей мере одного другого набора упомянутых электронных устройств для передачи на соответствующие электронные устройства другой следующей задачи, отличной от упомянутой следующей задачи,
упомянутый по меньшей мере один набор упомянутых электронных устройств и упомянутый по меньшей мере один другой набор упомянутых электронных устройств по меньшей мере частично совпадают.
| Изложница с суживающимся книзу сечением и с вертикально перемещающимся днищем | 1924 |
|
SU2012A1 |
| Способ защиты переносных электрических установок от опасностей, связанных с заземлением одной из фаз | 1924 |
|
SU2014A1 |
| Способ защиты переносных электрических установок от опасностей, связанных с заземлением одной из фаз | 1924 |
|
SU2014A1 |
| Способ восстановления спиралей из вольфрамовой проволоки для электрических ламп накаливания, наполненных газом | 1924 |
|
SU2020A1 |
| СПОСОБ ПОДГОТОВКИ РЕКОМЕНДАЦИЙ ДЛЯ ПРИНЯТИЯ РЕШЕНИЙ НА ОСНОВЕ КОМПЬЮТЕРИЗИРОВАННОЙ ОЦЕНКИ СПОСОБНОСТЕЙ ПОЛЬЗОВАТЕЛЕЙ | 2017 |
|
RU2672171C1 |
