Область техники, к которой относится изобретение
[1] Настоящая технология относится к компьютерным способам и системам машинного обучения, в частности, к способам и системам формирования обучающих данных для нейронной сети.
Уровень техники
[2] В известных решениях предложены и реализованы компьютерные навигационные системы, способствующие навигации и/или управлению транспортным средством. Известны различные системы такого рода: от простых решений, основанных на определении местоположения на карте и использующих компьютерную систему для помощи водителю в навигации на маршруте от пункта отправления до пункта назначения, до более сложных решений, таких как компьютеризированные и/или автономные системы вождения.
[3] Некоторые из этих систем реализованы в виде широко известной системы круиз-контроля. В этом случае компьютерная система, установленная на транспортном средстве, поддерживает заданную пользователем скорость движения транспортного средства. Некоторые системы круиз-контроля реализуют систему интеллектуального управления дистанцией, позволяя пользователю задавать расстояние до идущего впереди автомобиля (например, выбирать значение, выраженное в количестве транспортных средств). В дальнейшем компьютерная система регулирует скорость транспортного средства, по меньшей мере частично, в зависимости от его приближения к впереди идущему транспортному средству на заранее заданное расстояние. Некоторые из систем круиз-контроля дополнительно оснащены системами предупреждения столкновений, которые при обнаружении транспортного средства (или другого препятствия) перед движущимся транспортным средством замедляют или останавливают его.
[4] Некоторые из наиболее передовых систем обеспечивают полностью автономное движение транспортного средства без непосредственного участия оператора (т.е. водителя) в управлении. Такие автономно управляемые транспортные средства содержат компьютерные системы, способные ускорять, замедлять, останавливать, перестраивать в другой ряд и самостоятельно парковать транспортное средство.
[5] Одна из основных технических проблем, возникающих при реализации вышеупомянутых компьютерных систем, заключается в способности компьютерной системы обнаруживать объекты вокруг транспортного средства. Например, компьютерным системам требуется способность обнаруживать другое транспортное средство впереди транспортного средства с установленной компьютерной системой, которое может представлять опасность для этого транспортного средства и требовать принятия компьютерной системой упреждающих мер, таких как торможение или иное изменение скорости, остановка или перестроение в другой ряд.
[6] В частности, проблема обнаружения объекта заключается не только в двоичном обнаружении (наличие или отсутствие объекта), но и в определении его скорости, а также в точности, связанной с таким анализом и обнаружением (особенно в предотвращении ложноотрицательных результатов, когда система не обнаруживает объект, в действительности присутствующий впереди транспортного средства или рядом с ним).
[7] Важность этой проблемы иллюстрируется следующим гипотетическим сценарием. Можно предположить, что самоуправляемое или частично автономное транспортное средство движется по маршруту. Ребенок (или взрослый или домашнее животное и т.д.) бежит перед транспортным средством. От управляющей транспортным средством компьютерной системы требуется быстро обнаружить наличие объекта и выполнить корректирующие действия, чтобы избежать столкновения. Разумеется, что чем быстрее компьютерная система обнаруживает наличие объекта, тем больше времени она имеет для определения корректирующего действия и выдачи команды транспортному средству на выполнение этого корректирующего действия.
[8] Следует также отметить, что компьютерная система, управляющая транспортным средством, также должна точно определять границы объекта. Разумеется, что границы объектов, например, полос движения, должны быть точно определены, чтобы определять расположение транспортного средства по отношению к полосам движения и при необходимости выполнять корректирующие действия. Другими словами, задача обнаружения объектов заключается не только в классификации объектов (например, автомобиль, человек, дерево и т.д.), но и в локализации этих объектов.
Раскрытие изобретения
[9] Разработчики настоящей технологии обнаружили, что известным решениям для обнаружения объектов присущи недостатки. В частности, известные технологии могут несогласованно локализовывать объекты при их обнаружении. Например, расположение объекта на одном изображении и расположение этого же объекта на практически аналогичном изображении могут оказываться несогласованными.
[10] Разработчики настоящей технологии обнаружили, что существенные отличия при прогнозировании расположения объекта на практически одинаковых изображениях представляют определенную проблему и это может указывать на неправильное обучение алгоритма машинного обучения, используемого для прогнозирования. В случае, когда обнаружение объекта используется для управления траекторией транспортного средства, неодинаковая локализация объектов может представлять опасность, поскольку управление транспортным средством при этом может выполняться, исходя из смещенного расположения обнаруживаемого объекта.
[11] Поэтому разработчики настоящей технологии разработали способы и компьютерные устройства для повторного обучения нейронных сетей обнаружения объектов (ODNN, Object Detecting Neural Networks), чтобы они могли локализовать объекты на изображениях более согласованным образом, т.е. сеть ODNN можно повторно обучать, чтобы для похожих изображений объекта определялись близкие места расположения этого объекта на похожих изображениях.
[12] В некоторых вариантах осуществления настоящей технологии разработчиками предусмотрена возможность формирования с помощью компьютерного устройства набора данных для повторного обучения сети ODNN на основе цифрового сигнала датчика, такого как камера, фиксирующего изображения зоны вокруг движущегося транспортного средства, на котором установлен этот датчик. Другими словами, разработчиками настоящей технологии предусмотрено, что во время движения транспортного средства датчик может фиксировать цифровой сигнал и на основе этого цифрового сигнала компьютерное устройство может формировать набор данных для повторного обучения сети ODNN, позволяющий более согласованно локализовать объекты на изображениях.
[13] Кроме того, разработчиками настоящей технологии предусмотрено, что компьютерное устройство может определять зоны несогласованного обнаружения на маршруте движения транспортного средства. Например, компьютерное устройство может определять и отслеживать географические места, в которых локализация объектов по изображениям, полученным для этих географических мест, была несогласованной.
[14] Другими словами, не имеющие ограничительного характера примеры настоящей технологии направлены на формирование набора данных для повторного обучения, сфокусированного на выборках, для которых сеть ODNN давала несогласованный прогноз на основе двух изображений с по существу аналогичными признаками (т.е. двух изображений, смежных друг с другом во времени и пространстве). Таким образом, не имеющие ограничительного характера варианты осуществления настоящей технологии позволяют формировать такой набор данных для повторного обучения, который фокусирует сеть ODNN на «плохо поддающихся обучению» областях, т.е. на областях, где сеть ODNN имеет тенденцию давать ошибочный прогноз.
[15] Следует отметить, что в некоторых вариантах осуществления настоящей технологии компьютерное устройство может использовать сеть ODNN для обнаружения объектов. Также следует отметить, что это компьютерное устройство может использовать данные, выдаваемые сетью ODNN, для управления транспортным средством. Например, транспортное средство может быть полуавтономным или полностью автономным транспортным средством, управляемым компьютерным устройством, по меньшей мере частично, на основе данных, выдаваемых сетью ODNN.
[16] Кроме того, предполагается, что компьютерное устройство может управлять таким транспортным средством, по меньшей мере частично, на основе данных, выдаваемых сетью ODNN, без вмешательства человека. Компьютерное устройство может управлять транспортным средством на основе данных, по меньшей мере частично, выдаваемых сетью ODNN, и не требовать анализа человеком данных, выдаваемых сетью ODNN. Компьютерное устройство может управлять транспортным средством на основе данных, по меньшей мере частично, выдаваемых сетью ODNN, и не требовать принятия решения человеком на основе данных, выдаваемых сетью ODNN. Компьютерное устройство может управлять транспортным средством на основе данных, по меньшей мере частично, выдаваемых сетью ODNN, и не требовать управления транспортным средством человеком. Компьютерное устройство может управлять транспортным средством на основе прогнозов, по меньшей мере частично, сделанных сетью ODNN, и не требовать принятия решения человеком на основе этих прогнозов для управления транспортным средством.
[17] В соответствии с первым аспектом настоящей технологии реализован способ формирования набора данных для повторного обучения сети ODNN. Сеть ODNN обучена обнаруживать объекты в цифровом сигнале, фиксируемом движущимся транспортным средством, путем определения части цифрового изображения, соответствующей этим объектам. Способ может выполняться компьютерным устройством. Способ включает в себя ввод в сеть ODNN первого цифрового изображения. Первое цифровое изображение представляет собой цифровой сигнал в первый момент времени. Сеть ODNN способна обнаруживать объект на первом цифровом изображении путем определения первой части первого цифрового изображения, соответствующей этому объекту. Способ включает в себя ввод в сеть ODNN второго цифрового изображения. Второе цифровое изображение представляет собой цифровой сигнал во второй момент времени после первого момента времени. Сеть ODNN способна обнаруживать объект на втором цифровом изображении путем определения второй части второго цифрового изображения, соответствующей этому объекту. Способ включает в себя сравнение первой части первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения этого объекта. Степень подобия обнаружения указывает на степень схожести прогнозов при обнаружении этого объекта, выполняемых сетью ODNN в первый момент времени и во второй момент времени. При уменьшении степени подобия обнаружения ниже заранее заданного порогового значения способ включает в себя использование по меньшей мере одного из первого цифрового изображения и второго цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из первого цифрового изображения и второго цифрового изображения, занятую этим объектом на соответствующем одном из первого цифрового изображения и второго цифрового изображения. Способ включает в себя повторное обучение сети ODNN на основе по меньшей мере одного из первого цифрового изображения и второго цифрового изображения и оцененной человеком метки.
[18] В некоторых вариантах осуществления способа компьютерное устройство может быть реализовано в виде процессора. Например, способ может выполняться процессором электронного устройства. В другом примере способ может выполняться процессором сервера.
[19] В некоторых вариантах осуществления способа сравнение первой части первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения включает в себя применение анализа пересечения и объединения множеств (IOU, Intersection Over Union).
[20] В некоторых вариантах осуществления способа применение IOU-анализа включает в себя определение пересечения первой части и второй части и определение объединения первой части и второй части.
[21] В некоторых вариантах осуществления способа он дополнительно включает в себя получение от человека-оценщика указания на действительную часть, занятую объектом. Действительная часть, занятая объектом, определяется человеком-оценщиком на основе действительного состояния этого объекта.
[22] В некоторых вариантах осуществления способ дополнительно включает в себя получение от человека-оценщика указания на действительную часть, занятую объектом. Действительная часть, занятая объектом, определяется человеком-оценщиком на основе искусственного изменения состояния этого объекта.
[23] В некоторых вариантах осуществления способа повторное обучение сети ODNN выполняется для обнаружения объектов в соответствии с действительными состояниями объектов.
[24] В некоторых вариантах осуществления способа повторное обучение сети ODNN выполняется для обнаружения объектов в соответствии с искусственно измененными состояниями объектов.
[25] В некоторых вариантах осуществления способа повторное обучение сети ODNN выполняется на основе первого цифрового изображения, второго цифрового изображения и соответствующих оцененных человеком меток.
[26] В некоторых вариантах осуществления способа он дополнительно включает в себя ввод в сеть ODNN третьего цифрового изображения. Третье цифровое изображение представляет собой цифровой сигнал в третий момент времени. Сеть ODNN способна обнаруживать объект на третьем цифровом изображении путем определения третьей части третьего цифрового изображения, соответствующей этому объекту. Способ дополнительно включает в себя ввод в сеть ODNN четвертого цифрового изображения. Четвертое цифровое изображение представляет собой цифровой сигнал в четвертый момент времени после третьего момента времени. Сеть ODNN способна обнаруживать объект на четвертом цифровом изображении путем определения четвертой части четвертого цифрового изображения, соответствующей этому объекту. Способ дополнительно включает в себя сравнение третьей части третьего цифрового изображения с четвертой частью четвертого цифрового изображения для определения степени подобия обнаружения этого объекта. Степень подобия обнаружения указывает на степень схожести прогнозов при обнаружении этого объекта, выполняемых сетью ODNN в третий момент времени и в четвертый момент времени. При уменьшении степени подобия обнаружения ниже заранее заданного порогового значения способ дополнительно включает в себя использование по меньшей мере одного из третьего цифрового изображения и четвертого цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из третьего цифрового изображения и четвертого цифрового изображения, занятую этим объектом на соответствующем одном из третьего цифрового изображения и четвертого цифрового изображения.
[27] В некоторых вариантах осуществления способа по меньшей мере одно из первого цифрового изображения и второго цифрового изображения с соответствующей оцененной человеком меткой и по меньшей мере одним из третьего цифрового изображения и четвертого цифрового изображения с соответствующей оцененной человеком меткой образуют, по меньшей мере частично, набор данных для повторного обучения сети ODNN.
[28] В некоторых вариантах осуществления способа набор данных для повторного обучения сети ODNN используется для повторного обучения сети ODNN в отношении признаков цифровых изображений, на которых обнаружение объектов сетью ODNN оказывается несогласованным.
[29] В некоторых вариантах осуществления способа сеть ODNN обучена обнаружению объектов на основе обучающего цифрового изображения и оцененной человеком метки для объектов на этом обучающем цифровом изображении, при этом сеть ODNN прогнозирует классы объектов и расположение объектов на этом обучающем цифровом изображении.
[30] В некоторых вариантах осуществления способа область вокруг движущегося транспортного средства в по меньшей мере одно из: первого момента времени, второго момента времени, третьего момента времени, четвертого момента времени определяется как область несогласованного обнаружения.
[31] В некоторых вариантах осуществления способа повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN, когда транспортное средство находится в области несогласованного обнаружения.
[32] В некоторых вариантах осуществления способа повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в области несогласованного обнаружения.
[33] В некоторых вариантах осуществления способа повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в областях, подобных области несогласованного обнаружения.
[34] В соответствии со вторым аспектом настоящей технологии реализовано компьютерное устройство для формирования обучающих данных для повторного обучения сети ODNN. Сеть ODNN обучена обнаруживать объекты в цифровом сигнале, фиксируемом движущимся транспортным средством, путем определения части цифрового изображения, соответствующей этим объектам. Компьютерное устройство способно вводить в сеть ODNN первое цифровое изображение. Первое цифровое изображение представляет собой цифровой сигнал в первый момент времени. Сеть ODNN способна обнаруживать объект на первом цифровом изображении путем определения первой части первого цифрового изображения, соответствующей этому объекту. Компьютерное устройство способно вводить в сеть ODNN второе цифровое изображение. Второе цифровое изображение представляет собой цифровой сигнал во второй момент времени после первого момента времени. Сеть ODNN способна обнаруживать объект на втором цифровом изображении путем определения второй части второго цифрового изображения, соответствующей этому объекту. Компьютерное устройство способно сравнивать первую часть первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения этого объекта. Степень подобия обнаружения указывает на степень схожести прогнозов при обнаружении этого объекта, выполняемых сетью ODNN в первый момент времени и во второй момент времени. При уменьшении степени подобия обнаружения ниже заранее заданного порогового значения компьютерное устройство выполнено с возможностью использовать по меньшей мере одно из первого цифрового изображения и второго цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из первого цифрового изображения и второго цифрового изображения, занятую этим объектом на соответствующем по меньшей мере одном из первого цифрового изображения и второго цифрового изображении. Компьютерное устройство способно повторно обучать сеть ODNN на основе по меньшей мере одного из первого цифрового изображения и второго цифрового изображения и/или оцененной человеком метки.
[35] В некоторых вариантах осуществления компьютерного устройства сравнение первой части первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения предполагает способность компьютерного устройства применять IOU-анализ.
[36] В некоторых вариантах осуществления компьютерного устройства применение IOU-анализа включает в себя определение пересечения первой части и второй части и определение объединения первой части и второй части.
[37] В некоторых вариантах осуществления компьютерного устройства оно дополнительно способно получать от человека-оценщика указание на действительную часть, занятую объектом. Действительная часть, занятая объектом, определяется человеком-оценщиком на основе действительного состояния этого объекта.
[38] В некоторых вариантах осуществления компьютерного устройства оно дополнительно способно получать от человека-оценщика указание на действительную часть, занятую объектом. Действительная часть, занятая объектом, определяется человеком-оценщиком на основе искусственно измененного состояния этого объекта.
[39] В некоторых вариантах осуществления компьютерного устройства повторное обучение сети ODNN выполняется для обнаружения объектов в соответствии с действительными состояниями этих объектов.
[40] В некоторых вариантах осуществления компьютерного устройства повторное обучение сети ODNN выполняется для обнаружения объектов в соответствии с искусственно измененными состояниями объектов.
[41] В некоторых вариантах осуществления компьютерного устройства повторное обучение сети ODNN выполняется на основе первого цифрового изображения, второго цифрового изображения и соответствующих оцененных человеком меток.
[42] В некоторых вариантах осуществления компьютерного устройства компьютерное устройство дополнительно способно вводить в сеть ODNN третье цифровое изображение. Третье цифровое изображение представляет собой цифровой сигнал в третий момент времени. Сеть ODNN способна обнаруживать объект на третьем цифровом изображении путем определения третьей части третьего цифрового изображения, соответствующей этому объекту. Компьютерное устройство способно вводить в сеть ODNN четвертое цифровое изображение. Четвертое цифровое изображение представляет собой цифровой сигнал в четвертый момент времени после третьего момента времени. Сеть ODNN способна обнаруживать объект на четвертом цифровом изображении путем определения четвертой части четвертого цифрового изображения, соответствующей этому объекту. Компьютерное устройство дополнительно выполнено с возможностью сравнивать третью часть третьего цифрового изображения с четвертой частью четвертого цифрового изображения для определения степени подобия обнаружения этого объекта. Степень подобия обнаружения указывает на степень схожести прогнозов при обнаружении этого объекта, выполняемых сетью ODNN в третий момент времени и в четвертый момент времени. При уменьшении степени подобия обнаружения ниже заранее заданного порогового значения компьютерное устройство дополнительно способно использовать по меньшей мере одно из третьего цифрового изображения и четвертого цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из третьего цифрового изображения и четвертого цифрового изображения, занятую этим объектом на соответствующем одном из третьего цифрового изображения и четвертого цифрового изображения.
[43] В некоторых вариантах осуществления компьютерного устройства по меньшей мере одно из первого цифрового изображения и/ второго цифрового изображения с соответствующей оцененной человеком меткой и по меньшей мере одно из третьего цифрового изображения и четвертого цифрового изображения с соответствующей оцененной человеком меткой образуют, по меньшей мере частично, набор данных для повторного обучения сети ODNN.
[44] В некоторых вариантах осуществления компьютерного устройства набор данных для повторного обучения сети ODNN используется для повторного обучения сети ODNN в отношении признаков цифровых изображений, на которых обнаружение объектов сетью ODNN оказывается несогласованным.
[45] В некоторых вариантах осуществления компьютерного устройства сеть ODNN обучена обнаружению объектов на основе обучающего цифрового изображения и оцененной человеком метки для объектов на этом обучающем цифровом изображении, при этом сеть ODNN прогнозирует классы объектов и расположение объектов на этом обучающем цифровом изображении.
[46] В некоторых вариантах осуществления компьютерного устройства область вокруг движущегося транспортного средства в одно из: первого момента времени, второго момента времени, третьего момента времени, четвертого момента времени определяется как область несогласованного обнаружения.
[47] В некоторых вариантах осуществления компьютерного устройства повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN, когда транспортное средство находится в области несогласованного обнаружения.
[48] В некоторых вариантах осуществления компьютерного устройства повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в области несогласованного обнаружения.
[49] В некоторых вариантах осуществления компьютерного устройства повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в областях, подобных области несогласованного обнаружения.
[50] В контексте данного описания термин «сервер» означает компьютерную программу, выполняемую соответствующими аппаратными средствами и способную принимать запросы (например от клиентских устройств) через сеть и выполнять эти запросы или инициировать их выполнение. Аппаратные средства могут быть реализованы в виде одного физического компьютера или одной компьютерной системы, что не существенно для настоящей технологии. В настоящем контексте выражение «сервер» не означает, что каждая задача (например, принятая команда или запрос) или некоторая конкретная задача принимается, выполняется или запускается одним и тем же сервером (т.е. одними и теми же программными и/или аппаратными средствами). Это выражение означает, что любое количество программных средств или аппаратных средств может принимать, отправлять, выполнять или запускать выполнение любой задачи или запроса либо результатов любых задач или запросов. Все эти программные и аппаратные средства могут представлять собой один сервер или несколько серверов, при этом оба эти случая подразумеваются в выражении «по меньшей мере один сервер».
[51] В контексте данного описания термин «электронное устройство» означает любое компьютерное аппаратное средство, способное выполнять программы, подходящие для решения поставленной задачи. В контексте данного описания термин «электронное устройство» подразумевает, что устройство может функционировать в качестве сервера для других электронных устройств и клиентских устройств, тем не менее, это не обязательно для настоящей технологии. Таким образом, некоторые (не имеющие ограничительного характера) примеры электронных устройств включают в себя персональные компьютеры (настольные, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Должно быть понятно, что в настоящем контексте тот факт, что устройство функционирует в качестве электронного устройства, не означает, что оно не может функционировать в качестве сервера для других электронных устройств. Использование выражения «электронное устройство» не исключает использования нескольких клиентских устройств для приема, отправки, выполнения или инициирования выполнения любой задачи или запроса либо результатов любых задач или запросов либо шагов любого описанного здесь способа.
[52] В контексте данного описания термин «клиентское устройство» означает любое компьютерное аппаратное средство, способное выполнять программы, подходящие для решения поставленной задачи. В контексте данного описания термин «клиентское устройство» в общем случае связан с пользователем клиентского устройства. Таким образом, некоторые (не имеющие ограничительного характера) примеры клиентских устройств включают в себя персональные компьютеры (настольные, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует отметить, что в данном контексте устройство, функционирующее как клиентское устройство, также может функционировать как сервер для других клиентских устройств. Использование выражения «клиентское устройство» не исключает использования нескольких клиентских устройств для приема, отправки, выполнения или инициирования выполнения любой задачи или запроса либо результатов любых задач или запросов либо шагов любого описанного здесь способа.
[53] В контексте данного описания выражение «информация» включает в себя в себя информацию любого рода или вида, допускающую хранение в базе данных. Таким образом, информация включает в себя в себя аудиовизуальные произведения (изображения, фильмы, звукозаписи, презентации и т.д.), данные (данные о местоположении, числовые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы и т.д., но не ограничивается ими.
[54] В контексте данного описания выражение «программный компонент» включает в себя в себя обозначение программного обеспечения (подходящего для определенных аппаратных средств), необходимого и достаточного для выполнения определенной функции или нескольких функций.
[55] В контексте данного описания выражение «носитель компьютерной информации» (также называется «носителем информации») означает носители любого рода и вида, включая оперативные запоминающие устройства (ОЗУ), постоянные запоминающие устройства (ПЗУ), диски (CD-ROM, DVD, гибкие диски, жесткие диски и т.д.), USB-накопители, твердотельные накопители, накопители на магнитных лентах и т.д. Для формирования носителя компьютерной информации может быть объединено множество элементов, включая два или более элементов носителя информации одного вида и/или два или более элементов носителя информации различных видов.
[56] В контексте данного описания термин «база данных» означает любой структурированный набор данных, независимо от его конкретной структуры, программного обеспечения для управления базой данных или компьютерных аппаратных средств для хранения этих данных, их применения или обеспечения их использования иным способом. База данных может располагаться в тех же аппаратных средствах, где реализован процесс, обеспечивающий хранение или использование информации, хранящейся в базе данных, либо база данных может располагаться в отдельных аппаратных средствах, таких как специализированный сервер или множество серверов.
[57] В контексте данного описания числительные «первый» «второй», «третий» и т.д. используются лишь для указания различия между существительными, к которым они относятся, а не для описания каких-либо определенных взаимосвязей между этими существительными. Например, должно быть понятно, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо определенного порядка, вида, хронологии, иерархии или классификации, в данном случае, серверов, а также что их использование (само по себе) не подразумевает наличие «второго сервера» в любой ситуации. Кроме того, как встречается в настоящем описании в другом контексте, ссылка на «первый» элемент и «второй» элемент не исключает того, что эти два элемента в действительности могут быть одним и тем же элементом. Таким образом, например, в некоторых случаях «первый» сервер и «второй» сервер могут представлять собой один элемент программных и/или аппаратных средств, а в других случаях - различные элементы программных и/или аппаратных средств.
[58] Каждый вариант осуществления настоящей технологии относится к по меньшей мере одной из вышеупомянутых целей и/или аспектов, но не обязательно ко всем ним. Должно быть понятно, что некоторые аспекты настоящей технологии, связанные с попыткой достижения вышеупомянутой цели, могут не соответствовать этой цели и/или могут соответствовать другим целям, явным образом здесь не упомянутым.
[59] Дополнительные и/или альтернативные признаки, аспекты и преимущества вариантов осуществления настоящей технологии содержатся в дальнейшем описании, в приложенных чертежах и в формуле изобретения.
Краткое описание чертежей
[60] Эти и другие признаки, аспекты и преимущества настоящей технологии поясняются в дальнейшем описании, в приложенной формуле изобретения и на следующих чертежах.
[61] На фиг. 1 представлена схема примера компьютерной системы для реализации некоторых вариантов осуществления систем и/или способов согласно настоящей технологии.
[62] На фиг. 2 представлена сетевая компьютерная среда, пригодная для использования с некоторыми вариантами осуществления настоящей технологии.
[63] На фиг. 3 представлено первое цифровое изображение, зафиксированное датчиком сетевой компьютерной среды с фиг. 2, в соответствии с не имеющими ограничительного характера вариантами осуществления настоящей технологии.
[64] На фиг. 4 представлено первое цифровое изображение с фиг. 3 и первые данные обнаружения этапа использования, выданные нейронной сетью обнаружения объектов (ODNN), реализованной в сетевой компьютерной среде с фиг.2, в соответствии с не имеющими ограничительного характера вариантами осуществления настоящей технологии.
[65] На фиг. 5 представлено первое цифровое изображение, зафиксированное датчиком с фиг. 2, в соответствии с не имеющими ограничительного характера вариантами осуществления настоящей технологии.
[66] На фиг. 6 представлено второе цифровое изображение с фиг. 5 и вторые данные обнаружения этапа использования, выданные сетью ODNN, в соответствии с не имеющими ограничительного характера вариантами осуществления настоящей технологии.
[67] На фиг. 7 представлена блок-схема способа, выполняемого компьютерным устройством в соответствии с не имеющими ограничительного характера вариантами осуществления настоящей технологии.
Осуществление изобретения
[68] Представленные здесь примеры и условные обозначения предназначены для обеспечения лучшего понимания принципов настоящей технологии, а не для ограничения области ее применения такими конкретными приведенными примерами и условиями. Очевидно, что специалисты в данной области техники способны разработать различные способы и устройства, которые явно не описаны и не показаны, но реализуют принципы настоящей технологии в пределах ее существа и объема.
[69] Кроме того, чтобы способствовать лучшему пониманию, последующее описание может содержать упрощенные варианты реализации настоящей технологии. Специалистам в данной области должно быть понятно, что другие варианты осуществления настоящей технологии могут быть значительно сложнее.
[70] В некоторых случаях приводятся полезные примеры модификаций настоящей технологии. Они способствуют пониманию, но также не определяют объем или границы настоящей технологии. Представленный перечень модификаций не является исчерпывающим и специалист в данной области может разработать другие модификации в пределах объема настоящей технологии. Кроме того, если в некоторых случаях модификации не описаны, это не означает, что они невозможны и/или что описание содержит единственно возможный вариант реализации того или иного элемента настоящей технологии.
[71] Более того, описание принципов, аспектов и вариантов реализации настоящей технологии, а также их конкретные примеры предназначены для охвата их структурных и функциональных эквивалентов, независимо от того, известны они в настоящее время или будут разработаны в будущем. Например, специалистам в данной области техники должно быть очевидно, что любые описанные структурные схемы соответствуют концептуальным представлениям иллюстративных принципиальных схем, реализующих принципы настоящей технологии. Также должно быть очевидно, что любые блок-схемы, схемы процессов, диаграммы изменения состояния, псевдокоды и т.п. соответствуют различным процессам, которые могут быть представлены на машиночитаемом физическом носителе информации и могут выполняться компьютером или процессором, независимо от того, показан такой компьютер или процессор явно или нет.
[72] Функции различных элементов, показанных на чертежах, включая любой функциональный блок, обозначенный как «процессор», могут быть реализованы с использованием специализированных аппаратных средств, а также аппаратных средств, способных выполнять соответствующее программное обеспечение. Если используется процессор, эти функции могут выполняться одним выделенным процессором, одним совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут использоваться совместно. Кроме того, явное использование термина «процессор» или «контроллер» не должно трактоваться как указание исключительно на аппаратные средства, способные выполнять программное обеспечение, и может подразумевать, помимо прочего, аппаратные средства цифрового сигнального процессора (DSP), сетевой процессор, специализированную интегральную схему (ASIC), программируемую вентильную матрицу (FPGA), ПЗУ для хранения программного обеспечения, ОЗУ и энергонезависимое запоминающее устройство. Также могут подразумеваться и другие аппаратные средства, общего назначения и/или заказные.
[73] Программные модули или просто модули, реализация которых предполагается в виде программных средств, могут быть представлены здесь в виде любого сочетания элементов блок-схемы или других элементов, указывающих на выполнение шагов процесса и/или содержащих текстовое описание. Такие модули могут выполняться аппаратными средствами, показанными явно или подразумеваемыми.
[74] Далее с учетом изложенных выше принципов рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.
Компьютерная система
[75] На фиг. 1 представлена компьютерная система 100, пригодная для использования с некоторыми вариантами осуществления настоящей технологии и содержащая различные элементы аппаратных средств, включая один или несколько одно- или многоядерных процессоров, совместно представленных процессором 110, твердотельный накопитель 120 и память 130, которая может представлять собой ОЗУ или память любого другого вида.
[76] Связь между элементами компьютерной системы 100 может осуществляться через одну или несколько внутренних и/или внешних шин (не показаны) (таких как шина PCI, универсальная последовательная шина (USB), шина FireWire стандарта IEEE 1394, шина SCSI, шина Serial-ATA и т.д.), с которыми различные аппаратные элементы соединены электронным образом. Согласно вариантам осуществления настоящей технологии, твердотельный накопитель 120 хранит программные команды, пригодные для загрузки в память 130 и исполнения процессором 110 с целью определения наличия объекта. Например, программные команды могут входить в состав управляющего приложения транспортного средства, выполняемого процессором 110. Следует отметить, что компьютерная система 100 может содержать дополнительные и/или не обязательные элементы (не показаны), такие как модули передачи данных по сети, модули определения местоположения и т.д.
Сетевая компьютерная среда
[77] На фиг. 2 представлена сетевая компьютерная среда 200, пригодная для использования с некоторыми вариантами осуществления систем и/или способов согласно настоящей технологии. Сетевая компьютерная среда 200 содержит электронное устройство 210, связанное с транспортным средством 220 и/или с пользователем (не показан), который может управлять транспортным средством 220, сервер 235, соединенный с электронным устройством 210 через сеть 240 связи (например, через сеть Интернет и т.п., как более подробно описано ниже).
[78] Сетевая компьютерная среда 200 также может содержать спутник системы GPS (не показан), передающий сигнал GPS электронному устройству 210 и/или принимающий этот сигнал от него. Должно быть понятно, что настоящая технология не ограничивается системой GPS и может использовать технологию определения местоположения, отличную от системы GPS. Следует отметить, что спутник GPS может вовсе отсутствовать.
[79] Транспортное средство 220, с которым связано электронное устройство 210, может представлять собой любое транспортное средство для отдыха или перевозок, например, автомобиль для индивидуального или коммерческого использования, грузовой автомобиль, мотоцикл и т.д. Несмотря на то, что транспортное средство 220 изображено как наземное транспортное средство, оно может быть и другим в каждом варианте осуществления настоящей технологии. Например, транспортное средство 220 может быть плавучим средством, таким как лодка, или летательным аппаратом, таким как летающий дрон.
[80] Транспортное средство 220 может управляться пользователем или представлять собой самоуправляемое транспортное средство. Следует отметить, что не накладывается каких-либо ограничений на конкретные параметры транспортного средства 200, такие как производитель транспортного средства, модель транспортного средства, год выпуска транспортного средства, масса транспортного средства, размеры транспортного средства, распределение массы транспортного средства, площадь поверхности транспортного средства, высота транспортного средства, вид трансмиссии (например, привод на два или четыре колеса), вид шин, тормозная система, топливная система, пробег, идентификационный номер транспортного средства, рабочий объем двигателя и т.д.
[81] На реализацию электронного устройства 210 также не накладывается каких-либо ограничений. Например, электронное устройство 210 может быть реализовано в виде блока управления двигателем транспортного средства, центрального процессора транспортного средства, навигационного устройства транспортного средства (например, TomTom™, Garmin™), планшета, персонального компьютера, встроенного в транспортное средство 220, и т.д. Следует отметить, что электронное устройство 210 может быть постоянно связано или не связано с транспортным средством 220. Дополнительно или в качестве альтернативы, электронное устройство 210 может быть реализовано в устройстве беспроводной связи, таком как мобильный телефон (например, смартфон или радиотелефон). В некоторых вариантах осуществления изобретения электронное устройство 210 содержит дисплей 270.
[82] Электронное устройство 210 может содержать некоторые или все элементы компьютерной системы 100, представленной на фиг. 1. В некоторых вариантах осуществления изобретения электронное устройство 210 представляет собой бортовое компьютерное устройство и содержит процессор 110, твердотельный накопитель 120 и память 130. Иными словами, электронное устройство 210 содержит аппаратные средства и/или прикладное программное обеспечение и/или встроенное программное обеспечение либо их сочетание для обработки данных, как более подробно описано ниже.
Датчик
[83] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, электронное устройство 210 дополнительно содержит или имеет доступ к датчику 230, способному фиксировать одно или несколько цифровых изображений по меньшей мере части окружающей области 250 вокруг транспортного средства 220. Датчик 230 соединен с процессором 110 для передачи зафиксированной информации в процессор 110 для ее обработки, как более подробно описано ниже.
[84] В некотором не имеющем ограничительного характера примере датчик 230 содержит камеру. На реализацию камеры не накладывается каких-либо особых ограничений. Например, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии камера может быть реализована в виде черно-белой камеры с разрешением, достаточным для обнаружения объектов на заранее заданном расстоянии приблизительно до 30 м (тем не менее, без выхода за границы настоящего изобретения могут использоваться камеры с другим разрешением и другой дальностью действия).
[85] Датчик 230 может устанавливаться с внутренней стороны в верхней части ветрового стекла транспортного средства 220, но в пределах объема настоящего изобретения также возможны и другие места, включая заднее окно, боковые окна, передний капот, крышу, переднюю решетку радиатора или передний бампер транспортного средства 220. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии датчик 230 может быть расположен в специальном кожухе (не показан), установленном сверху транспортного средства 220.
[86] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии датчик 230 может быть реализован в виде множества камер. Например, множество камер может содержать достаточное количество камер, чтобы фиксировать панорамное цифровое изображение окружающей зоны 250.
[87] В некоторых вариантах осуществления настоящей технологии камера (одна или несколько камер, в виде которых реализован датчик 230) способна фиксировать заранее заданную часть окружающей зоны 250 вокруг транспортного средства 220. В некоторых вариантах осуществления настоящей технологии камера способна фиксировать цифровое изображение (или последовательность цифровых изображений), соответствующее сектору окружающей зоны 250 вокруг транспортного средства 220 приблизительно в 90 градусов вдоль траектории движения транспортного средства 220.
[88] В других вариантах осуществления настоящей технологии камера способна фиксировать цифровое изображение (или последовательность цифровых изображений), соответствующее сектору окружающей зоны 250 вокруг транспортного средства 220 приблизительно в 180 градусов вдоль траектории движения транспортного средства 220.
[89] В других вариантах осуществления настоящей технологии камера способна фиксировать цифровое изображение (или последовательность цифровых изображений), соответствующее сектору окружающей зоны 250 вокруг транспортного средства 220 приблизительно в 360 градусов вдоль траектории движения транспортного средства 220 (иными словами, всю окружающую зону вокруг транспортного средства 220).
[90] Например, на фиг. 3 представлено первое цифровое изображение 300, зафиксированное датчиком 230. Первое цифровое изображение 300 представляет часть окружающей области 250 вокруг транспортного средства 220 в первый момент времени. Как видно на первом цифровом изображении 300, транспортное средство 220 движется по дороге, а другое транспортное средство (например, грузовой автомобиль) находится в окружающей области 250 вокруг транспортного средства 220.
[91] В другом примере на фиг. 5 приведено второе цифровое изображение 500, зафиксированное датчиком 230. Второе цифровое изображение 500 представляет часть окружающей области 250 вокруг транспортного средства 220 во второй момент времени после первого момента времени. Как видно на втором цифровом изображении 500, транспортное средство 220 также движется по дороге, а другое транспортное средство также находится в окружающей зоне 250 вокруг транспортного средства 220.
[92] Следует отметить, что первое цифровое изображение 300 и второе цифровое изображение 500 могут быть частью цифрового сигнала, фиксируемого датчиком 230. Иными словами, датчик 230 может фиксировать цифровой сигнал (например, в виде последовательности цифровых изображений). Таким образом, первое цифровое изображение 300 может представлять собой цифровой сигнал датчика 230 в первый момент времени, а второе цифровое изображение 500 может представлять собой цифровой сигнал датчика 230 во второй момент времени.
[93] В конкретном не имеющем ограничительного характера примере датчик 230 реализован в виде камеры, поставляемой компанией FLIR Integrated Imaging Solutions Inc., 12051 Riverside Way, Richmond, BC, V6W 1K7, Canada (Канада). Очевидно, что датчик 230 может быть реализован в виде любого другого подходящего оборудования.
[94] Следует отметить, что в некоторых вариантах осуществления настоящей технологии могут быть реализованы дополнительные датчики, помимо датчика 230. Например, на транспортном средстве 220 могут быть установлены и соединены с процессором 110 радиолокационные системы. В другом примере на транспортном средстве 220 могут быть установлены и соединены с процессором 110 лидарные системы - лазерные системы обнаружения и измерения дальности (LIDAR, LIght Detection And Ranging). Таким образом, транспортное средство 220, для простоты представлено на фиг. 2 лишь с датчиком 230, тем не менее, в других вариантах осуществления настоящей технологии в пределах ее сущности и объема транспортное средство 220 может быть реализовано с дополнительными датчиками, помимо датчика 230.
[95] В некоторых вариантах осуществления настоящей технологии датчик 230 может быть откалиброван. Такая калибровка может выполняться во время изготовления и/или настройки транспортного средства 220 или в любой удобный последующий момент времени. Иными словами, калибровка может выполняться во время модернизации транспортного средства 220 с датчиком 230 в соответствии с предлагаемыми здесь не имеющими ограничительного характера вариантами осуществления настоящей технологии. В качестве альтернативы, калибровка может выполняться во время оснащения транспортного средства 220 датчиком 230 в соответствии с предлагаемыми здесь не имеющими ограничительного характера вариантами осуществления настоящей технологии.
Сеть связи
[96] В некоторых вариантах осуществления настоящей технологии сеть 245 связи представляет собой сеть Интернет. В альтернативных не имеющих ограничительного характера вариантах осуществления изобретения сеть связи может быть реализована в виде любой подходящей локальной сети (LAN, Local Area Network), глобальной сети (WAN, Wide Area Network), частной сети связи и т.п. Очевидно, что варианты осуществления сети связи приведены лишь в иллюстративных целях. Реализация линии связи (отдельно не обозначена) между электронным устройством 210 и сетью 245 связи зависит, среди прочего, от реализации электронного устройства 210. Лишь в качестве примера, не имеющего ограничительного характера, в тех вариантах осуществления настоящей технологии, где электронное устройство 210 реализовано в виде устройства беспроводной связи, такого как смартфон или навигационное устройство, линия связи может быть реализована в виде беспроводной линии связи. Примеры беспроводных линий связи включают в себя канал сети связи 3G, канал сети связи 4G и т.п. В сети 245 связи также может использоваться беспроводное соединение с сервером 235.
Сервер
[97] В некоторых вариантах осуществления настоящей технологии сервер 235 реализован в виде традиционного компьютерного сервера и может содержать некоторые или все элементы компьютерной системы 100, представленной на фиг. 1. В одном не имеющем ограничительного характера примере сервер 215 реализован в виде сервера Dell™ PowerEdge™, работающего под управлением операционной системы Microsoft™ Windows Server™, но он также может быть реализован с использованием любых других подходящих аппаратных средств, прикладного программного обеспечения и/или встроенного программного обеспечения либо их сочетания. В представленных не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер является одиночным сервером. В других, не имеющих ограничительного характера вариантах осуществления настоящей технологии (не показаны) функции сервера 235 могут быть распределены между несколькими серверами.
[98] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 устройства 210 может быть соединен с сервером 235 для получения одного или нескольких обновлений. Обновления могут представлять собой обновления программного обеспечения, обновления карт, обновления маршрутов, обновления погодных данных и т.д. В некоторых вариантах осуществления настоящей технологии процессор 110 также может отправлять серверу 235 некоторые рабочие данные, такие как пройденные маршруты, данные о дорожном движении, рабочие характеристики и т.д. Некоторые или все данные, передаваемые между транспортным средством 220 и сервером 235, могут быть зашифрованы и/или обезличены.
Процессор
[99] Процессор 110 соединен с датчиком 230 для приема от него данных изображения. У процессора 110 есть доступ к сети ODNN. В целом, сеть ODNN представляет собой нейронную сеть (NN, Neural Network), способную выполнять обнаружение объектов на основе данных изображения, принимаемых от датчика 230 (и, возможно, от других источников данных изображения). Это означает, что процессор 110 способен принимать от датчика 230 данные изображения, представляющие собой цифровое изображение, и может с помощью сети ODNN выполнять (а) классификацию объектов на цифровом изображении и (б) локализацию объектов на цифровом изображении.
[100] Сеть ODNN может классифицировать объекты на цифровом изображении с отнесением их к одному или нескольким классам объектов. Классы объектов могут включать в себя «транспортное средство», «легковой автомобиль», «грузовой автомобиль», «человек», «животное», «дерево», «здание», «дорога», «полоса движения», «дорожный знак», «стена», «светофор» и т.п., но не ограничиваясь этим.
[101] В одном варианте осуществления изобретения сеть ODNN может выполнять классификацию объектов с отнесением их к одному классу. Это означает, что сеть ODNN может определять принадлежность этого объекта к определенному классу объектов. Например, сеть ODNN может определять принадлежность этого объекта к классу «транспортное средство».
[102] В других вариантах осуществления изобретения сеть ODNN может выполнять классификацию объектов с отнесением их к нескольким классам. Это означает, что сеть ODNN может определять принадлежность этого объекта к одному из множества классов объектов. Например, сеть ODNN может определять принадлежность этого объекта к одному из следующих классов объектов: «транспортное средство», «человек» или «полоса движения».
[103] Сеть ODNN может выполнять локализацию объектов на цифровом изображении путем определения части цифрового изображения, соответствующей этому объекту (или занятой этим объектом). Например, сеть ODNN может определять границы объекта на цифровом изображении (и/или границы части цифрового изображения, содержащей данный объект). В другом примере сеть ODNN может определять зону, в которой находится объект на данном цифровом изображении.
[104] Далее описано, как сеть ODNN может выполнять обнаружение объектов, т.е. классификацию и локализацию объектов на цифровых изображениях.
Нейронная сеть
[105] Как указано выше, сеть ODNN представляет собой нейронную сеть (NN). В общем случае сеть NN состоит из группы взаимосвязанных искусственных «нейронов», обрабатывающих информацию с использованием коннекционного подхода. Сети NN используются для моделирования сложных взаимосвязей между входными и выходными данными (без фактической информации об этих взаимосвязях) или для поиска закономерностей в данных. Сети NN сначала адаптируются на этапе обучения, когда они обеспечиваются известным набором входных данных и информацией с целью адаптации сети NN к формированию корректных выходных данных (для ситуации, в отношении которой выполняется попытка моделирования). На этапе обучения сеть NN адаптируется к изучаемой ситуации и изменяет свою структуру так, чтобы она могла обеспечивать адекватные предсказанные выходные данные для входных данных в новой ситуации (на основе того, что было изучено). Таким образом, вместо попытки определения сложных статистических закономерностей или математических алгоритмов для данной ситуации, сеть NN пытается предоставить «интуитивный» ответ на основе «восприятия» ситуации. Таким образом, сеть NN представляет собой некоторого рода обученный черный ящик, который может быть использован в ситуациях, когда содержимое ящика не имеет значения, а важно лишь то, что этот ящик предоставляет адекватные ответы для входных данных.
[106] Сети NN широко используются во многих таких ситуациях, где важно лишь получать выходные данные на основе входных данных и менее важна или вовсе не важна информация о том, как получаются эти выходные данные. Например, сети NN широко используются для оптимизации распределения веб-трафика между серверами и при обработке данных, включая фильтрацию, кластеризацию, разделение сигналов, сжатие, формирование векторов, распознавание речи и т.п.
[107] Сети NN можно разделить на несколько классов, которые могут иметь разную топологию или архитектуру, разные свойства и могут использоваться в различных приложениях. Один класс сетей NN включает в себя сверточные нейронные сети (CNN, Convolutional Neural Networks). Сети CNN - это многослойные сети NN, в структуре которых предусмотрены входной слой, выходной слой, а также множество скрытых слоев, которые могут (в зависимости от их конкретной реализации) включать в себя, например, сверточные слои, объединяющие слои, полносвязные слои и нормирующие слои. После глубокого обучения сети CNN могут использоваться для анализа визуальных образов и других приложений компьютерного зрения.
[108] Предполагается, что в некоторых вариантах осуществления настоящей технологии сеть ODNN, используемая процессором 110 для целей обнаружения объектов, может быть сетью CNN в пределах сущности и объема настоящей технологии.
[109] В целом, реализацию сети ODNN с использованием процессора 110 укрупненно можно разделить на два этапа - этап обучения и этап использования.
[110] Сначала сеть ODNN обучается на этапе обучения. На этапе обучения в сети ODNN может выполняться большое количество обучающих итераций. В общем случае, во время обучающей итерации в сеть ODNN вводятся (а) данные изображения, представляющие собой обучающее цифровое изображение, и (б) данные оцененной человеком метки (например, обучающая оцененная человеком метка) для объектов на обучающем цифровом изображении (например, данные оценки человеком обнаружения объекта). В частности, данные оцененной человеком метки могут содержать указания на классы объектов, идентифицированных людьми-оценщиками, а также указания на расположение объектов, идентифицированных людьми-оценщиками. Следовательно, сеть ODNN в некотором смысле «обучается» идентифицировать объекты, определять их классы и расположение на обучающем цифровом изображении на основе данных изображения, представляющих обучающее цифровое изображение. Предполагается, что сеть ODNN может быть реализована и обучена по меньшей мере одним из серверов 235 и/или процессоров 110 электронного устройства 210.
[111] Затем, на этапе использования, когда сеть ODNN «знает», какие данные следует ожидать в качестве входных данных (например, данные изображения, соответствующие цифровым изображениям) и какие данные следует выдавать в качестве выходных данных (например, данные обнаружения объекта - классы объектов и расположение объектов на цифровых изображениях), сеть ODNN запускается с данными этапа использования. В общем случае, на этапе использования в сеть ODNN вводятся данные изображения, соответствующие цифровому изображению этапа использования, а в ответ выдаются данные обнаружения объектов этапа использования, определяющие (а) присутствие объектов на цифровом изображении этапа использования, (б) классы этих объектов и (в) расположение этих объектов на цифровом изображении этапа использования.
[112] Далее подробно описан представленный на фиг. 3 и фиг. 4 первый не имеющий ограничительного характера пример этапа использования сети ODNN. Следует напомнить, что первое цифровое изображение 300 соответствует цифровому сигналу датчика 230 в первый момент времени. Это означает, что первое цифровое изображение 300 может быть цифровым изображением (относящимся к первому моменту времени) в последовательности цифровых изображений, зафиксированных датчиком 230 и переданных процессору 110 и/или серверу 235.
[113] Процессор 110 может вводить в сеть ODNN данные изображения, соответствующие первому цифровому изображению 300. Иными словами, процессор 110 может использовать данные изображения, соответствующие первому цифровому изображению 300, в качестве данных этапа использования для сети ODNN. В ответ сеть ODNN способна выдавать первые данные 490 обнаружения этапа использования, представленные на фиг. 4. В этом случае первые данные 490 обнаружения этапа использования указывают на то, что сеть ODNN обнаружила первый объект 400 и второй объект 450.
[114] Например, сеть ODNN может выдавать первые данные 490 обнаружения этапа использования, указывающие на то, что (а) первый объект 400 присутствует на первом цифровом изображении 300, (б) первый объект 400 относится к классу объектов «полоса движения» и (в) первый объект 400 расположен на первом цифровом изображении 300 в пределах первых границ 402.
[115] Можно сказать, что сеть ODNN способна обнаруживать первый объект 400 на первом цифровом изображении 300 путем определения первой части 403 (например, набора пикселей) первого цифрового изображения 300, соответствующей первому объекту 400. Например, первая часть 403 - это часть первого цифрового изображения 300, ограниченная первыми границами 402.
[116] Кроме того, сеть ODNN способна выдавать первые данные 490 обнаружения этапа использования, указывающие на то, что (а) второй объект 450 присутствует на первом цифровом изображении 300, (б) второй объект 450 относится к классу объектов «полоса движения» и (в) второй объект 450 расположен на первом цифровом изображении 300 в пределах вторых границ 452.
[117] Можно сказать, что сеть ODNN способна обнаруживать второй объект 450 на первом цифровом изображении 300 путем определения другой части 453 (например, другого набора пикселей) первого цифрового изображения 300, соответствующей второму объекту 450. Например, другая часть 453 - это часть первого цифрового изображения 300, ограниченная вторыми границами 452.
[118] Иными словами, можно сказать, что сеть ODNN обнаруживает наличие двух полос движения на дороге, по которой движется транспортное средство 220, где крайняя правая полоса движения дороги является первым объектом 400, а крайняя левая полоса движения дороги является вторым объектом 450. В некоторых вариантах осуществления изобретения сеть ODNN также может обнаруживать дополнительные объекты на первом цифровом изображении 300, например, объект, соответствующий другому транспортному средству (в частности, грузовой автомобиль). Тем не менее, для простоты изложения можно полагать, что сеть ODNN обнаруживает первый объект 400 и второй объект 450 на первом цифровом изображении 300.
[119] Далее подробно описан представленный на фиг. 5 и фиг. 6 второй не имеющий ограничительного характера пример этапа использования сети ODNN. Следует напомнить, что второе цифровое изображение 500 соответствует цифровому сигналу датчика 230 во второй момент времени. Второе цифровое изображение 500 может быть цифровым изображением (относящимся ко второму моменту времени) в последовательности цифровых изображений, зафиксированных датчиком 230 и переданных процессору 110 и/или серверу 235.
[120] В этом случае второй момент времени наступает после первого момента времени, связанного с первым цифровым изображением 300. Например, временной интервал между первым моментом времени и вторым моментом времени может быть порядка нескольких миллисекунд. В другом примере цифровой сигнал датчика 230 может быть представлен в видеоформате, при этом два кадра цифрового сигнала являются соответствующими кадрами первого цифрового изображения 300 и второго цифрового изображения 500. В некоторых вариантах осуществления изобретения первое цифровое изображение 300 и второе цифровое изображение 500 могут быть последовательными цифровыми изображениями цифрового сигнала датчика 230, но это не является обязательным для каждого варианта осуществления настоящей технологии.
[121] Процессор 110 и/или сервер 235 могут вводить в сеть ODNN данные изображения, соответствующие второму цифровому изображению 500. Иными словами, процессор 110 и/или сервер 235 могут использовать данные изображения, соответствующие первому цифровому изображению 500, в качестве данных этапа использования для сети ODNN. В ответ сеть ODNN может выдавать вторые данные 690 обнаружения этапа использования, представленные на фиг. 6. В этом случае вторые данные 690 обнаружения этапа использования указывают на то, что сеть ODNN обнаружила изменившийся первый объект 400′ вместо первого объекта 400 и второй объект 450.
[122] Например, сеть ODNN может выдавать вторые данные 690 обнаружения этапа использования, указывающие на то, что (а) изменившийся первый объект 400′ присутствует на втором цифровом изображении 500, (б) изменившийся первый объект 400′ относится к классу объектов «полоса движения» и (в) изменившийся первый объект 400′ расположен на втором цифровом изображении 500 в пределах третьих границ 502.
[123] Можно сказать, что сеть ODNN способна обнаруживать изменившийся первый объект 400′ на втором цифровом изображении 500 путем определения второй части 503 (например, набора пикселей) второго цифрового изображения 500, соответствующей изменившемуся первому объекту 400′. Например, вторая часть 503 - это часть второго цифрового изображения 500, ограниченная третьими границами 502.
[124] Иными словами, можно сказать, что сеть ODNN обнаруживает на основе второго цифрового изображения 500 наличие одной полосы движения на дороге, где эта полоса движения на дороге является измененным первым объектом 400′, в отличие от обнаружения наличия двух полос на дороге на основе первого цифрового изображения 300.
[125] Следует отметить, что как измененный первый объект 400′, так и первый объект 400, обнаруженные сетью ODNN, соответствуют одному и тому же реальному объекту (например, конкретной полосе движения), тем не менее, измененный первый объект 400′ и первый объект 400 были локализованы сетью ODNN по-разному при их обнаружении, т.е. сеть ODNN определила разные части (например, места расположения) соответствующих цифровых изображений, соответствующие одному и тому же реальному объекту.
[126] Следует отметить, что в этих не имеющих ограничительного характера примерах этапа использования сети ODNN не важно, сколько полос движения в действительности имеется на дороге, по которой движется транспортное средство 220 - одна или две. Независимо от того, одна или две полосы движения имеются на дороге, по которой движется транспортное средство 220, разработчики настоящей технологии пришли к выводу, что обнаружение сетью ODNN этого объекта на двух цифровых изображениях (которые были зафиксированы с небольшой разницей во времени) как имеющего существенно отличающиеся части (например, места расположения) на соответствующих цифровых изображениях является проблемой. Основанием для этого, по мнению разработчиков настоящей технологии, является то, что сеть ODNN получив почти одинаковые изображения с почти одинаковыми признаками, тем не менее, дает существенно отличающиеся прогнозы.
[127] Иными словами, не важно, какой результат выполненного сетью ODNN обнаружения более точен - на первом цифровом изображении 300 или на втором цифровом изображении 500. Независимо от того, какой результат выполненного сетью ODNN обнаружения более точен - на первом цифровом изображении 300 или на втором цифровом изображении 500, разработчики настоящей технологии пришли к выводу, что существенные отличия результатов выполненного сетью ODNN обнаружения на двух изображениях, зафиксированных с небольшой разницей во времени, свидетельствуют о наличии проблемы.
[128] Следует напомнить, что разработчики настоящей технологии разработали способы и системы для повторного обучения сети ODNN, чтобы сеть ODNN обнаруживала объекты более «согласованным» образом, независимо от действительных условий окружающей области 250 вокруг транспортного средства 220 (см. фиг. 2).
[129] Например, можно предположить, что в действительности на дороге, по которой движется транспортное средство 220, имеется лишь одна полоса движения. Можно также предположить, что эта единственная полоса движения настолько широка, что позволяет двум транспортным средствам двигаться по ней рядом (даже если это не разрешено правилами). Возможно, что в некоторых реализациях способа целесообразно обучать сеть ODNN обнаруживать одну широкую полосу движения на дороге, чтобы предсказывать/обнаруживать реальные дорожные условия на этапе использования.
[130] Тем не менее, также возможно, что в других реализациях целесообразно обучать сеть ODNN обнаруживать две полосы на дороге, что не соответствует реальным дорожным условиям, а скорее является «искусственно измененными» дорожными условиями. Обнаружение искусственно измененных дорожных условий (вместо реальных дорожных условий) может быть целесообразно для смягчения последствий риска, возникающего, например, в результате маневрирования на дороге при обгоне. Таким образом, обнаружение сетью ODNN двух полос движения на дороге (что является не реальными дорожными условиями, а искусственно измененными дорожными условиями) позволяет процессору 110 управлять транспортным средством 220 иначе, в том числе в плане маневрирования, «ожидая» возможного обгона вторым транспортным средством, даже если на дороге имеется лишь одна полоса движения.
[131] Поэтому, независимо от целесообразности обнаружения одной или двух полос движения на дороге, по которой движется транспортное средство 220, желательно обнаруживать полосы движения на этой дороге согласованным образом (путем обнаружения либо действительных, либо искусственно измененных состояний). С этой целью разработчики настоящей технологии разработали решения для выбора цифровых изображений, которые должны использоваться для повторного обучения сети ODNN, чтобы она согласованным образом обнаруживала объекты на цифровых изображениях этапа использования.
[132] В общем случае процессор 110 и/или сервер 235 выполнены с возможностью выбирать по меньшей мере одно из первого цифрового изображения 300 и второго цифрового изображения 500 для использования при повторном обучении сети ODNN выполнению более согласованного обнаружения объектов путем сравнения (а) первых данных 490 обнаружения этапа использования, связанных с первым цифровым изображением 300, с (б) вторыми данными 690 обнаружения этапа использования, связанными со вторым цифровым изображением 500.
[133] Например, процессор 110 и/или сервер 235 могут сравнивать первую часть 403 первого цифрового изображения 300 со второй частью 603 второго цифрового изображения 500 для определения степени подобия обнаружения для первого объекта 400 (и измененного первого объекта 400′). Степень подобия обнаружения указывает на степень схожести прогнозов при обнаружении одного и того же реального объекта (конкретной полосы движения дороги), выполняемых сетью ODNN в первый и второй моменты времени.
[134] В некоторых вариантах осуществления изобретения процессор 110 и/или сервер 235 при таком сравнении могут выполнять IOU-анализ на первой части 403 и второй части 603. В общем случае, в результате IOU-анализа определяется параметр IOU как отношение (а) площади пересечения первой части 403 и второй части 603 (фиг. 6) к (б) площади объединения первой части 403 (фиг. 4) и второй части 603.
[135] Например, чем ближе параметр IOU к «1», тем больше локализация первого объекта 400 похожа на локализацию измененного первого объекта 400′. Аналогично, чем ближе параметр IOU к «0», тем меньше локализация первого объекта 400 похожа на локализацию измененного первого объекта 400′. В некоторых вариантах осуществления изобретения степень подобия обнаружения, определяемая процессором 110 и/или сервером 235, может быть параметром IOU для первой части 403 и второй части 603.
[136] В некоторых вариантах осуществления настоящей технологии предполагается, что IOU-анализ может выполняться для проекций первой части 403 и второй части 603 на двумерную поверхность, вместо выполнения IOU-анализа непосредственно для первой части 403 и второй части 603. Это означает, что в некоторых вариантах реализации настоящей технологии процессор 110 способен: (а) проецировать первую часть 403 на двумерную поверхность, (б) проецировать вторую часть 603 на двумерную поверхность, и (в) выполнять IOU-анализ для проекций первой части 403 и второй части 603 вместо выполнения IOU-анализа непосредственно для первой части 403 и второй части 603.
[137] Процессор 110 и/или сервер 235 могут сравнивать степень подобия обнаружения с заранее заданным пороговым значением. Заранее заданное пороговое значение может быть определено оператором процессора 110 и/или сервера 235. Например, оператор процессора 110 и/или сервера 235 может эмпирически определять заранее заданное пороговое значение. Если значение подобия обнаружения оказывается ниже заранее заданного порогового значения, процессор 110 может использовать по меньшей мере одно из первого цифрового изображения 300 и второго цифрового изображения 500 для повторного обучения сети ODNN.
[138] Если предположить, что должно использоваться первое цифровое изображение 300, то первое цифровое изображение 300 может быть предоставлено людям-оценщикам, имеющим задачу идентифицировать и определить местонахождение объектов первого цифрового изображения 300. Например, им может быть поставлена задача идентифицировать оцененную человеком метку расположения объектов на первом цифровом изображении 300, а также соответствующие классы этих объектов (например, сформировать оцененную человеком метку для первого цифрового изображения 300). В некоторых случаях им может быть поставлена задача определить расположение объектов в соответствии с реальными дорожными условиями. А в других случаях, которые поясняются выше, им может быть поставлена задача определить местонахождение объектов в соответствии с искусственно измененными дорожными условиями.
[139] Процессор 110 и/или сервер 235 может выполнять повторное обучение сети ODNN на основе выбранного по меньшей мере одного из первого цифрового изображения 300 и второго цифрового изображения 500 и/или соответствующих данных оцененной человеком метки. Например, второй этап обучения сети ODNN может выполняться процессором 110 и/или сервером 235 на основе по меньшей мере одного из первого цифрового изображения 300 и второго цифрового изображения 500 и соответствующих данных оцененной человеком метки, чтобы обеспечить сети ODNN условия для обнаружения объектов на этапе использования более согласованным образом.
[140] В некоторых вариантах осуществления настоящей технологии предусмотрено применение способа 700 формирования обучающих данных для повторного обучения сети ODNN, которое может выполняться компьютерным устройством, например, процессором 110 и/или сервером 235. Далее способ 700 описан более подробно.
Шаг 702: ввод в сеть ODNN первого цифрового изображения.
[141] Реализация способа 700 начинается на шаге 702 вводом в сеть ODNN первого цифрового изображения 300 компьютерным устройством, связанным с сетью ODNN (например, процессором 110 и/или сервером 235). Первое цифровое изображение 300 представляет собой цифровой сигнал датчика 230 в первый момент времени.
[142] Сеть ODNN способна обнаруживать заданный объект (например, первый объект 400, представленный на фиг. 4) на первом цифровом изображении 300 путем определения первой части 403 первого цифрового изображения 300, соответствующей этому объекту.
[143] Например, до использования сети ODNN компьютерным устройством на шаге 702, сеть ODNN может быть обучена на этапе обучения. Как упоминалось выше, предполагается, что в некоторых вариантах осуществления настоящей технологии сеть ODNN может быть обучена (до шага 702) обнаружению объекта на основе (а) обучающего цифрового изображения и (б) оцененной человеком метки для объектов на обучающем цифровом изображении, при этом сеть ODNN прогнозирует классы объектов и расположение объектов на обучающем цифровом изображении.
Шаг 704: ввод в сеть ODNN второго цифрового изображения.
[144] Реализация способа 700 продолжается на шаге 704 вводом компьютерным устройством в сеть ODNN второго цифрового изображения 500. Второе цифровое изображение 500 представляет собой цифровой сигнал датчика 230 во второй момент времени после первого момента времени.
[145] Сеть ODNN способна обнаруживать заданный объект (например, измененный первый объект 400′) на втором цифровом изображении 500 путем определения первой части 603 второго цифрового изображения 500, соответствующей этому объекту.
[146] Следует отметить, что как измененный первый объект 400′, так и первый объект 400, обнаруженные сетью ODNN, соответствуют одному реальному объекту (например, конкретной полосе движения), тем не менее, измененный первый объект 400′ и первый объект 400 оказываются локализованными сетью ODNN по-разному при их обнаружении, т.е. сеть ODNN определяет отличающиеся части (например, места расположения) цифровых изображений, соответствующие одному и тому же реальному объекту.
Шаг 706: сравнение первой части первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения объекта.
[147] Реализация способа 700 продолжается на шаге 706, на котором компьютерное устройство сравнивает первую часть 403 первого цифрового изображения 300 со второй частью 603 второго цифрового изображения 500 для определения степени подобия обнаружения объекта.
[148] Степень подобия обнаружения указывает на степень схожести прогнозов при обнаружении объекта, выполняемых сетью ODNN в первый момент времени и во второй момент времени. Также можно сказать, что степень подобия обнаружения указывает на то, насколько похожи друг на друга прогнозы сети ODNN относительно расположения этого объекта на соответствующих цифровых изображениях.
[149] В некоторых вариантах осуществления настоящей технологии сравнение первой части 403 первого цифрового изображения 300 со второй частью 603 второго цифрового изображения 500 для определения степени подобия обнаружения может включать в себя применение компьютерным устройством IOU-анализа. Предполагается, что применение IOU-анализа, как указано выше, включает в себя (а) определение пересечения первой части 403 и второй части 603 и (б) определение объединения первой части 403 и второй части 603.
Шаг 708: использование по меньшей мере одного из первого цифрового изображения и второго цифрового изображения для получения оцененной человеком метки при уменьшении степени подобия обнаружения ниже заранее заданного порогового значения.
[150] Реализация способа 700 продолжается на шаге 708, на котором при уменьшении степени подобия обнаружения ниже заранее заданного порогового значения компьютерное устройство использует по меньшей мере одно из первого цифрового изображения 300 и второго цифрового изображения 500 для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из первого цифрового изображения 300 и второго цифрового изображения 500, занятую этим объектом на соответствующем одном из первого цифрового изображения 300 и второго цифрового изображения 500.
[151] В некоторых вариантах осуществления изобретения действительная часть, занятая объектом, может быть идентифицирована человеком-оценщиком на основе действительного состояния этого объекта, как описано выше. В других вариантах осуществления действительная часть этого объекта может быть идентифицирована человеком-оценщиком на основе искусственно измененного состояния этого объекта, как описано выше.
ШАГ 710: повторное обучение сети ODNN на основе по меньшей мере одного из первого цифрового изображения и второго цифрового изображения и/или оцененной человеком метки.
[152] Реализация способа 700 продолжается на этапе 710, на котором компьютерное устройство повторно обучает сеть ODNN на основе по меньшей мере одного из следующего: первого цифрового изображения 300, второго цифрового изображения 500 и соответствующих оцененных человеком меток.
[153] Например, для повторного обучения сети ODNN может использоваться первое цифровое изображение 300 с соответствующей оцененной человеком метки. В другом примере для повторного обучения сети ODNN может использоваться второе цифровое изображение 500 с соответствующей оцененной человеком меткой. В еще одном примере для повторного обучения сети ODNN могут использоваться как первое цифровое изображение 300 с соответствующей оцененной человеком меткой, так и второе цифровое изображение 500 с соответствующей оцененной человеком меткой.
[154] Следует напомнить, что действительная часть для объекта на цифровом изображении, идентифицированная человеком-оценщиком, может зависеть от задачи, поставленной человеку-оценщику - идентификации действительного состояния этого объекта или идентификации искусственно измененного состояния этого объекта. Таким образом, если человеку-оценщику поставлена задача идентификации действительной части для объекта в соответствии с его действительным состоянием, сеть ODNN может быть повторно обучена для обнаружения объектов в соответствии с их действительным состоянием. Если человеку-оценщику поставлена задача идентификации действительной части объекта в соответствии с искусственно измененным состоянием, сеть ODNN может быть повторно обучена для обнаружения объектов в соответствии с искусственно измененным состоянием.
[155] В некоторых вариантах осуществления настоящей технологии описанные выше шаги способа 700 могут повторяться для третьего цифрового изображения (не показано) из цифрового сигнала датчика 230 и для четвертого цифрового изображения (не показано) из цифрового сигнала датчика 230, аналогично тому, как компьютерное устройство выполняет вышеупомянутые шаги для первого цифрового изображения 300 и второго цифрового изображения 500 в пределах сущности и объема настоящей технологии.
[156] Соответственно, предполагается, что компьютерное устройство может формировать набор данных для повторного обучения сети ODNN. Например, набор данных для повторного обучения может содержать любую комбинацию (а) первого цифрового изображения 300 с соответствующей оцененной человеком меткой, (б) второго цифрового изображения 500 с соответствующей оцененной человеком меткой, (в) третьего цифрового изображения с соответствующей оцененной человеком меткой и (г) четвертого цифрового изображения с соответствующей оцененной человеком меткой.
[157] В некоторых вариантах осуществления настоящей технологии компьютерное устройство может определять, что область 250 вокруг транспортного средства 220 в первый момент времени и/или во второй момент времени является областью несогласованного обнаружения. Например, транспортное средство 220 может включать в себя датчик типа GPS, который может предоставлять данные о местоположении, указывающие на место окружающей области 250 в данный момент времени. В результате, если по меньшей мере одно из первого цифрового изображения 300 и второго цифрового изображения 500 должно использоваться для повторного обучения сети ODNN, компьютерное устройство может определять, что окружающая область 250 вокруг транспортного средства 220 в данный момент времени, когда зафиксировано по меньшей мере одно из первого цифрового изображения 300 и второго цифрового изображения 500, является областью несогласованного обнаружения. Таким образом, в некоторых вариантах осуществления, помимо повторного обучения сети ODNN, как описано выше, компьютерное устройство может отмечать и отслеживать области несогласованного обнаружения для дальнейшего анализа.
[158] Предполагается, что набор данных для повторного обучения, формируемый для сети ODNN, может использоваться компьютерным устройством (которым может быть, например, процессор 110 электронного устройства 210 или процессор 110 сервера 235) для повторного обучения сети ODNN в отношении признаков цифровых изображений, на которых обнаружение объектов сетью ODNN оказывается несогласованным. Как указано выше, при выполнении сетью ODNN обнаружения объекта на основе двух цифровых изображений, например, первого цифрового изображения 300 и второго цифрового изображения 500, сеть ODNN выполняет обнаружение объекта на основе схожих входных данных. Тем не менее, как описано выше, несмотря на схожесть входных данных (например, данных первого цифрового изображения 300 и второго цифрового изображения 500), выходные данные сети ODNN могут существенно отличаться. Таким образом, (а) формирование набора данных для повторного обучения на основе ситуаций, когда схожие входные данные сети ODNN приводили к существенно отличающимся выходным данным сети ODNN, и (б) использование этого повторно обучающего набора данных для повторного обучения сети ODNN позволяют снизить вероятность несогласованного обнаружения объектов сетью ODNN после этапа повторного обучения. Например, компьютерное устройство может повторно обучать сеть ODNN в отношении признаков первого цифрового изображения 300 и/или второго цифрового изображения 500 (признаков, получаемых сетью ODNN на основе соответствующих данных изображения), при этом после этапа повторного обучения снижается вероятность несогласованного обнаружения объектов сетью ODNN при приеме схожих входных данных первого цифрового изображения 300 и/или второго цифрового изображения 500.
[159] Следует отметить, что повторное обучение сети ODNN компьютерным устройством может выполняться для снижения вероятности несогласованного обнаружения объекта сетью ODNN, когда транспортное средство 220 (или другие транспортные средства, реализованные аналогично транспортному средству 220) находятся в области несогласованного обнаружения. Когда после этапа повторного обучения сети ODNN данные цифровых изображений, зафиксированных в области несогласованного обнаружения, вводятся в сеть ODNN, сеть ODNN может с меньшей вероятностью повторять несогласованное обнаружение объектов. Иными словами, несмотря на то, что до этапа повторного обучения сеть ODNN может выполнять несогласованное обнаружение объекта на основе данных цифровых изображений, зафиксированных в области несогласованного обнаружения, после этапа повторного обучения сеть ODNN будет с меньшей вероятностью выполнять несогласованное обнаружение объектов на основе данных цифровых изображений, зафиксированных в области несогласованного обнаружения. Следовательно, можно сказать, что повторное обучение сети ODNN, как описано выше, может выполняться так, что сеть ODNN будет с меньшей вероятностью выполнять несогласованное обнаружение объектов на основе признаков цифровых изображений, зафиксированных в области несогласованного обнаружения. Кроме того, предполагается, что повторное обучение сети ODNN может выполняться для снижения вероятности несогласованного обнаружения объектов сетью ODNN на основе признаков цифровых изображений, зафиксированных в областях, подобных области несогласованного обнаружения. Например, цифровые изображения областей, подобных области несогласованного обнаружения, могут быть связаны с признаками, близкими признакам цифровых изображений области несогласованного обнаружения.
[160] Для специалиста в данной области могут быть очевидными возможные изменения и усовершенствования описанных выше вариантов осуществления настоящей технологии. Предшествующее описание приведено лишь в иллюстративных целях, а не для ограничения объема изобретения. Объем охраны настоящей технологии определяется исключительно объемом приложенной формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ СТЕПЕНИ УХУДШЕНИЯ ЛИДАРНЫХ ДАННЫХ | 2021 |
|
RU2826476C1 |
| МНОГОЭТАПНОЕ ОБУЧЕНИЕ МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ ДЛЯ РАНЖИРОВАНИЯ РЕЗУЛЬТАТОВ ПОИСКА | 2021 |
|
RU2824338C2 |
| СПОСОБЫ И СИСТЕМЫ ДЛЯ АВТОМАТИЗИРОВАННОГО ОПРЕДЕЛЕНИЯ ПРИСУТСТВИЯ ОБЪЕКТОВ | 2019 |
|
RU2744012C1 |
| Способ и система для определения траектории автономного транспортного средства | 2023 |
|
RU2821107C1 |
| СПОСОБ И СЕРВЕР ДЛЯ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ ФОРМИРОВАНИЮ ТЕКСТОВОЙ ВЫХОДНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ | 2020 |
|
RU2798362C2 |
| СПОСОБ И СИСТЕМА ДЛЯ ПРОВЕРКИ МЕДИАКОНТЕНТА | 2022 |
|
RU2815896C2 |
| СПОСОБ И СИСТЕМА ГЕНЕРИРОВАНИЯ ОБУЧАЮЩИХ ДАННЫХ ДЛЯ АЛГОРИТМА МАШИННОГО ОБУЧЕНИЯ | 2021 |
|
RU2819647C2 |
| Способ и система классификации пользователя электронного устройства | 2021 |
|
RU2795152C2 |
| СПОСОБ, ОБОРУДОВАНИЕ И ЭЛЕКТРОННОЕ УСТРОЙСТВО ДЛЯ ОБНАРУЖЕНИЯ ВИТАЛЬНОСТИ ЛИЦА | 2018 |
|
RU2714096C1 |
| СПОСОБ И СИСТЕМА ДЛЯ ОБУЧЕНИЯ АЛГОРИТМА МАШИННОГО ОБУЧЕНИЯ С ЦЕЛЬЮ ОБНАРУЖЕНИЯ ОБЪЕКТОВ НА РАССТОЯНИИ | 2020 |
|
RU2775817C2 |
Группа изобретений относится к способу и компьютерному устройству для формирования обучающих данных для повторного обучения нейронной сети для обнаружения объектов. Для формирования обучающих данных вводят в нейронную сеть (object detecting Neural Network, ODNN) первое цифровое изображение, представляющее собой цифровой сигнал обнаруживаемого объекта в первый момент времени, и второе цифровое изображение во второй момент времени после первого момента времени, сравнивают их для определения степени подобия. Если степень подобия ниже заданного порогового значения, используют первое или второе изображение для получения оцененной человеком метки, указывающей на действительную часть первого или второго изображения, и производят повторное обучение сети ODNN. Обеспечивается повторное обучение сети обнаружения объектов ODNN. 2 н. и 30 з.п. ф-лы, 7 ил.
1. Способ формирования обучающих данных для повторного обучения нейронной сети для обнаружения объектов (object detecting Neural Network, ODNN), обученной обнаруживать объекты по цифровому сигналу, зафиксированному движущимся транспортным средством, путем определения части цифрового изображения, соответствующей этим объектам, выполняемый компьютерным устройством и включающий в себя этапы, на которых:
- вводят в сеть ODNN первое цифровое изображение, представляющее собой цифровой сигнал в первый момент времени,
при этом сеть ODNN выполнена с возможностью обнаружения объекта по первому цифровому изображению путем определения первой части первого цифрового изображения, соответствующей этому объекту;
- вводят в сеть ODNN второе цифровое изображение, представляющее собой цифровой сигнал во второй момент времени после первого момента времени,
при этом сеть ODNN выполнена с возможностью обнаружения объекта по второму цифровому изображению путем определения второй части второго цифрового изображения, соответствующей этому объекту;
- сравнивают первую часть первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения объекта, указывающей на степень схожести прогнозов при обнаружении этого объекта, выполняемых сетью ODNN в первый момент времени и второй момент времени;
- если степень подобия обнаружения оказывается ниже заранее заданного порогового значения,
- используют по меньшей мере одно из первого цифрового изображения и/или второго цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из первого цифрового изображения и/или второго цифрового изображения, занятую объектом на соответствующем первом цифровом изображении и/или втором цифровом изображении; и
- повторно обучают сеть ODNN на основе по меньшей мере одного из первого цифрового изображения и второго цифрового изображения и/или оцененной человеком метки.
2. Способ по п. 1, в котором сравнение первой части первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения включает в себя применение IOU-анализа (Intersection Over Union analysis).
3. Способ по п. 2, в котором применение IOU-анализа включает в себя определение пересечения первой части и второй части и определение объединения первой части и второй части.
4. Способ по п. 1, дополнительно включающий в себя получение от человека-оценщика указания на действительную часть, занятую объектом, определяемую человеком-оценщиком на основе действительного состояния объекта.
5. Способ по п. 1, дополнительно включающий в себя получение от человека-оценщика указания на действительную часть, занятую объектом, определяемую человеком-оценщиком на основе искусственно измененного состояния объекта.
6. Способ по п. 4, в котором повторное обучение сети ODNN выполняют для обнаружения объектов в соответствии с действительным состоянием объектов.
7. Способ по п. 5, в котором повторное обучение сети ODNN выполняют для обнаружения объектов в соответствии с искусственно измененным состоянием объектов.
8. Способ по п. 1, в котором повторное обучение сети ODNN выполняют на основе первого цифрового изображения, второго цифрового изображения и соответствующих оцененных человеком меток.
9. Способ по п. 1, дополнительно включающий в себя этапы, на которых:
- вводят в сеть ODNN третье цифровое изображение, представляющее собой цифровой сигнал в третий момент времени, при этом сеть ODNN способна обнаруживать объект на третьем цифровом изображении путем определения третьей части третьего цифрового изображения, соответствующей этому объекту;
- вводят в сеть ODNN четвертое цифровое изображение, представляющее собой цифровой сигнал в четвертый момент времени после третьего момента времени, при этом сеть ODNN способна обнаруживать объект на четвертом цифровом изображении путем определения четвертой части четвертого цифрового изображения, соответствующей этому объекту;
- сравнивают третью часть третьего цифрового изображения с четвертой частью четвертого цифрового изображения для определения степени подобия обнаружения объекта, указывающей на степень схожести прогнозов при обнаружении этого объекта, выполняемых сетью ODNN в третий момент времени и четвертый момент времени; и
- если степень подобия обнаружения оказывается ниже заранее заданного порогового значения,
- используют по меньшей мере одно из третьего цифрового изображения и четвертого цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из третьего цифрового изображения и четвертого цифрового изображения, занятую объектом на соответствующем третьем цифровом изображении и/или четвертом цифровом изображении.
10. Способ по п. 9, в котором по меньшей мере одно из первого цифрового изображения и второго цифрового изображения с соответствующей оцененной человеком меткой и по меньшей мере одно из третьего цифрового изображения и четвертого цифрового изображения с соответствующей оцененной человеком меткой образуют по меньшей мере частично набор данных для повторного обучения сети ODNN.
11. Способ по п. 10, в котором набор данных для повторного обучения сети ODNN используют для повторного обучения сети ODNN по признакам цифровых изображений, на которых обнаружение объектов сетью ODNN оказывается несогласованным.
12. Способ по п. 1, в котором сеть ODNN обучена обнаружению объектов на основе обучающего цифрового изображения и оцененной человеком метки для объектов на этом обучающем цифровом изображении, при этом сеть ODNN прогнозирует классы объектов и расположение объектов по этому обучающему цифровому изображению.
13. Способ по п. 9, в котором область вокруг движущегося транспортного средства в по меньшей мере один из: первого момента времени, второго момента времени, третьего момента времени, четвертого момента времени определяют как область несогласованного обнаружения.
14. Способ по п. 13, в котором повторное обучение сети ODNN выполняют для снижения вероятности несогласованного обнаружения объекта сетью ODNN, когда транспортное средство находится в области несогласованного обнаружения.
15. Способ по п. 13, в котором повторное обучение сети ODNN выполняют для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в области несогласованного обнаружения.
16. Способ по п. 13, в котором повторное обучение сети ODNN выполняют для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в областях, подобных области несогласованного обнаружения.
17. Компьютерное устройство для формирования обучающих данных для повторного обучения нейронной сети обнаружения объектов (ODNN), обученной обнаруживать объекты по цифровому сигналу, зафиксированному движущимся транспортным средством, путем определения части цифрового изображения, соответствующей этим объектам, при этом компьютерное устройство выполнено с возможностью:
- ввода в сеть ODNN первого цифрового изображения, представляющего собой цифровой сигнал в первый момент времени,
при этом сеть ODNN выполнена с возможностью обнаруживать объект на первом цифровом изображении путем определения первой части первого цифрового изображения, соответствующей этому объекту;
- ввода в сеть ODNN второго цифрового изображения, представляющего собой цифровой сигнал во второй момент времени после первого момента времени,
при этом сеть ODNN выполнена с возможностью обнаруживать объект на втором цифровом изображении путем определения второй части второго цифрового изображения, соответствующей этому объекту;
- сравнения первой части первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения объекта, указывающей на степень схожести прогнозов при обнаружения этого объекта, выполняемых сетью ODNN в первый момент времени и второй момент времени;
если степень подобия обнаружения ниже заранее заданного порогового значения,
- использования по меньшей мере одного из первого цифрового изображения и второго цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мире одного из первого цифрового изображения и второго цифрового изображения, занятую объектом на соответствующем одном из первого цифрового изображения и второго цифрового изображения; и
- повторного обучения сети ODNN на основе по меньшей мере одного из первого цифрового изображения и второго цифрового изображения и оцененной человеком метки.
18. Компьютерное устройство по п. 17, дополнительно выполненное с возможностью применять IOU-анализ при сравнении первой части первого цифрового изображения со второй частью второго цифрового изображения для определения степени подобия обнаружения.
19. Компьютерное устройство по п. 18, дополнительно выполненное с возможностью определять пересечение первой части и второй части и определять объединение первой части и второй части при применении IOU-анализа.
20. Компьютерное устройство по п. 17, дополнительно выполненное с возможностью получать от человека-оценщика указание на действительную часть, занятую этим объектом, определяемую человеком-оценщиком на основе действительного состояния объекта.
21. Компьютерное устройство по п. 17, дополнительно выполненное с возможностью получать от человека-оценщика указание на действительную часть, занятую объектом, определяемую человеком-оценщиком на основе искусственно измененного состояния объекта.
22. Компьютерное устройство по п. 20, в котором повторное обучение сети ODNN выполняется для обнаружения объектов в соответствии с действительным состоянием объектов.
23. Компьютерное устройство по п. 21, в котором повторное обучение сети ODNN выполняется для обнаружения объектов в соответствии с искусственно измененным состоянием объектов.
24. Компьютерное устройство по п. 17, в котором повторное обучение сети ODNN выполняется на основе первого цифрового изображения, второго цифрового изображения и соответствующих оцененных человеком меток.
25. Компьютерное устройство по п. 17, дополнительно выполненное с возможностью:
- ввода в сеть ODNN третьего цифрового изображения, представляющего собой цифровой сигнал в третий момент времени, при этом сеть ODNN способна обнаруживать объект на третьем цифровом изображении путем определения третьей части третьего цифрового изображения, соответствующей этому объекту;
- ввода в сеть ODNN четвертого цифрового изображения, представляющего собой цифровой сигнал в четвертый момент времени после третьего момента времени, при этом сеть ODNN способна обнаруживать объект на четвертом цифровом изображении путем определения четвертой части четвертого цифрового изображения, соответствующей этому объекту;
- сравнения третьей части третьего цифрового изображения с четвертой частью четвертого цифрового изображения для определения степени подобия обнаружения объекта, указывающей на степень схожести прогнозов при обнаружении этого объекта, выполняемых сетью ODNN в третий момент времени и четвертый момент времени; и
если степень подобия обнаружения оказывается ниже заранее заданного порогового значения,
- использования по меньшей мере одного из третьего цифрового изображения и четвертого цифрового изображения для получения оцененной человеком метки, указывающей на действительную часть по меньшей мере одного из третьего цифрового изображения и четвертого цифрового изображения, занятую объектом на соответствующем третьем цифровом изображении и/или четвертом цифровом изображении.
26. Компьютерное устройство по п. 25, в котором по меньшей мере одно из первого цифрового изображения и второго цифрового изображения с соответствующей оцененной человеком меткой и по меньшей мере одно из третьего цифрового изображения и четвертого цифрового изображения с соответствующей оцененной человеком меткой образуют по меньшей мере частично набор данных для повторного обучения сети ODNN.
27. Компьютерное устройство по п. 26, в котором набор данных для повторного обучения сети ODNN используется для повторного обучения сети ODNN в отношении признаков цифровых изображений, на которых обнаружение объектов сетью ODNN оказывается несогласованным.
28. Компьютерное устройство по п. 17, в котором сеть ODNN обучена обнаружению объектов на основе обучающего цифрового изображения и оцененной человеком метки для объектов на этом обучающем цифровом изображении, при этом сеть ODNN способна прогнозировать классы объектов и расположение объектов на этом обучающем цифровом изображении.
29. Компьютерное устройство по п. 25, в котором область вокруг движущегося транспортного средства в по меньшей мере одном из: первого момента времени, второго момента времени, третьего момента времени, четвертого момента времени определяется как область несогласованного обнаружения.
30. Компьютерное устройство по п. 29, в котором повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN, когда транспортное средство находится в области несогласованного обнаружения.
31. Компьютерное устройство по п. 29, в котором повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в области несогласованного обнаружения.
32. Компьютерное устройство по п. 29, в котором повторное обучение сети ODNN выполняется для снижения вероятности несогласованного обнаружения объекта сетью ODNN на основе признаков цифровых изображений, зафиксированных в областях, подобных области несогласованного обнаружения.
| СПОСОБ ОЦЕНКИ КОЛИЧЕСТВЕННОЙ ХАРАКТЕРИСТИКИ ЗОНДИРУЕМОЙ ПОВЕРХНОСТИ ЗЕМЛИ | 2009 |
|
RU2411468C1 |
| СПОСОБ И СИСТЕМА ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ НА ОСНОВЕ ДАННЫХ ТРЕХМЕРНОГО ДАТЧИКА | 2016 |
|
RU2656711C2 |
| US 20150104062 A1, 16.04.2015 | |||
| US 20180211128 A1, 26.07.2018 | |||
| US 20180203445 A1, 19.07.2018. | |||
