СПОСОБ ИДЕНТИФИКАЦИИ ЧЕЛОВЕКА В ПОТОКЕ ВИДЕОКАДРОВ Российский патент 2024 года по МПК G06V10/70 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области распознавания изображений, и, более конкретно, к способу идентификации человека в потоке видеокадров.

Уровень техники

Автоматизированные системы видеонаблюдения с централизованным видеомониторингом текущей ситуации на разных участках используются в местах наибольшего скопления народа: у входов и выходов вокзалов, касс, автоматов продажи билетов, турникетов, лестниц и эскалаторов. Данные системы с функцией анализа видеоизображений позволяют: следить за поведением людей, распознавать лица, а также записывать и хранить видеоинформацию. Подобные системы могут содержать тысячи видеокамер для интеллектуального анализа видеоизображений.

Системы видеонаблюдения используются также на предприятиях, например, для контроля действий сотрудников и обеспечения охраны, безопасности и соблюдения условий охраны труда.

В уровне техники существует потребность в создании способов и устройств для идентификации множества людей в потоке видеокадров, которые обеспечивали бы приемлемую точность, не требуя значительных затрат вычислительных ресурсов и памяти.

Сущность изобретения

Согласно настоящему изобретению, предложен способ идентификации человека в потоке видеокадров, содержащий этапы, на которых:

принимают текущий кадр с видеокамеры;

определяют момент времени, в который был снят текущий кадр;

обнаруживают на текущем кадре фигуры людей с помощью методов компьютерного зрения, выделяя каждую обнаруженную фигуру соответствующей ограничивающей рамкой;

выполняют предсказание положений ограничивающих рамок на момент времени, в который был снят текущий кадр, для данной камеры с применением фильтра Калмана на основе положений ограничивающих рамок на предыдущем кадре и предварительно вычисленных векторов их состояния;

вычисляют сходство каждой предсказанной ограничивающей рамки с каждой обнаруженной ограничивающей рамкой с применением коэффициента флористической общности;

определяют взаимное соответствие между предсказанными ограничивающими рамками и обнаруженными ограничивающими рамками, если оно имеется, на основе вычисленного сходства;

для каждой обнаруженной ограничивающей рамки на текущем кадре, если имеется соответствие между ней и ограничивающей рамкой на предыдущем кадре, вычисляют вектор состояния с учетом ее текущего положения и с учетом вектора состояния соответствующей ограничивающей рамки на предыдущем кадре и идентифицируют личность человека, фигура которого выделена данной обнаруженной ограничивающей рамкой, в соответствии с личностью, ранее идентифицированной для соответствующей ограничивающей рамки на предыдущем кадре; и

для каждой обнаруженной ограничивающей рамки на текущем кадре, если не имеется соответствие между ней и ограничивающей рамкой на предыдущем кадре, вычисляют вектор состояния с учетом ее текущего положения и идентифицируют личность человека, фигура которого выделена данной обнаруженной ограничивающей рамкой, методом компьютерного зрения посредством поиска соответствия в базе данных, хранящей данные о подлежащих идентификации личностях.

В одном из вариантов осуществления база данных содержит для каждого подлежащего идентификации человека векторное представление изображения его фигуры,

причем идентификация личности по базе данных содержит этапы, на которых:

генерируют векторное представление изображения, заключенного в ограничивающую рамку для фигуры;

выполняют в базе данных поиск соответствия сгенерированного векторного представления фигуры методом ближайших соседей; и

идентифицируют личность по найденному ближайшему соседу.

В одном из вариантов осуществления база данных дополнительно содержит для каждого подлежащего идентификации человека векторное представление изображения его головы,

причем идентификация личности по базе данных дополнительно содержит этапы, на которых:

выделяют ограничивающую рамку для головы в пределах данной ограничивающей рамки для фигуры;

генерируют векторное представление изображения, заключенного в ограничивающую рамку для головы;

выполняют в базе данных поиск соответствия сгенерированного векторного представления головы методом ближайших соседей;

причем идентифицируют личность посредством взвешенной суммы результатов поиска соответствия по фигуре и по голове.

В одном из вариантов осуществления способ дополнительно содержит этапы, на которых:

для каждой обнаруженной ограничивающей рамки на текущем кадре генерируют векторное представление изображения, заключенного в ограничивающую рамку;

вычисляют сходство каждого векторного представления, предварительно сгенерированного для предыдущего кадра, с каждым векторным представлением, сгенерированным для текущего кадра, по косинусному расстоянию между векторами;

определяют взаимное соответствие между векторными представлениями для предыдущего кадра и для текущего кадра, если оно имеется, на основе вычисленного сходства;

причем определяют взаимное соответствие между ограничивающими рамками на текущем кадре и на предыдущем кадре посредством взвешенной суммы результатов определения соответствия по коэффициенту флористической общности и по косинусному расстоянию.

В одном из вариантов осуществления способ дополнительно содержит этап, на котором:

генерируют размеченный кадр посредством нанесения, для каждой идентифицированной личности, соответствующей ограничивающей рамки и текстового указания на текущий кадр.

Технический результат

Настоящее изобретение позволяет повысить эффективность способов идентификации человека в потоке видеокадров. При этом обеспечивается повышение скорости получения результата, снижение требований к вычислительным ресурсам и памяти, повышение точности, особенно для случаев, когда на предприятии работает много людей, а также когда в кадре часто находится много людей, когда имеется перекрытие (пересечение) разных фигур и голов, когда имеется перекрытие фигур и голов посторонними предметами и т.п.

Следует понимать, что не каждый из вариантов осуществления может обеспечивать одновременно все указанные преимущества по сравнению со всеми известными решениями из уровня техники. Соответственно, некоторые варианты осуществления могут обладать лишь некоторыми из указанных преимуществ или иными преимуществами относительно некоторых известных решений.

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания.

Подробное описание

Общее описание способа

Далее настоящее изобретение будет описано более подробно. Следует отметить, что данное описание не является ограничивающим и предназначено лишь для того, чтобы предоставить общее понимание предложенных принципов изобретения.

Способ идентификации человека в потоке видеокадров согласно настоящему изобретению (также взаимозаменяемо может называться способом распознавания людей на видеоизображениях) выполняется в устройстве для идентификации человека, выполненного на основе вычислительного устройства (например, компьютера, содержащего процессор и память), и содержит следующие этапы.

На этапе 1 принимают текущий кадр с видеокамеры.

На этапе 2 определяют момент времени, в который был снят текущий кадр. Это может выполняться на основе метаданных, содержащихся в текущем кадре, или же камера может передавать такие сведения на устройство для идентификации человека.

На этапе 3 обнаруживают на текущем кадре фигуры людей с помощью методов компьютерного зрения, выделяя каждую обнаруженную фигуру соответствующей ограничивающей рамкой. В качестве неограничивающего примера для этих целей может подходить модель YOLO, обученная на размеченном датасете, содержащем изображения людей.

На этапе 4 выполняют предсказание положений ограничивающих рамок на момент времени, в который был снят текущий кадр, для данной камеры с применением фильтра Калмана на основе положений ограничивающих рамок на предыдущем кадре и предварительно вычисленных векторов их состояния. Например, вектор состояния может содержать скорость и ускорение объекта (рамки). Такой подход к предсказанию не требует хранения большого объема исторических данных, поэтому существенно снижает требования к оперативной памяти и ускоряет обработку, что важно, когда необходимо отслеживать одновременно большое число людей.

На этапе 5 вычисляют сходство каждой предсказанной ограничивающей рамки с каждой обнаруженной ограничивающей рамкой с применением коэффициента флористической общности. В частности, коэффициент представляет собой частное от деления площади пересечения ограничивающих рамок на площадь объединения ограничивающих рамок. В результате вычисления образуется таблица (или матрица) коэффициентов сходства размером MxN, где M и N – это количество ограничивающих рамок в текущем кадре и в предыдущем кадре. Данный подход является быстрым и затрачивает мало ресурсов, поэтому позволяет ускорить обработку при поддержании приемлемой точности.

На этапе 6 определяют взаимное соответствие между предсказанными ограничивающими рамками и обнаруженными ограничивающими рамками, если оно имеется, на основе вычисленного сходства. Например, из полученной на этапе 5 таблицы может определяться наибольший коэффициент сходства для каждой рамки текущего кадра, и соответствующие рамки могут ставиться друг другу в соответствие. Также может использоваться минимальный порог сходства, ниже которого рамки считаются несходными друг с другом.

На этапе 7 для каждой обнаруженной ограничивающей рамки на текущем кадре, если имеется соответствие между ней и ограничивающей рамкой на предыдущем кадре, вычисляют вектор состояния с учетом ее текущего положения и с учетом вектора состояния соответствующей ограничивающей рамки на предыдущем кадре, а также идентифицируют личность человека, фигура которого выделена данной обнаруженной ограничивающей рамкой, в соответствии с личностью, ранее идентифицированной для соответствующей ограничивающей рамки на предыдущем кадре. Это позволяет ускорить идентификацию и снизить вычислительную сложность.

На этапе 8 для каждой обнаруженной ограничивающей рамки на текущем кадре, если не имеется соответствие между ней и ограничивающей рамкой на предыдущем кадре, вычисляют вектор состояния с учетом ее текущего положения и идентифицируют личность человека, фигура которого выделена данной обнаруженной ограничивающей рамкой, методом компьютерного зрения посредством поиска соответствия в базе данных, хранящей данные о подлежащих идентификации личностях.

Например, база данных может содержать для каждого подлежащего идентификации человека векторное представление (эмбеддинг) изображения его фигуры. В таком случае идентификация личности по базе данных может содержать этапы, на которых генерируют векторное представление изображения, заключенного в ограничивающую рамку для фигуры, выполняют в базе данных поиск соответствия сгенерированного векторного представления фигуры методом ближайших соседей и идентифицируют личность по найденному ближайшему соседу. В качестве примера может использоваться поиск методом Faiss KNN, так как он не требователен к памяти при поддержании приемлемой точности.

Кроме того, база данных может дополнительно содержать для каждого подлежащего идентификации человека векторное представление изображения его головы. В таком случае идентификация личности по базе данных может содержать этапы, на которых выделяют ограничивающую рамку для головы в пределах данной ограничивающей рамки для фигуры, генерируют векторное представление изображения, заключенного в ограничивающую рамку для головы, и выполняют в базе данных поиск соответствия сгенерированного векторного представления головы методом ближайших соседей. Аналогичным образом, может использоваться поиск методом Faiss KNN или, например, HNSW. Поскольку результаты поиска соответствия по фигуре и по голове могут отличаться друг от друга, целесообразно для идентификации личности использовать взвешенную сумму результатов поиска соответствия по фигуре и по голове. Например, формула может иметь следующий вид: P = P_фигура⋅(1-k)+P_голова⋅k, где P_фигура и P_голова - результаты поиска соответствия по фигуре и по голове (вероятности), а k - весовой коэффициент. Таким образом, обеспечивается повышение точности, особенно для случаев, когда в кадре находится много людей, когда имеется перекрытие (пересечение) разных фигур и голов, когда имеется перекрытие фигур и голов посторонними предметами и т.п.

На этапе 9 генерируют размеченный кадр посредством нанесения, для каждой идентифицированной личности, соответствующей ограничивающей рамки и текстового указания на текущий кадр. Соответственно, получается копия текущего кадра, на котором люди отмечены рамками и идентификаторами (например, именами).

Тем самым, обеспечивается способ идентификации человека в потоке видеокадров, обладающий повышенным быстродействием, сниженными требованиями к памяти и вычислительным ресурсам и высокой точностью идентификации. Данный способ можно использовать, например, для предприятий, на которых работает большое количество людей.

Способ может дополнительно содержать следующие этапы.

На этапе 10, после этапа 3, для каждой обнаруженной ограничивающей рамки на текущем кадре генерируют векторное представление изображения (эмбеддинг), заключенного в ограничивающую рамку.

На этапе 11 вычисляют сходство каждого векторного представления, предварительно сгенерированного для предыдущего кадра, с каждым векторным представлением, сгенерированным на этапе 10 для текущего кадра, по косинусному расстоянию между векторами.

На этапе 12 определяют взаимное соответствие между векторными представлениями для предыдущего кадра и для текущего кадра, если оно имеется, на основе вычисленного сходства. Например, из полученной на этапе 11 таблицы может определяться наибольший коэффициент сходства для каждой рамки текущего кадра, и соответствующие рамки могут ставиться друг другу в соответствие. Также может использоваться минимальный порог сходства, ниже которого рамки считаются несходными друг с другом.

Далее есть несколько возможных вариантов осуществления. В одном варианте осуществления этапы 10-12 являются дополнением к этапам 4-6, и в таком случае будут получены результаты определения соответствия и по коэффициенту флористической общности, и по косинусному расстоянию. Здесь предлагается определять взаимное соответствие между ограничивающими рамками на текущем кадре и на предыдущем кадре посредством взвешенной суммы результатов определения соответствия по коэффициенту флористической общности (этапы 4-6) и по косинусному расстоянию (этапы 10-12). Например, формула может иметь следующий вид: R = R_КФО⋅(1-b)+R_COS⋅b, где R_КФО и R_COS - результаты определения соответствия по коэффициенту флористической общности и по косинусному расстоянию, а b – весовой коэффициент. Весовой коэффициент подбирается в зависимости от конкретных условий применения и используемых моделей и методов машинного обучения. В общем случае результат этапов 10-12 имеет более высокую точность, чем результат этапов 4-6, поэтому весовой коэффициент b больше 0,5. Таким образом, благодаря дополнительной проверке, хотя это и повышает сложность и затраты вычислительных ресурсов и памяти, обеспечивается дополнительное повышение точности, особенно для случаев, когда в кадре находится много людей, когда имеется перекрытие (пересечение) разных фигур и голов, когда имеется перекрытие фигур и голов посторонними предметами и т.п.

В другом варианте осуществления этапы 10-12 выполняются вместо этапов 4-6, и в таком случае взаимное соответствие между ограничивающими рамками на текущем кадре и на предыдущем кадре будет определяться именно по результатам определения соответствия по косинусному расстоянию (то есть по результатам этапа 12). Такой вариант может быть целесообразен, например, если вклад (весовой коэффициент) результатов определения соответствия по коэффициенту флористической общности мал и почти не оказывает влияния на общий результат. В данном варианте по сравнению с результатами этапов 4-6 будет обеспечиваться повышение точности.

Еще в одном варианте осуществления этапы 10-12 выполняются не для каждого кадра, а с периодом в предварительно заданное количество кадров или в ответ на предварительно заданное событие, такое как малая доля ограничивающих рамок, для которых среди всех рамок были найдены соответствия. Это позволяет использовать относительно сложные вычисления только в качестве калибровки для повышения точности без существенных затрат вычислительных ресурсов и памяти.

Еще в одном варианте осуществления этапы 10-12 выполняются не для всех рамок в кадре, а только для рамок, в отношении которых выявлен конфликт (например, в полученной на этапе 5 таблице несколько рамок в предыдущем кадре имеют одинаковое значение сходства с заданной рамкой в текущем кадре) или отсутствие соответствия (например, в полученной на этапе 5 таблице все рамки в предыдущем кадре имеют значение сходства с заданной рамкой в текущем кадре ниже порога). Это позволяет использовать относительно сложные вычисления только в качестве калибровки для повышения точности без существенных затрат вычислительных ресурсов и памяти.

Возможны также и другие комбинации совместного использования этапов 10-12 с этапами 4-6. Например, по умолчанию проверка выполняется на основе этапов 4-6, но каждый 10-й кадр в дополнение к этапам 4-6 выполняется проверка с помощью этапов 10-12, а промежутке с 1-го по 9-й кадр проверка с помощью этапов 10-12 выполняется только для рамок, в отношении которых выявлен конфликт или отсутствие соответствия. Это позволяет достичь повышенной точности без излишних затрат вычислительных ресурсов и памяти.

Структура устройства

Следует понимать, что устройство для идентификации человека в потоке видеокадров согласно настоящему изобретению в целом выполняет функции, соответствующие этапам способа идентификации человека в потоке видеокадров. В частности, устройство может содержать процессор и память, соединенную с процессором и содержащую инструкции, которые предписывают процессору выполнять описанные выше этапы способа идентификации человека в потоке видеокадров.

Пример осуществления

Устройство для идентификации человека может быть в качестве неограничивающего примера реализовано на базе рабочей станции с ОС Ubuntu, содержащей 6 процессоров Intel Core i5-9600KF CPU с частотой 3.7 ГГц, 16 ГБ оперативной памяти и графический ускоритель Nvidia GeForce RTX 3080/PCIe/SSE2. Используется 3 камеры с разрешением 720p для обзора разных частично перекрывающихся между собой областей пространства. Способ применяет комбинацию этапов 4-6 и 10-12 для всех кадров, а также идентификацию личности с использованием поиска соответствия по фигуре и по голове. Полученное таким образом устройство обеспечивает быстродействие 12 fps с возможностью идентификации до 40 человек.

Дополнительные особенности реализации

По меньшей мере один из этапов в способе или блоков в устройстве может использовать модель искусственного интеллекта (AI) для выполнения соответствующих операций. Функция, связанная с AI, может выполняться через энергонезависимую память, энергозависимую память и процессор.

Процессор может включать в себя один или несколько процессоров. В то же время, один или несколько процессоров могут быть процессором общего назначения, например, центральным процессором (CPU), прикладным процессором (AP) или т.п., блоком обработки только графики, таким как графический процессор (GPU), визуальный процессор (VPU) и/или специализированный процессор AI, такой как нейронный процессор (NPU).

Один или несколько процессоров управляют обработкой входных данных в соответствии с заранее определенным правилом работы или моделью искусственного интеллекта (AI), хранящейся в энергонезависимой памяти и энергозависимой памяти. Предварительно определенное рабочее правило или модель искусственного интеллекта могут быть получены путем обучения. При этом процессор может выполнять операцию предварительной обработки данных для преобразования в форму, подходящую для использования в качестве входных данных для модели искусственного интеллекта.

«Получена путем обучения» означает, что посредством применения алгоритма обучения к множеству обучающих данных создается предварительно определенное рабочее правило или модель AI с желаемой характеристикой. Обучение может выполняться на самом устройстве, в котором выполняется AI согласно варианту осуществления, и/или может быть реализовано через отдельный сервер/систему.

Модель искусственного интеллекта может включать в себя множество слоев нейронной сети. Каждый из множества слоев нейронной сети включает в себя множество весовых значений и выполняет рабочую операцию для данного уровня путем вычисления между результатом вычисления предыдущего слоя и множеством весовых значений.

Примеры нейронных сетей включают, помимо прочего, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративно-состязательные сети (GAN) и глубокие Q-сети.

Алгоритм обучения - это метод обучения предварительно определенного целевого устройства (например, нейронной сети на базе GPU) с использованием множества обучающих данных, чтобы вызывать, разрешать или управлять целевым устройством для выполнения определения или прогнозирования. Примеры алгоритмов обучения включают, но не ограничиваются ими, обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя или обучение с подкреплением.

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Некоторые блоки или модули по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков или модулей в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного, если это применимо. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.

В случае если объем данных велик, может производиться многопоточная обработка данных, которая в простом представлении может выражаться в том, что все множество подлежащих обработке данных разделяется на набор подмножеств, и каждое ядро процессора выполняет обработку в отношении назначенного для него подмножества данных.

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.

В качестве примера, а не ограничения, машиночитаемые носители могут содержать постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), флеш-память, оперативную память (RAM), статическую память с произвольным доступом (SRAM), динамическую память с произвольным доступом (DRAM), синхронную динамическую память с произвольным доступом (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью передачи данных (DDR SDRAM), синхронную динамическую память с произвольной выборкой с повышенной скоростью (ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативную память с шиной прямого доступа (DR RAM) и т.п.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного.

Следует понимать, что хотя в настоящем документе для описания различных элементов, компонентов, областей, слоев и/или секций могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один элемент, компонент, область, слой или секцию от другого элемента, компонента, области, слоя или секции. Так, первый элемент, компонент, область, слой или секция может быть назван вторым элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

В одном варианте осуществления элементы/блоки/модули предложенного устройства находятся в общем корпусе, могут быть размещены на одной раме/конструкции/печатной плате/кристалле и связаны друг с другом конструктивно посредством монтажных (сборочных) операций и функционально посредством линий связи. Упомянутые линии или каналы связи, если не указано иное, являются типовыми, известными специалистам линиями связи, материальная реализация которых не требует творческих усилий. Линией связи может быть провод, набор проводов, шина, дорожка, беспроводная линия связи (индуктивная, радиочастотная, инфракрасная, ультразвуковая и т.д.). Протоколы связи по линиям связи известны специалистам и не раскрываются отдельно.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Несмотря на то, что примерные варианты осуществления были подробно описаны, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Изобретение относится к области распознавания изображений. Техническим результатом является повышение точности идентификации человека в потоке видеокадров, когда имеется перекрытие фигур и голов. Технический результат достигается тем, что обнаруживают на текущем кадре фигуры людей, выделяют обнаруженную фигуру соответствующей ограничивающей рамкой; выполняют предсказание положений ограничивающих рамок с применением фильтра Калмана; вычисляют сходство каждой предсказанной ограничивающей рамки с применением коэффициента флористической общности; генерируют векторное представление изображения, заключенного в ограничивающую рамку для фигуры; выполняют в базе данных поиск соответствия сгенерированного векторного представления фигуры методом ближайших соседей; выделяют ограничивающую рамку для головы в пределах обнаруженной ограничивающей рамки для фигуры; генерируют векторное представление изображения, заключенного в ограничивающую рамку для головы; выполняют в базе данных поиск соответствия сгенерированного векторного представления головы методом ближайших соседей; и идентифицируют личность посредством взвешенной суммы результатов поиска соответствия по фигуре и по голове. 2 з.п. ф-лы.

1. Способ идентификации человека в потоке видеокадров, содержащий этапы, на которых:

принимают текущий кадр с видеокамеры;

определяют момент времени, в который был снят текущий кадр;

обнаруживают на текущем кадре фигуры людей с помощью методов компьютерного зрения, выделяя каждую обнаруженную фигуру соответствующей ограничивающей рамкой;

выполняют предсказание положений ограничивающих рамок на момент времени, в который был снят текущий кадр, для данной камеры с применением фильтра Калмана на основе положений ограничивающих рамок на предыдущем кадре и предварительно вычисленных векторов их состояния;

вычисляют сходство каждой предсказанной ограничивающей рамки с каждой обнаруженной ограничивающей рамкой с применением коэффициента флористической общности;

определяют взаимное соответствие между предсказанными ограничивающими рамками и обнаруженными ограничивающими рамками, если оно имеется, на основе вычисленного сходства;

для каждой обнаруженной ограничивающей рамки на текущем кадре, если имеется соответствие между ней и ограничивающей рамкой на предыдущем кадре, вычисляют вектор состояния с учетом ее текущего положения и с учетом вектора состояния соответствующей ограничивающей рамки на предыдущем кадре и идентифицируют личность человека, фигура которого выделена данной обнаруженной ограничивающей рамкой, в соответствии с личностью, ранее идентифицированной для соответствующей ограничивающей рамки на предыдущем кадре; и

для каждой обнаруженной ограничивающей рамки на текущем кадре, если не имеется соответствие между ней и ограничивающей рамкой на предыдущем кадре, вычисляют вектор состояния с учетом ее текущего положения и идентифицируют личность человека, фигура которого выделена данной обнаруженной ограничивающей рамкой, методом компьютерного зрения посредством поиска соответствия в базе данных, хранящей данные о подлежащих идентификации личностях,

причем база данных содержит для каждого подлежащего идентификации человека векторное представление изображения его фигуры и векторное представление изображения его головы,

причем идентификация личности по базе данных содержит этапы, на которых:

генерируют векторное представление изображения, заключенного в ограничивающую рамку для фигуры;

выполняют в базе данных поиск соответствия сгенерированного векторного представления фигуры методом ближайших соседей;выделяют ограничивающую рамку для головы в пределах обнаруженной ограничивающей рамки для фигуры;

генерируют векторное представление изображения, заключенного в ограничивающую рамку для головы;

выполняют в базе данных поиск соответствия сгенерированного векторного представления головы методом ближайших соседей; и

идентифицируют личность посредством взвешенной суммы результатов поиска соответствия по фигуре и по голове.

2. Способ по п. 1, дополнительно содержащий этапы, на которых:

для каждой обнаруженной ограничивающей рамки на текущем кадре генерируют векторное представление изображения, заключенного в ограничивающую рамку;

вычисляют сходство каждого векторного представления, предварительно сгенерированного для предыдущего кадра, с каждым векторным представлением, сгенерированным для текущего кадра, по косинусному расстоянию между векторами;

определяют взаимное соответствие между векторными представлениями для предыдущего кадра и для текущего кадра, если оно имеется, на основе вычисленного сходства;

причем определяют взаимное соответствие между ограничивающими рамками на текущем кадре и на предыдущем кадре посредством взвешенной суммы результатов определения соответствия по коэффициенту флористической общности и по косинусному расстоянию.

3. Способ по п. 1, дополнительно содержащий этап, на котором:

генерируют размеченный кадр посредством нанесения, для каждой идентифицированной личности, соответствующей ограничивающей рамки и текстового указания на текущий кадр.