СПОСОБ, УСТРОЙСТВО И СЕРВЕР ДЛЯ ОПРЕДЕЛЕНИЯ ПЛАНА СЪЕМКИ ИЗОБРАЖЕНИЯ Российский патент 2017 года по МПК G06K9/62 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области технологий связи и более конкретно, к способу, устройству и серверу для определения плана съемки изображения.

Уровень техники

В настоящее время смартфоны становятся все более и более популярными, и все более и более популярным становится способ фотографирования посредством использования мобильного телефона в любом месте в любое время. Что касается большого количества изображений, хранящиеся в галерее мобильного телефона, то в предшествующем уровне техники для маркировки изображения используется информация о времени или месте съемки, так что пользователь может просматривать изображения, которые были сфотографированы в определенный период времени или в определенном месте.

Раскрытие изобретения

Далее приводится описание способа, устройства и сервера для определения плана съемки изображения.

В соответствии с первым аспектом настоящего изобретения предложен способ определения плана съемки изображения, включающий в себя этапы, на которых: получают галерею пользовательского терминала, при этом галерея содержит по меньшей мере одно изображение, подлежащее обработке; осуществляют идентификацию по меньшей мере одного изображения, подлежащего обработке, с помощью модели идентификации плана съемки изображения, соответственно, для определения плана съемки, которому соответствует каждое из по меньшей мере одного изображения, подлежащего обработке; и осуществляют маркировку каждого из по меньшей мере одного изображения, подлежащего обработке, планом съемки, которому соответствует изображение, подлежащее обработке.

Варианты осуществления настоящего изобретения могут обеспечить, по меньшей мере, некоторые из следующих полезных эффектов: путем получения галереи пользовательского терминала, когда галерея содержит по меньшей мере одно изображение, подлежащее обработке; посредством идентификации по меньшей мере одного изображения, подлежащего обработке, используя модель идентификации плана съемки изображения, соответственно, для определения плана съемки, которому соответствует каждое из по меньшей мере одного изображения, подлежащего обработке; и посредством маркировки каждого из по меньшей мере одного изображения, подлежащего обработке, планом съемки, которому соответствует изображение, подлежащее обработке, облегчается классификация изображений, подлежащих обработке, в галерее в соответствии с планом съемки, которым они соответствуют, и предоставляют изображения пользователю, при просмотре пользователем изображения, так что усовершенствуется способ использования галереи пользователем.

Дополнительно, перед идентификацией, способ дополнительно содержит этап, на котором: получают обучающий набор выборок, причем обучающий набор выборок включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемок; вводят, случайным образом, обучающие изображения, которым соответствующие обучающие планы съемок соответствуют, в модель идентификации исходного плана съемки изображения; и обучают признак коэффициентов между соответствующими уровнями скрытых узлов модели идентификации исходного плана съемки изображения для получения модели идентификации плана съемки изображения.

Варианты осуществления изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: возможность того, что модель определения плана съемки изображения правильной идентификации изображения, подлежащего обработке, улучшается за счет выполнения операций, на которых: получают обучающий набор выборки, при этом обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки; ввод случайным образом обучающих изображений, которым соответствующие соответствуют обучающие планы съемки, в модель идентификации исходного изображения плана съемки; и обучение признака коэффициентов между соответствующими уровнями скрытых узлов модели идентификации исходного изображения плана съемки для получения модели идентификации изображения плана съемки.

Дополнительно, способ содержит этапы, на которых: получают тестовый набор выборки, при этом тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки; осуществляют идентификацию тестовых изображений, которым соответствуют соответствующие планы съемки, с использованием модели идентификации изображения плана съемки, соответственно, для получения результатов классификации планов съемки соответствующих тестовых изображений; и определяют точность классификации модели идентификации планов съемки изображения в соответствии с результатами классификации планов съемки соответствующих тестовых изображений.

Дополнительно, после определения способ дополнительно содержит этапы, на которых: если точность классификации меньше предварительно установленного порогового значения, следующие процессы выполняются итерационно, пока не достигнуто максимальное число итераций или величина точности классификации не превысит заданное пороговое значение: обновляют обучающий набор выборки; обучают, в соответствии с обновленным набором обучающий набор выборки, признака коэффициентов между соответствующими уровнями скрытых узлов модели идентификации плана съемки изображения, соответствующей последней итерации; и выполняют итерации обновленной модели идентификации планов съемки изображения, которой соответствует текущая итерация; и выполняют, в соответствии с обновленным обучающим набором выборки, тест величины точности классификации обновленной модели идентификации плана съемки плана съемки изображения, соответствующей текущей итерации, для определения соответствующей точности классификации.

Способ дополнительно содержит этапы, на которых: определяют величину максимальной точности классификации среди величин точности классификации, соответствующих итераций; и определяют обновленную модель идентификации плана съемки изображения, которой соответствует величина максимальной точности классификации, в качестве модели идентификации целевого плана изображения.

Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: возможность того, что модель определения плана съемки изображения, которая идентифицирует изображение, подлежащее обработке, улучшается посредством выполнения следующих операций: если точность классификации меньше, чем предварительно установленное пороговое значение, то следующие процессы выполняются итеративно, пока максимальное количество итераций не будет достигнуто или достигнута точность классификации больше, чем заданное пороговое значение: процесс обновления обучающего набора выборки; процесс обучения, в соответствии с обновленным обучающим набором выборки, признаков коэффициентов между соответствующими уровнями скрытых узлов модели идентификации плана съемки изображения, соответствующей последней итерации; и процесс итерации обновления модели идентификации плана съемки обновленного изображения, которой соответствует текущая итерация; и выполнение, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели идентификации плана съемки изображения, соответствующей текущей итерации для определения соответствующей точности классификации; определение максимальной точности классификации среди величин точности классификации соответствующих итерациям; и определение обновленной модели идентификации плана съемки изображения, которой соответствует максимальная точность классификации, в качестве модели идентификации целевого плана съемки изображения.

Дополнительно, перед идентификацией способ дополнительно содержит этапы, на которых: выполняют процесс нормализации изображения, подлежащего обработке, в соответствии с заданным размером, для получения изображения заданного размера и соответствующего изображению, подлежащему обработке; и идентификация соответственно содержит этапы, на которых: определяют изображение заданного размера, используя модель идентификации плана съемки изображения, чтобы получить план съемки, которой соответствует изображение, подлежащее обработке.

Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: путем осуществления процесса нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера и соответствующее изображению, подлежащему обработке; и идентификация соответственно содержит этапы, на которых: определяют изображение заданного размера, с использованием модели идентификации плана съемки изображения, чтобы получить план съемки, соответствующий изображению, подлежащему обработке; это повышает скорость идентификации модели определения плана съемки изображения для изображения, подлежащего обработке, так чтобы повысить эффективность идентификации изображения, подлежащего обработке.

Способ дополнительно содержит этапы, на которых: сохраняют посредством классификации по меньшей мере одно изображение, подлежащее обработке, в галерее пользовательского терминала в зависимости от плана съемки, которому соответствует по меньшей мере одно изображение, подлежащее обработке, для получения по меньшей мере одного классифицированного альбома; и осуществляют маркировку по меньшей мере одного классифицированного альбома посредством плана съемки, которому соответствует по меньшей мере один классификационный альбом.

Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: сохранение посредством классификации по меньшей мере одного изображения, подлежащего обработке, в галерее пользовательского терминала в зависимости от плана съемки, которому соответствует по меньшей мере одно изображение, подлежащее обработке, для получения по меньшей мере одного классификационного альбома; и маркировку по меньшей мере одного классификационного альбома посредством плана съемки, которому соответствует по меньшей мере один классификационный альбом, что облегчает пользователю просмотр соответствующих классификационных альбомов и улучшает способ использования галереи пользователем.

Способ дополнительно содержит: сохранение посредством классификации по меньшей мере одного изображения, подлежащего обработке, в каждом классифицированном альбоме в соответствии с местоположением и/или временем, которому по меньшей мере одно изображение, подлежащее обработке, соответствует, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и маркировку по меньшей мере одного субклассификационного альбома с использованием информации о местоположении и/или времени, которому по меньшей мере один субклассификационный альбом соответствует.

Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: сохранение, посредством классификации по меньшей мере одного изображения, подлежащего обработке, в каждом классификационном альбоме в соответствии с информацией о местоположении и/или временем, которому соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и маркировку, по меньшей мере одного субклассификационного альбома с использованием информации о местоположении и/или времени, которому соответствует по меньшей мере один субклассификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов или субклассификационных альбомов, таким образом, улучшая способ использования галереи пользователем.

В соответствии со вторым аспектом настоящего изобретения, обеспечивается устройство для определения плана съемки изображения, включающее в себя: первый модуль получения, выполненный с возможностью получения галереи пользовательского терминала, при этом галерея содержит по меньшей мере одно изображение, подлежащее обработке; первый модуль идентификации, выполненный с возможностью идентификации изображения, подлежащего обработке, с использованием модели идентификации плана съемки изображения для определения плана съемки, которому соответствует изображение, подлежащее обработке; и первый модуль маркировки, выполненный с возможностью маркировки изображения, подлежащего обработке, с помощью плана съемки, которому соответствует изображение, подлежащее обработке.

Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: посредством получения галереи пользовательского терминала, когда галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентификации по меньшей мере одного изображения, подлежащего обработке, с использованием модели идентификации плана съемки изображения, соответственно, чтобы определить план съемки, которому соответствует каждое по меньшей мере одно изображение, подлежащее обработке; и маркировки каждого по меньшей мере одного изображения, подлежащего обработке, с помощью плана съемки, которому соответствует изображение для обработки, что облегчает классификацию изображений, подлежащих обработке, в галерее в соответствии с планом съемки, которым они соответствуют, и предоставления изображения пользователю, когда пользователь просматривает изображения так, что улучшается способ использования галереи пользователем.

Дополнительно, устройство содержит: второй модуль получения, выполненный с возможностью получения обучающего набора выборки, при этом обучающий набор выборки включает в себя обучающие изображения, которые соответствуют соответствующим обучающим планам съемки; модуль ввода, выполненный с возможностью вводить случайным образом обучающие изображения, которые соответствуют соответствующим обучающим планам съемки, в модель идентификации исходного плана съемки изображения, и обучать признак коэффициентов между соответствующими уровнями скрытых узлов модели идентификации исходного плана съемки изображения для получения модели идентификации плана съемки изображения.

Варианты осуществления изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: возможность усовершенствования модели определения плана съемки изображения для правильной идентификации изображения, подлежащего обработке, за счет выполнения следующих операций: получения обучающего набора выборки, при этом обучающий набор выборки включает в себя обучающие изображения, которые соответствуют соответствующим обучающим планам съемки; ввод случайным образом обучающих изображений, которые соответствуют соответствующим обучающим планам съемки, в модель идентификации исходного плана съемки изображения; и обучение признака коэффициентов между соответствующими уровнями скрытых узлов модели идентификации исходного плана съемки изображения для получения модели идентификации плана съемки изображения.

Дополнительно, устройство содержит: третий модуль получения, выполненный с возможностью получения тестового набора выборки, при этом тестовый набор выборки включает в себя тестовые изображения, которые соответствуют соответствующим планам съемки; второй модуль идентификации, выполненный с возможностью идентифицировать тестовые изображения, которые соответствуют соответствующим планам съемки, используя модель идентификации плана съемки изображения соответственно, чтобы получить результаты классификации плана съемки соответствующих тестовых изображений; и первый модуль определения, выполненный с возможностью определять точность классификации модели идентификации плана съемки изображения в соответствии с результатами классификации планов съемки соответствующих тестовых изображений.

Дополнительно, устройство содержит: модуль обработки итерации, выполненный с возможностью выполнения следующих процессов итеративно, пока максимальное количество итераций не будет достигнуто или величина точности классификации будет больше, чем предварительно установленное пороговое значение, если величина точности классификации меньше, чем предварительно установленное пороговое значение: обновляют обучающий набор выборки; обучают, в соответствии с обновленным обучающим набором выборки, признак коэффициентов между соответствующими уровнями скрытых узлов модели идентификации плана съемки изображения, соответствующей последней итерации; и выполняют итерации, обновленной модели идентификации плана съемки изображения, которой соответствует текущая итерация; и выполняют, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели идентификации плана съемки изображения, соответствующей текущей итерации, чтобы определить соответствующую точность классификации.

Дополнительно, устройство содержит: второй модуль определения, выполненный с возможностью определять величину максимальной точности классификации среди величин точности классификации, соответствующих итераций; и третий модуль определения, выполненный с возможностью определять обновленную модель идентификации плана съемки изображения, которой соответствует максимальная точность классификации, как целевая модель идентификации плана съемки изображения.

Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: возможность усовершенствования модели определения плана съемки изображения, которая корректно идентифицирует изображение, подлежащее обработке, посредством выполнения следующих операций: если точность классификации меньше, чем предварительно установленное пороговое значение, то следующие процессы выполняются итеративно, пока не достигнуто максимальное количество итераций или величина точности классификации не станет больше, чем заданное пороговое значение: обновляют обучающий набор выборки; обучают, в соответствии с обновленным обучающим набором выборки, признак коэффициентов между соответствующими уровнями скрытых узлов модели идентификации плана съемки изображения, соответствующей последней итерации; и выполнение итераций обновленной модели идентификации плана съемки изображения, которая соответствует текущей итерации; и выполнение, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели идентификации плана съемки изображения, соответствующей текущей итерации, чтобы определить соответствующую величину точности классификации; определяют максимальную точность классификации среди величин точности классификации, соответствующих итераций; и определяют обновленную модель идентификации плана съемки изображения, которой соответствует максимальная величина точности классификации, как модель идентификации целевого плана съемки изображения.

Дополнительно, устройство содержит: модуль обработки, выполненный с возможностью выполнять процесс нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера, и соответствующее изображению, подлежащего обработке; и, в котором первый модуль идентификации содержит: блок идентификации, выполненный с возможностью идентификации изображения заданного размера, используя модель идентификации плана съемки изображения, чтобы получить план съемки, которому соответствует каждое из изображений, подлежащее обработке.

Варианты осуществления изобретения могут обеспечивать, по меньшей мере, некоторые из следующих полезных эффектов: путем осуществления процесса нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера, и соответствующее изображению, подлежащего обработке; и процесс идентификации соответственно содержит: определение изображения заданного размера с помощью модели идентификации плана съемки изображения, чтобы получить план съемки, которому соответствует изображение, подлежащее обработке; это повышает скорость идентификации модели определения плана съемки изображения для изображения, подлежащего обработке, так что эффективность идентификации изображения, подлежащих обработке, повышается.

Дополнительно, устройство содержит: первый модуль хранения, выполненный с возможностью хранить посредством классификации по меньшей мере одно изображение, подлежащее обработке, в галерее пользовательского терминала в зависимости от плана съемки, которому соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один классификационный альбом; и второй модуль маркировки, выполненный с возможностью маркировать по меньшей мере один классификационный альбом, с планом съемки, которому соответствует по меньшей мере один классификационный альбом.

Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: при хранении посредством классификации по меньшей мере одного изображения, подлежащего обработке, в галерее пользовательского терминала в зависимости от плана съемки, которому соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один классификационный альбом; и маркировку по меньшей мере одного классификационного альбома с планом съемки, которому соответствует по меньшей мере один классификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов, что улучшает способ использования галереи пользователем.

Дополнительно, устройство содержит: второй модуль хранения, выполненный с возможностью хранить посредством классификации по меньшей мере одно изображение, подлежащее обработке, в каждом классификационном альбоме в соответствии с информацией о месте и/или времени, которое соответствует по меньшей мере одному изображению, подлежащему обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и третий модуль маркировки, выполненный с возможностью маркировать по меньшей мере один субклассификационный альбом, используя информацию о месте и/или времени, которая соответствует по меньшей мере одному субклассификационному альбому.

Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: хранение посредством классификации по меньшей мере одного изображения, подлежащего обработке, в каждом классификационном альбоме в соответствии с информацией о месте и/или времени, которое соответствует по меньшей мере одному изображению, подлежащему обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и маркировку по меньшей мере одного субклассификационного альбома с использованием информации о местоположения и/или времени, которое соответствует по меньшей мере одному субклассификационному альбому; это облегчает пользователю просмотр соответствующих классификационных альбомов или субклассификационных альбомов, таким образом, улучшает способ использования галереи пользователем.

В соответствии с третьим аспектом настоящего изобретения, обеспечивается сервер, включающий в себя: компонент обработки; и память для хранения команд, исполняемых компонентом обработки, в котором компонент обработки выполнен с возможностью выполнять следующие операции: получение галереи пользовательского терминала, причем галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентификацию изображения, подлежащего обработке, с использованием модели идентификации плана съемки изображения, чтобы определить план съемки, которому соответствует изображение, подлежащее обработке; и маркировку изображения, подлежащего обработке с планом съемки, которому соответствует изображение для обработки.

Варианты осуществления настоящего изобретения могут обеспечить по меньшей мере некоторые из следующих полезных эффектов: путем получения галереи пользовательского терминала, где галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентификации по меньшей мере одного изображения, подлежащего обработке, с помощью модели идентификации плана съемки изображения, соответственно, чтобы определить план съемки, которому соответствует каждое из по меньшей мере одного изображения, подлежащего обработке; и маркировку каждого из по меньшей мере одного изображения, подлежащего обработке, с планом съемки, которому соответствует изображение для обработки, это облегчает классификацию изображений, подлежащих обработке, в галерее в соответствии с соответствующими планам съемки, и предоставляет изображения пользователю, когда пользователь просматривает изображения, таким образом, чтобы улучшить способ использования галереи пользователем.

Следует понимать, что вышеизложенное общее описание и последующее подробное описание являются только иллюстративными и не ограничивают настоящее изобретение.

Краткое описание чертежей

Прилагаемые чертежи, которые включены в описание и составляют часть данного описания, иллюстрируют варианты осуществления в соответствии с настоящим изобретением, и вместе с описанием служат для объяснения принципов настоящего изобретения.

Фиг. 1 представляет собой блок-схему алгоритма, иллюстрирующую способ определения плана съемки изображения в соответствии с примерным вариантом осуществления.

Фиг. 2 представляет собой структуру сверточной нейронной сети.

Фиг. 3 представляет собой блок-схему алгоритма, иллюстрирующую способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.

Фиг. 4 представляет собой блок-схему алгоритма, иллюстрирующую способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.

Фиг. 5 представляет собой блок-схему алгоритма, иллюстрирующую способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.

Фиг. 6 представляет собой блок-схему алгоритма, иллюстрирующую способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.

Фиг. 7 показывает блок-схему алгоритма, иллюстрирующую способ для определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.

Фиг. 8 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с примерным вариантом осуществления.

Фиг. 9 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.

Фиг. 10 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.

Фиг. 11 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.

Фиг. 12 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.

Фиг. 13 показывает блок-схему, иллюстрирующую устройство определения плана съемки изображения в соответствии с другим примерным вариантом осуществления.

Фиг. 14 показывает блок-схему, иллюстрирующую сервер в соответствии с примерным вариантом осуществления.

Варианты осуществления разъяснены в настоящем описании, как было показано, с помощью описанных выше чертежей; они будут описаны ниже более подробно. Эти чертежи и описание не предназначены для ограничения каким-либо образом объема раскрываемой концепции; вместо этого, они уточняют концепции настоящего раскрытия специалистам в данной области техники со ссылкой на конкретные варианты осуществления.

Осуществление изобретения

Далее будет приведено подробное описание примерных вариантов осуществления, примеры которых проиллюстрированы на прилагаемых чертежах. Следующее описание приведено со ссылками на прилагаемые чертежи, на которых одинаковые номера на разных чертежах представляют одинаковые или сходные элементы, если не указано иное. Варианты реализации, изложенные в следующем описании примерных вариантов осуществления, не представляют все варианты реализации в соответствии с изобретением. Вместо этого, они являются просто примерами устройства и способов в соответствии с аспектами, относящиеся к настоящему изобретению, как изложено в прилагаемой формуле изобретения.

На фиг. 1 представлена блок-схема алгоритма, иллюстрирующая способ определения плана съемки изображения в соответствии с примерным вариантом осуществления, способ определения плана съемки изображения может быть выполнен с помощью устройства определения плана съемки изображения, устройство определения плана съемки изображения может быть сервером или приложением, установленным на сервере, который представляет собой интеллектуальный терминал (например, мобильный терминал, PAD и т.д.). Устройство определения плана съемки изображения также может быть интеллектуальным терминалом (например, мобильный терминал, PAD и т.д.) или приложением, установленным на смарт-терминале. Этот примерный вариант осуществления показывает способ определения плана съемки изображения, который может содержать следующие этапы.

На этапе 101 получается галерея пользовательского терминала; галерея содержит по меньшей мере одно изображение, которое будет обрабатываться.

В этом примере, до получения галереи пользовательского терминала, пользовательский терминал может вручную или автоматически обновлять галерею или загружать галерею на облако сервера.

На этапе 102 изображение, подлежащее обработке, определяется с использованием модели определения плана съемки изображения, чтобы определить сцену, которой соответствует изображение для обработки.

В этом варианте осуществления сверточная нейронная сеть используется для построения модели определения плана съемки изображения. Сверточная нейронная сеть является своего рода искусственной нейронной сетью; она стала актуальной темой исследования в области анализа речи и распознавания образов. Таким образом, совместно используемые весовые значения сетевой структуры делает ее более похожим на биологическую нейронную сеть, уменьшая сложность модели сети и уменьшая количество весовых значений. Это преимущество становится более очевидным, когда на вход сети поступает многомерное изображение, что позволяет изображению служить в качестве непосредственного входа в сеть, что позволяет избежать сложных процессов извлечения признаков и восстановления данных в традиционных алгоритмах идентификации.

Структура сверточной нейронной сети показана на фиг. 2, сверточная нейронная сеть представляет собой многоуровневую нейронную сеть, причем каждый уровень состоит из множества двумерных плоскостей, и каждая плоскость состоит из множества независимых нейронов. В этом варианте осуществления предполагается, что чувствительная модель идентификации изображения, полученная на основании сверточной нейронной сети, имеет N-уровневую структуру, и соответствующие соединения уровня скрытых узлов двух смежных уровней имеют весовые коэффициенты, определенные посредством тренировок обучающего набора выборки. Для удобства описания, в вариантах осуществления настоящего изобретения весовые коэффициенты соединений уровня скрытых узлов называются признаком коэффициентов; поэтому чувствительная модель идентификации изображения имеет N уровней признака коэффициентов.

В этом примере, входом модели определения плана съемки изображения является изображение для обработки, выходом таковой могут быть результаты классификации плана съемки изображения, подлежащего обработке; план съемки, которому соответствует изображение, подлежащее обработке, может включать в себя: план съемки вечеринки, план съемки пейзажа, план съемки пляжа, другие планы съемки и так далее. Путем ввода изображения, подлежащего обработке, в модель определения плана съемки изображения, план съемки, который соответствует изображению, подлежащего обработке, может быть определен как один из указанных выше в соответствии с результатом классификации плана съемки изображения, подлежащего обработке.

На этапе 103 изображение для обработки маркируется планом съемки, которому соответствует изображение, подлежащее обработке.

В этом примере, изображение, подлежащее обработке, не может быть ограничено изображениями в галерее пользовательского терминала; это могут быть изображения, которые получаются с помощью других средств или из других источников. При этом отсутствуют какие-либо ограничения для средств обработки изображения, которые могут быть установлены по желанию.

В примерных вариантах осуществления, осуществляется получение галереи пользовательского терминала, в котором галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентификация изображения, подлежащее обработке, с использованием модели определения плана съемки изображения, чтобы определить план съемки, которому соответствует изображение, подлежащее обработке; и маркировка изображения, подлежащее обработке, с планом съемки, которому соответствует изображение, подлежащее обработке, что облегчает классификацию изображений, подлежащих обработке, в галерее в соответствии с планом съемки, которым они соответствует, и предоставляют изображения пользователю, когда пользователь просматривает изображения с тем, чтобы улучшить способ использования галереи пользователем.

На фиг. 3 представлена блок-схема алгоритма, иллюстрирующая способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 3, на основании примерного варианта осуществления, показанного на фиг. 1, перед этапом 102 способ может также включать в себя следующие этапы.

На этапе 104 получается обучающий набор выборок, обучающий набор выборок включает в себя обучающие образы, которым соответствуют соответствующие обучающие планы съемки.

В этом примере, чтобы обеспечить тренировочный эффект, количество обучающих изображений, которым соответствуют соответствующие обучающие планы съемки, может быть больше, чем первое заданное число. Например, количество обучающих изображений, которым соответствует план съемки вечеринки, может быть 100000, количество обучающих изображений, к которым соответствует план съемки пейзажа, может быть 100000, количество обучающих изображений, к которым соответствует план съемки пляжа, может быть 100000 и количество обучающих изображений, к которым соответствуют другие планы съемки, может быть равно 200000 или более.

На этапе 105, обучающие изображения, которые соответствуют соответствующим обучающим планам съемки, случайным образом вводятся в модель определения исходного плана съемки изображения; и обучается признак коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, чтобы получить модель определения плана съемки изображения.

В этом примере сервер может случайным образом вводить каждое обучающее изображение в модель определения исходного плана съемки изображения, сравнивать результат классификации плана съемки модели определения исходного плана съемки изображения с планом съемки, которому соответствует вводимое обучающее изображение, таким образом, чтобы определить признак коэффициентов между соответствующими уровнями скрытых узлов текущей модели определения плана съемки изображения для корректировки. Но такой способ обучения часто может иметь следующий недостаток: после того, как признак коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения корректируется, в соответствии с предшествующим обучающим изображением, они могут быть скорректированы обратно в соответствии со следующим обучающим изображением; в результате, признак коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения часто корректируются.

По этой причине, в этом примере, сервер может также ввести последовательность обучающих изображений последовательно в модель определения исходного плана съемки изображения и определить, нужно ли корректировать признак коэффициентов между соответствующими уровнями скрытых узлов текущей модели определения плана съемки изображения в соответствии с результатами классификации плана съемки последовательности обучающих изображений, выводимых моделью определения исходного плана съемки изображения. Затем последовательность обучающих изображений последовательно вводится в модель определения плана съемки изображения.

В настоящем примерном варианте осуществления предусмотрена возможность усовершенствования модели определения плана съемки изображения для корректного определения изображения, которое будет обрабатываться, посредством выполнения следующих операций: получение обучающего набора выборок, где обучающий набор выборок включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки; ввод случайным образом обучающих изображений, которым соответствуют соответствующие обучающие планы съемки, в модель определения исходного плана съемки изображения; и обучение признака коэффициентов между соответствующими уровнями скрытых узлов модели определения исходного плана съемки изображения, чтобы получить модель определения плана съемки изображения.

В настоящем примерном варианте осуществления после того, как модель определения плана съемки изображения получается, величина точности классификации модели определения плана съемки изображения не обязательно должна удовлетворять заданной пороговой величине. Поэтому, чтобы величина точности классификации модели определения плана съемки изображения удовлетворяла заданной пороговой величине, после этапа 105, следующие этапы могут быть выполнены с помощью сервера со ссылкой на фиг. 4.

На этапе 106 получается тестовый набор выборки; тестовый набор выборки включает в себя тестовые изображения, которые соответствуют соответствующим планам съемки.

В этом примере, чтобы улучшить результаты тестов, количество тестовых изображений, которые соответствуют соответствующим обучающим планам съемки, может быть больше, чем второе заранее заданное количество. Например, количество тестовых изображений, которые соответствуют плану съемки вечеринки, может быть 10000, количество тестовых изображений, которые соответствуют пейзажу, может быть 10000, количество тестовых изображений, которые соответствуют плану съемки пляжа, может быть 10000 и количество тестовых изображений, которые соответствуют другим планам съемки, может быть 20000 или более.

На этапе 107 тестовые изображения, которые соответствуют соответствующим планам съемки, идентифицируются с использованием модели определения плана съемки изображения соответственно, для получения результатов классификации плана съемки соответствующих тестовых изображений.

На этапе 108 определяется величина точности классификации модели определения плана съемки изображения в соответствии с результатами классификации плана съемки соответствующих тестовых изображений.

В этом примере, если результат классификации плана съемки тестового изображения совпадает с планом съемки тестового изображения, то классификация верна; если результат классификации плана съемки тестового изображения не совпадает с планом съемки тестового изображения, то классификация неверна, и величина точности классификации модели определения плана съемки изображения определяется как отношение числа тестовых изображений, чьи результаты классификации плана съемки правильные и общего количества тестовых изображений.

На этапе 109, если величина точности классификации меньше, чем предварительно установленное пороговое значение, то следующие процессы выполняются итеративно, пока не будет достигнуто максимальное число итераций или величина точности классификации превысит предварительно установленное пороговое значение: обновление обучающего набора выборки; обучение, в соответствии с обновленным обучающим набором выборки, признака коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которой соответствует текущая итерация; и выполнение, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующей текущей итерации, чтобы определить соответствие величины точности классификации.

На этапе 110 максимальная величина точности классификации определяется среди величин точности классификации, соответствующих итераций.

На этапе 111 обновленная модель определения плана съемки изображения, которой соответствует максимальная точность классификации, определяется как целевая модель определения плана съемки изображения.

В настоящем примерном варианте осуществления, существует возможность усовершенствования модели определения плана съемки изображения, которая корректно идентифицирует изображение, подлежащее обработке, за счет выполнения следующих операций: получение тестового набора выборки, где тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки; идентификация тестовых изображений, которым соответствуют соответствующие планы съемки с использованием модели определения изображения, соответственно, для получения результатов классификации планов съемки соответствующих тестовых изображений; и определение точности классификации модели определения плана съемки изображения в соответствии с результатами классификации плана съемки соответствующих тестовых изображений; если величина точности классификации меньше, чем предварительно установленное пороговое значение, то следующие процессы выполняются итеративно, пока не будет достигнуто максимальное число итераций или величина точности классификации не превысит заданное пороговое значение: обновление набора обучающей выборки; обучение, в соответствии с обновленным обучающим набором выборки признака коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которой соответствует текущая итерация; и выполнение, в соответствии с обновленным набором обучающей выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующей текущей итерации, чтобы определить соответствие величине точности классификации.

На фиг. 5 представлена блок-схема алгоритма, иллюстрирующая способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 5, на основании примерного варианта осуществления, показанного на фиг. 3, чтобы повысить скорость обработки изображения модели определения плана съемки изображения введенного изображения, размер изображения, подлежащего обработке, может быть установлен в качестве предварительно установленного размера. Таким образом, перед этапом 102 способ может дополнительно включать в себя следующие этапы.

На этапе 112 выполняется процесс нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера и соответствующий изображению для обработки.

В этом примере сервер может установить заданный размер по мере необходимости. Например, заданный размер может быть 224 пикселей на 224 пикселей и тому подобное.

Следует отметить, что до этапа 105 и этапа 107 обучающие изображения и тестовые изображения, которые соответствуют соответствующим планам съемки, обрабатываются способом, идентичным вышеописанному процессу обработки, соответственно.

Соответственно, этап 102 может включать в себя этап 1021, где идентифицируется изображение заданного размера с использованием модели определения плана съемки изображения, чтобы получить план съемки, которому соответствует изображение, подлежащее обработке.

В примерном варианте осуществления посредством выполнения процесса нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера и соответствующий изображению, подлежащего обработке; и идентификация, соответственно, включает в себя: идентификацию изображения заданного размера с помощью модели идентификации плана съемки изображения, чтобы получить план съемки, которому соответствует изображение, подлежащее обработке; что повышает скорость идентификации модели определения плана съемки изображения для изображения, подлежащего обработке, чтобы повысить эффективность идентификации изображения, подлежащего обработке.

На фиг. 6 представлена блок-схема алгоритма, иллюстрирующая способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 6, на основании примерного варианта осуществления, показанного на фиг. 1, способ может дополнительно включает в себя следующие этапы.

На этапе 113 по меньшей мере одно изображение, которое будет обрабатываться, в галерее пользовательского терминала хранится посредством классификации в зависимости от плана съемки, которому по меньшей мере одно изображение, которое будет обрабатываться, соответствует, чтобы получить по меньшей мере один классификационный альбом.

На этапе 114 по меньшей мере один классификационный альбом маркирован с планом съемки, к которому по меньшей мере соответствует один классификационный альбом.

В настоящем примерном варианте осуществления, при хранении, посредством классификации по меньшей мере одного изображения, которое будет обрабатываться, в галерее пользовательского терминала в зависимости от плана съемки, которому по меньшей мере соответствует одно изображение, подлежащее обработке, чтобы получить по меньшей мере один классификационный альбом; и маркировку по меньшей мере одного классификационного альбома с планом съемки, которому по меньшей мере соответствует один классификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов, чтобы улучшить способ использования галереи пользователем.

На фиг. 7 показана блок-схема алгоритма, иллюстрирующая способ определения плана съемки изображения в соответствии с другим примерным вариантом осуществления. Как показано на фиг. 7, на основании примерного варианта осуществления, показанного на фиг. 6, способ может дополнительно включает в себя следующие этапы.

На этапе 115 по меньшей мере одно изображение, которое будет обрабатываться, в каждом классификационным альбоме хранится посредством классификации, в соответствии с информацией о местоположении и/или времени, к которому по меньшей мере соответствует одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома.

На этапе 116 маркирован по меньшей мере один субклассификационный альбом с использованием информации о местоположении и/или времени, которой по меньшей мере соответствует один субклассификационный альбом.

В настоящем примерном варианте осуществления, при хранении, посредством классификации по меньшей мере одного изображения, которое будет обрабатываться, в каждом классификационном альбоме в соответствии с информацией о местоположении и/или времени, которой соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и маркировку по меньшей мере одного субклассификационного альбома с использованием информации о местоположении и/или времени, которой соответствует по меньшей мере один субклассификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов или субклассификационных альбомов, чтобы улучшить способ использования галереи пользователем.

Ниже приведены варианты осуществления устройства настоящего раскрытия для осуществления вариантов осуществления способа настоящего изобретения. Для получения дополнительной информации, которая не упомянута в вариантах осуществления устройства, может быть сделана ссылка на варианты осуществления способа настоящего изобретения.

На фиг. 8 показана блок-схема, иллюстрирующая устройство определения плана съемки изображения в соответствии с примерным вариантом осуществления. Устройство определения плана съемки изображения может реализовать описанный вышеупомянутый способ посредством программного обеспечения, аппаратных средств или их комбинации. Устройство определение плана съемки изображения может включать в себя следующие компоненты.

Первый модуль 81 получения, выполненный с возможностью получать галерею пользовательского терминала, где галерея содержит по меньшей мере одно изображение, подлежащее обработке; первый модуль 82 идентификации, выполненный с возможностью идентифицировать изображение, подлежащее обработке, с использованием модели определения плана съемки изображения, чтобы определить план съемки, которому соответствует изображение, подлежащее обработке; и первый модуль 83 маркировки, выполненный с возможностью маркировать изображение, подлежащее обработке, с планом съемки, соответствующим изображению, подлежащему обработке.

В этом варианте осуществления сверточная нейронная сеть используется для построения моделей определения планов съемки изображения. Сверточная нейронная сеть является своего рода искусственной нейронной сетью; она стала актуальной темой исследования в области анализа речи и распознавания образов. Сетевая структура, совместно используя весовые значения, становится более похожей на биологическую нейронную сеть, что уменьшает сложность модели сети и уменьшает количество весовых значений. Это преимущество становится более очевидным, когда на вход сети поступает многомерное изображение, позволяя изображению служить в качестве прямого входного значения в сеть, и позволяет избежать сложных процессов извлечения и восстановления данных в традиционных алгоритмах идентификации.

Сверточная структура нейронной сети показана на фиг. 2, сверточная нейронная сеть представляет собой многоуровневую нейронную сеть, причем каждый уровень состоит из множества двумерных плоскостей, и каждая плоскость состоит из множества независимых нейронов. В этом варианте осуществления предполагается, что чувствительная модель идентификации изображения, полученная на, основании сверточной нейронной сети, имеет N-уровневую структуру, и соответствующие соединения уровня скрытых узлов двух смежных уровней имеют весовые коэффициенты, определенные тренировками обучающего набора выборки. Для удобства описания, в вариантах осуществления настоящего изобретения, весовые коэффициенты соединений уровня скрытых узлов называются как признак коэффициентов; поэтому чувствительная модель идентификации изображения имеет N уровней признака коэффициентов.

В этом примере, ввод модели определения плана съемки изображения является изображение для обработки, выход таковой может быть результаты классификации изображения, подлежащего обработке; план съемки, которому соответствует изображение, подлежащее обработке, может включать в себя: план съемки вечеринки, план съемки пейзажа, план съемки пляжа, другие планы съемки и так далее. Путем ввода изображения, подлежащего обработке, в модель определения плана съемки изображения, план съемки, которому соответствует изображение, подлежащее обработке, может быть определен как один из указанных выше, в соответствии с результатами классификации плана съемки изображения, подлежащего обработке.

В этом примере, изображение, подлежащее обработке, не может быть ограничено изображением в галерее пользовательского терминала; это может быть изображение, которое получают с помощью других средств или из других источников. При этом отсутствуют какие-либо ограничения для выбора средств обработки изображения, которые могут быть установлены по желанию.

В примерных вариантах осуществления, осуществляется получение галереи пользовательского терминала, галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентификация изображения, подлежащего обработке, с использованием модели определения плана съемки изображения, чтобы определить план съемки, которому соответствует изображение, подлежащее обработке; и маркировка изображения, подлежащее обработке, с планом съемки, которому соответствует изображение, подлежащее обработке, это облегчает классификацию изображений, подлежащих обработке, в галерее в соответствии с планами съемки, которым они соответствуют, и обеспечение изображений для пользователя, когда пользователь просматривает изображения, чтобы улучшить способ использования галереи пользователем.

Со ссылкой на фиг. 9, на основании примерного варианта осуществления, показанного на фиг. 8, описывается устройство, которое дополнительно содержит следующие компоненты.

Второй модуль 84 получения, выполненный с возможностью получать обучающий набор выборки, обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки; и модуль 85 ввода, выполненный с возможностью вводить случайным образом обучающие изображения, которые соответствуют соответствующим обучающим планам съемки, в модель определения исходного плана съемки изображения, и обучать признак коэффициентов между соответствующими уровнями скрытых узлов модели определения исходного плана съемки изображения, чтобы получить модель определения плана съемки изображения.

В этом примере, чтобы обеспечить обучающий эффект, количество обучающих изображений, которым соответствуют соответствующие обучающие планы съемки, может быть больше, чем первое заданное число. Например, количество обучающих изображений, которые соответствуют плану съемки вечеринки, может быть 100000, количество обучающих изображений, которым соответствует план съемки пейзажа, может быть 100000, количество обучающих изображений, которым соответствует план съемки пляжа, может быть 100000 и количество обучающих изображений, которым соответствуют другие планы съемки, может быть 200000 или более.

В этом примере сервер может случайным образом обеспечивать ввод каждого обучающего изображения в модель определения исходного плана съемки изображения, сравнивать результат классификации плана съемки модели определения исходного плана съемки изображения с планом съемки, которому соответствует вводимое обучающее изображение, таким образом, определяется необходимость корректировки признака коэффициентов между соответствующими уровнями скрытых узлов модели определения текущего плана съемки изображения. Но такой способ обучения часто может иметь следующий недостаток: после того, как признак коэффициентов соответствующих уровней скрытых узлов модели определения плана съемки изображения корректируются в соответствии с предшествующим одним обучающим изображением, он может быть скорректирован обратно в соответствии со следующим обучающим изображением; в результате, признак коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения часто корректируется.

По этой причине, в этом примере, сервер может также вводить последовательно ряд обучающих изображений в модель определения исходного плана съемки изображения, и определять, нужно ли корректировать признак коэффициентов между соответствующими уровнями скрытых узлов модели определения текущего плана съемки изображения, в соответствии с результатами классификации плана съемки серии обучающих изображений, выводимых моделью определения исходного плана съемки изображения. Затем ряд обучающих изображений последовательно вводятся в модель определения исходного изображения.

В настоящем примерном варианте осуществления, существует возможность усовершенствования модели определения плана съемки изображения, которая корректно определяет изображение, которое будет обрабатываться, за счет выполнения следующих операций: получение обучающего набора выборки, где обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки; ввод случайным образом обучающих изображений, которым соответствуют соответствующие обучающие планы съемки, в модель определения исходного плана съемки изображения; и обучение признака коэффициентов между соответствующими уровнями скрытых узлов модели определения исходного плана съемки изображения, чтобы получить модель определения плана съемки изображения.

В настоящем примерном варианте осуществления, существует возможность усовершенствования модели определения плана съемки изображения, которая корректно определяет изображение, подлежащее обработке, за счет выполнения следующих операций: получение обучающего набора выборки, где обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки; ввод случайным образом обучающих изображений, которым соответствуют соответствующие обучающие планы съемки, в модель определения исходного плана съемки изображения; и обучение признака коэффициентов между соответствующими уровнями скрытых узлов модели определения исходящего плана съемки изображения, чтобы получить модель определения плана съемки изображения.

Со ссылкой на фиг. 10, на основании примерного варианта осуществления, показанного на фиг. 9, приведено описание устройства, которое дополнительно включает в себя следующие компоненты.

Третий модуль 86 получения, выполненный с возможностью получать тестовый набор выборки, тестовый набор выборки включает в себя тестовые изображения, к которым соответствующие планы съемки соответствуют; второй модуль 87 идентификации, выполненный с возможностью идентифицировать тестовые изображения, которым соответствующие планы съемки соответствуют, используя модель определения изображения, соответственно, для получения результатов классификации планов съемки соответствующих тестовых изображений; и первый модуль 88 определения, выполненный с возможностью определять величину точности классификации модели определения планов съемки изображения, в соответствии с результатами классификации плана съемки соответствующих тестовых изображений; модуль 89 обработки итераций, выполненный с возможностью выполнять следующие процессы итеративно, пока максимальное число итераций не будет достигнуто или точность классификации будет больше, чем предварительно установленное пороговое значение, если точность классификации меньше, чем предварительно установленное пороговое значение: обновление обучающего набора выборки; обучение, в соответствии с обновленным обучающим набором выборки, признака коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которой соответствует текущая итерация; и выполнение, в соответствии с обновленным набором обучающей выборки, теста на точность классификации модели определения обновленного плана съемки изображения, соответствующего текущей итерации, чтобы определить соответствие точности классификации; второй модуль 90 определения, выполненный с возможностью определения величины максимальной точности классификации среди величин точности классификации, соответствующих итераций; и третий модуль 91 определения, выполненный с возможностью определять обновленную модель определения плана съемки изображения, которой соответствует максимальная величина точности классификации, как целевую модель определения плана съемки изображения.

В этом примере, чтобы улучшить результат тестов, количество тестовых изображений, к которым соответствующие учебные планы съемки соответствуют, может быть больше, чем вторая предварительно заданная величина. Например, количество тестовых изображений, которому соответствует план съемки вечеринки, может быть 10000, количество тестовых изображений, которому соответствует план съемки пейзажа, может быть 10000, количество тестовых изображений, которому соответствует план съемки пляжа, может быть 10000 и количество тестовых изображений, которым соответствуют другие планы съемки, может быть 20000 или более.

В этом примере, если результат классификации плана съемки тестового изображения совпадает с планом съемки тестового изображения, то классификация верна; если результат классификации плана съемки тестового изображения совпадает с планом съемки тестового изображения, то классификация неверна, а точность классификации модели определения плана съемки изображения определяется как отношение числа тестовых изображений, чьи результаты классификации плана съемки правильные, к общему количеству тестовых изображений.

В настоящем примерном варианте осуществления, существует возможность усовершенствования модели определения плана съемки изображения для корректной идентификации изображения, подлежащего обработке, за счет выполнения следующих операций: получение тестового набора выборки, где тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки; идентификация тестовых изображений, которым соответствующие планы съемки соответствуют, используя модель определения плана съемки изображения, соответственно, для получения результатов классификации плана съемки соответствующих тестовых изображений; и определение величины точности классификации модели определения плана съемки изображения в соответствии с результатами классификации плана съемки соответствующих тестовых изображений; если величина точности классификации меньше, чем предварительно установленное пороговое значение, то выполняются следующие процессы итеративно, пока не будет достигнуто максимальное число итераций или величина точности классификации превысит заданное пороговое значение: обновление обучающего набора выборки; обучение, в соответствии с обучающим обновленным набором выборки, признака коэффициентов между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которому соответствует текущая итерация; и выполнение, в соответствии с обновленным набором обучающей выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующего текущей итерации, чтобы определить соответствие величины точности классификации.

Со ссылкой на фиг. 11, на основании примерного варианта осуществления, показанного на фиг. 8, приведено описание устройства, которое дополнительно включает в себя следующие компоненты.

Модуль 92 обработки, выполненный с возможностью выполнять процесс нормализации изображения, подлежащего обработке, в соответствии с заданным размером, чтобы получить изображение заданного размера и соответствующий изображению, подлежащему обработке; и в котором первый модуль 82 идентификации содержит блок 821 идентификации, выполненный с возможностью идентифицировать изображение заданного размера с использованием модели определения плана съемки изображения, чтобы получить план съемки, которому соответствует каждое из изображений, подлежащих обработке.

В этом примере обучающие изображения и тестовые изображения, которым соответствуют соответствующие планы съемки, обрабатываются идентичным вышеописанным способом, соответственно.

В примерном варианте осуществления, посредством выполнения процесса нормализации изображения, подлежащего обработке, в соответствии с заданным размером, получают изображение заданного размера, соответствующее изображению, подлежащему обработке; и идентификация, соответственно, включает в себя: определение изображения заданного размера с помощью модели идентификации плана съемки изображения, чтобы получить план съемки, которой соответствует изображение, подлежащее обработке; что повышает скорость идентификации модели определения плана съемки изображения для изображения, подлежащего обработке, чтобы повысить эффективность идентификации изображения, подлежащего обработке.

Со ссылкой на фиг. 12, на основании примерного варианта осуществления, показанного на фиг. 8, приведено описание устройства, которое дополнительно включает в себя следующие компоненты.

Первый модуль 93 хранения, выполненный с возможностью хранить, посредством классификации по меньшей мере одно изображение, которое будет обрабатываться, в галерее пользовательского терминала в зависимости от плана съемки, которому по меньшей мере соответствует одно изображение, подлежащее обработке, чтобы получить по меньшей мере один альбом классификации; и второй модуль 94 маркировки, выполненный с возможностью маркировать по меньшей мере один классификационный альбом с планом съемки, которому соответствует по меньшей мере один классификационный альбом.

В настоящем примерном варианте осуществления, сохраняя, посредством классификации по меньшей мере одного изображения, которое будет обрабатываться, в галерее пользовательского терминала в зависимости от плана съемки, которому по меньшей мере соответствует одно изображение, подлежащее обработке, можно получить по меньшей мере один альбом классификации; и посредством маркировки по меньшей мере одного классификационного альбома с планом съемки, которому соответствует по меньшей мере один классификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов, чтобы улучшить способ использования галереи пользователем.

Со ссылкой на фиг. 13, на основании примерного варианта осуществления, показанного на фиг. 12, приведено описание устройства, которое дополнительно включает в себя следующие компоненты.

Второй модуль 95 хранения, выполненный с возможностью хранить, посредством классификации по меньшей мере одно изображение, которое будет обрабатываться, в каждом классификационном альбоме, в соответствии с информацией о местоположении и/или времени, которой соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и третий модуль 96 маркировки, выполненный с возможностью маркировать по меньшей мере один субклассификационный альбом, используя информацию о местоположении и/или времени, которой соответствует по меньшей мере один субклассификационный альбом.

В настоящем примерном варианте осуществления, при хранении, посредством классификации по меньшей мере одного изображения, которое будет обрабатываться, в каждом классификационном альбоме, в соответствии с информацией о местоположении и/или времени, которой соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома; и маркировку по меньшей мере одного субклассификационного альбома с использованием информации о местоположении и/или времени, которой соответствует по меньшей мере один субклассификационный альбом; это облегчает пользователю просмотр соответствующих классификационных альбомов или субклассификационных альбомов, чтобы улучшить способ использования галереи пользователем.

Что касается вышеприведенного описания устройства в вариантах осуществления, то варианты выполнения операций соответствующего модуля были описаны в соответствующих вариантах осуществления способа, соответственно, нет необходимости повторять их подробное описание.

На фиг. 14 показана блок-схема, иллюстрирующая сервер 140 в соответствии с примерным вариантом осуществления. Со ссылкой на фиг. 14, сервер 140 может включать в себя один или более из следующих компонентов: компонент 142 обработки, память 144, компонент 146 источника питания, интерфейс 148 ввода/вывода (I/O) и компонент 1410 связи.

Компонент 142 обработки, как правило, управляет всеми операциями сервера 140. В частности, компонент 142 обработки может быть выполнен с возможностью получать галерею пользовательского терминала, где галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентифицировать изображение, подлежащее обработке, с использованием модели определения плана съемки изображения, соответственно для определения плана съемки, которому соответствует изображение, подлежащее обработке; и маркировать изображение, которое будет обрабатываться, с планом съемки, которому соответствует изображение, подлежащее обработке.

Компонент 142 обработки может содержать один или более процессоров 1420, чтобы выполнять инструкции всех или части этапов описанных выше способов. Кроме того, компонент 142 обработки может содержать один или более модулей, которые облегчают взаимодействие между компонентом 142 обработки и другими компонентами. Например, компонент 142 обработки может содержать модуль связи для облегчения взаимодействия между компонентом 1410 связи и компонентом 142 обработки.

Память 144 выполнена с возможностью хранить различные типы данных и исполняемых инструкций компонента 142 обработки для поддержки работы сервера 140. Примеры таких данных включают в себя прикладные программы, инструкции или оперативные данные. Память 144 может быть реализована с использованием любого типа энергозависимых или энергонезависимых запоминающих устройств или их комбинации, таких как статическая оперативная память (SRAM), электронно-стираемая программируемая постоянная память (EEPROM), стираемая программируемая постоянная память (EPROM), программируемая постоянная память (PROM), постоянная память (ROM), магнитная память, флэш-память, магнитный или оптический диск.

Компонент 146 источника питания обеспечивает питание различных компонентов сервера 140. Компонент 146 источника питания может содержать систему управления электропитанием, один или более источников питания и любые другие компоненты, ассоциированные с генерацией, управлением и распределением электроэнергии для сервера 140.

Интерфейс 148 ввода/вывода обеспечивает интерфейс между компонентом 142 обработки и модулями периферийного интерфейса, модулями периферийного интерфейса являются, например, клавиатура, колесо прокрутки, кнопки и тому подобное. Компонент 1410 связи выполнен с возможностью способствовать устанавливать связь, проводную или беспроводную, между сервером 140 и другими устройствами. Сервер 140 может взаимодействовать с беспроводной сетью, основанной на стандарте связи, таком как Wi-Fi, 2G или 3G, или их комбинации. В примерном варианте осуществления компонент 1416 связи принимает сигнал широковещательной передачи или широковещательной передачи, ассоциированной с информацией от внешней системы управления вещания по каналу вещания. В примерном варианте осуществления компонент 1416 связи дополнительно содержит модуль ближней бесконтактной связи (NFC) для установления связи малой дальности. Например, модуль NFC может быть реализован на основе технологии радиочастотной идентификации (RFID), технологии ассоциации в инфракрасном диапазоне (IrDA), технологии сверх широкой полосой пропускания (UWB), технологии Bluetooth-(BT) и другими технологиями.

В примерных вариантах осуществления сервер 140 может быть реализован посредством одной или более специализированных интегральных схем (ASIC), цифровыми сигнальными процессорами (DSP), устройствами цифровой обработки сигналов (DSPD), программируемыми логическими устройствами (PLD), программируемыми логическими интегральными схемами (FPGA), контроллерами, микроконтроллерами, микропроцессорами или другими электронными компонентами для выполнения описанных выше способов определения плана съемки изображения.

В примерных вариантах осуществления также предложен невременный носитель информации, считываемый компьютером, включающий в себя инструкции, например, содержащиеся в памяти 144, исполняемые процессором 1420 на сервере 140, для выполнения описанных выше способов. Например, энергонезависимый считываемый компьютером носитель информации может быть ROM, RAM, компакт-диском, магнитной лентой, гибким диском, оптическим устройством хранения данных и тому подобное.

Энергонезависимый машиночитаемый носитель информации, в котором, при выполнении процессорами сервера 140 инструкций на носителе информации, позволяет серверу 140 выполнять описанные выше способы определения плана съемки изображения.

В примерных вариантах осуществления получается галерея пользовательского терминала, где галерея содержит по меньшей мере одно изображение, подлежащее обработке; идентифицируется по меньшей мере одно изображение, подлежащее обработке, с помощью модели идентификации плана съемки изображение, соответственно, чтобы определить план съемки, которому соответствует каждое из по меньшей мере одного изображения, подлежащего обработке; и маркируется каждое из по меньшей мере одного изображения, подлежащего обработке, с планом съемки, которому соответствует изображение для обработки, это облегчает классификацию изображений, подлежащих обработке, в галерее в соответствии с соответствующим планом съемки, и предоставление изображения пользователю, когда пользователь просматривает изображения так, чтобы улучшить способ использования галереи пользователем.

Другие варианты осуществления настоящего изобретения будут очевидны для специалистов в данной области из рассмотрения описания и реализации настоящего изобретения, согласно данному контексту. Настоящая заявка охватывает любые вариации, варианты использования или адаптации изобретения, которые используют их общие принципы и включающие в себя такие отклонения от настоящего описания, которые применяются в известной или обычной практике в данной области техники. Предполагается, что описание и примеры следует рассматривать только как иллюстративные, где истинный объем и сущность настоящего изобретения указаны в следующей формуле изобретения.

Следует понимать, что изобретение не ограничивается точной конструкцией, которая была описана выше и показана на прилагаемых чертежах, и что возможны различные модификации и изменения, которые могут быть сделаны без отхода от объема настоящего изобретения. Предполагается, что объем изобретения будет ограничен только прилагаемой формулой изобретения.

Изобретение относится к определению плана съемки изображения. Техническим результатом является повышение точности классификации изображений. В способе получают галерею пользовательского терминала; осуществляют идентификацию и маркировку изображения; получают обучающий набор выборки; вводят каждую из множества последовательностей обучающих изображений; обучают коэффициенты признака между уровнями скрытых узлов модели определения исходного изображения плана съемки; получают тестовый набор выборки; осуществляют идентификацию тестовых изображений; определяют точность классификации модели определения плана съемки изображения; если точность классификации меньше заданного порогового значения, выполняют: обновление обучающего набора выборки; обучение, в соответствии с обновленным обучающим набором выборки, коэффициентов признака между соответствующими уровнями скрытых узлов модели определения плана съемки изображения; выполнения итерации обновления модели определения плана съемки изображения; выполнение, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели определения плана съемки изображения. 3 н. и 8 з.п. ф-лы, 14 ил.

1. Способ определения плана съемки изображения, содержащий этапы, на которых:

получают галерею пользовательского терминала, причем галерея содержит по меньшей мере одно изображение, подлежащее обработке;

осуществляют идентификацию изображения, подлежащего обработке, с использованием модели определения плана съемки изображения, для определения плана съемки, которому соответствует изображение, подлежащее обработке;

осуществляют маркировку изображения, подлежащего обработке, планом съемки, которому соответствует изображение, подлежащее обработке;

при этом до этапа идентификации способ содержит этапы, на которых:

получают обучающий набор выборки, причем обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки, соответственно содержащие множество последовательностей обучающих изображений;

вводят, последовательным или случайным образом, каждую из множества последовательностей обучающих изображений, содержащихся в обучающих изображениях, соответствующие соответствующим обучающим планам съемки, в модель определения исходного изображения плана съемки;

обучают соответствующие коэффициенты признака между соответствующими уровнями скрытых узлов модели определения исходного изображения плана съемки для получения модели определения плана съемки изображения;

получают тестовый набор выборки, причем тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки;

осуществляют идентификацию тестовых изображений, которым соответствуют соответствующие планы съемки, с использованием модели определения плана съемки изображения, соответственно, для получения результатов классификации плана съемки соответствующих тестовых изображений; и

определяют точность классификации модели определения плана съемки изображения в соответствии с результатами классификации планов съемки соответствующих тестовых изображений; при этом

если точность классификации меньше заданного порогового значения, выполняют итеративно, пока не достигнуто максимальное число итераций или точность классификации не станет больше заданного порогового значения:

обновление обучающего набора выборки;

обучение, в соответствии с обновленным обучающим набором выборки, коэффициенты признака между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которому соответствует текущая итерация; и

выполнение, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующей текущей итерации, для определения соответствия точности классификации.

2. Способ по п. 1, дополнительно содержащий этапы, на которых:

определяют максимальную точность классификации из величин точности классификации соответствующих итераций;

определяют обновленную модель определения плана съемки изображения, которой соответствует максимальная точность классификации, в качестве целевой модели определения плана съемки изображения.

3. Способ по п. 1, в котором перед этапом идентификации способ дополнительно содержит этапы, на которых:

выполняют процесс нормализации изображения, подлежащего обработке, в соответствии с заданным размером, для получения изображения заданного размера и соответствующего изображению, подлежащему обработке; а

этап идентификации соответственно содержит подэтап, на котором осуществляют идентификацию изображения заданного размера с использованием модели определения плана съемки изображения, чтобы получить план съемки, которому соответствует изображение, подлежащее обработке.

4. Способ по п. 1, дополнительно содержащий этапы, на которых:

сохраняют, посредством классификации, по меньшей мере одно изображение, подлежащее обработке, в галерее пользовательского терминала, в зависимости от плана съемки, которому соответствует указанное по меньшей мере одно изображение, подлежащее обработке, для получения по меньшей мере одного классификационного альбома; и

осуществляют маркировку по меньшей мере одного классификационного альбома планом съемки, которому соответствует по меньшей мере один классификационный альбом.

5. Способ по п. 4, дополнительно содержащий этапы, на которых:

сохраняют, посредством классификации, по меньшей мере одно изображение, подлежащее обработке, в каждом классификационном альбоме в соответствии с информацией о местоположении и/или времени, которой соответствует по меньшей мере одно изображение, подлежащее обработке, чтобы получить по меньшей мере один субклассификационный альбом классификационного альбома;

осуществляют маркировку по меньшей мере одного субклассификационного альбома, с использованием информации о местоположении и/или времени, которой соответствует по меньшей мере один субклассификационный альбом.

6. Устройство определения плана съемки изображения, содержащее:

первый модуль получения, выполненный с возможностью получения галереи пользовательского терминала, при этом галерея содержит по меньшей мере одно изображение, подлежащее обработке;

первый модуль идентификации, выполненный с возможностью идентификации изображения, подлежащего обработке, с использованием модели определения плана съемки изображения для определения плана съемки, которому соответствует изображение, подлежащее обработке;

первый модуль маркировки, выполненный с возможностью маркировки изображения, подлежащего обработке, планом съемки, которому соответствует изображение, подлежащее обработке;

второй модуль получения, выполненный с возможностью получения обучающего набора выборки, причем обучающий набор выборки включает в себя обучающие изображения, соответствующие соответствующим обучающим планам съемки, соответственно содержащие множество последовательностей обучающих изображений;

модуль ввода, выполненный с возможностью ввода, последовательным или случайным образом, каждой из множества последовательностей обучающих изображений содержащихся в обучающих изображениях, которым соответствуют соответствующие обучающие планы съемки, в модель определения изображения исходного плана съемки, и соответствующего обучения коэффициентов признака между соответствующими уровнями скрытых узлов модели определения исходного изображения плана съемки для получения модели определения плана съемки изображения;

третий модуль получения, выполненный с возможностью получения тестового набора выборки, причем тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки;

второй модуль идентификации, выполненный с возможностью идентификации тестовых изображений, которым соответствуют соответствующие планы съемки, с использованием модели определения плана съемки изображения, соответственно, для получения результатов классификации планов съемки соответствующих тестовых изображений;

первый модуль определения, выполненный с возможностью определения точности классификации модели определения плана съемки изображения в соответствии с результатами классификации плана съемки соответствующих тестовых изображений; и

модуль обработки итераций, выполненный с возможностью выполнения, итеративно, пока не достигнуто максимальное число итераций или точность классификации не превысит заданное пороговое значение, если точность классификации меньше, чем заданное пороговое значение:

обновления обучающего набора выборки;

обучения, в соответствии с обновленным обучающим набором выборки, коэффициентов признака между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнения итерации обновления модели определения плана съемки изображения, которой соответствует текущая итерация; и

выполнения, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующей текущей итерации, для определения соответствия точности классификации.

7. Устройство по п. 6, дополнительно содержащее:

второй модуль определения, выполненный с возможностью определения максимальной точности классификации среди точностей классификации соответствующих итераций;

третий модуль определения, выполненный с возможностью определения обновленной модели определения плана съемки изображения, которой соответствует максимальная точность классификации, в качестве целевой модели определения плана съемки изображения.

8. Устройство по п. 6, дополнительно содержащее:

модуль обработки, выполненный с возможностью осуществления нормализации изображения, подлежащего обработке, в соответствии с заданным размером, для получения изображения заданного размера и соответствующего изображению, подлежащему обработке; при этом

первый модуль идентификации содержит

блок идентификации, выполненный с возможностью идентификации изображения заданного размера с использованием модели определения плана съемки изображения, для получения плана съемки, которому соответствует каждое из изображений, подлежащих обработке.

9. Устройство по п. 6, дополнительно содержащее:

первый модуль хранения, выполненный с возможностью сохранения, посредством классификации, по меньшей мере одного изображения, подлежащего обработке, в галерее пользовательского терминала в зависимости от плана съемки, которому соответствует указанное по меньшей мере одно изображение, подлежащее обработке, для получения по меньшей мере одного классификационного альбома; и

второй модуль маркировки, выполненный с возможностью маркировки, по меньшей мере одного классификационного альбома, планом съемки, которому соответствует по меньшей мере один классификационный альбом.

10. Устройство по п. 9, дополнительно содержащее:

второй модуль хранения, выполненный с возможностью сохранения посредством классификации по меньшей мере одного изображения, подлежащего обработке, в каждом классификационном альбоме в соответствии с информацией о местоположении и/или времени, которой соответствует по меньшей мере одно изображение, подлежащее обработке, для получения по меньшей мере одного субклассификационного альбома классификационного альбома;

третий модуль маркировки, выполненный с возможностью маркировки по меньшей мере одного субклассификационного альбома, с использованием информации о местоположении и/или времени, которой соответствует по меньшей мере один субклассификационный альбом.

11. Сервер, содержащий:

компонент обработки; и

память для хранения команд, исполняемых компонентом обработки, при этом компонент обработки выполнен с возможностью выполнения операций:

получения галереи пользовательского терминала, причем галерея содержит по меньшей мере одно изображение, подлежащее обработке;

идентификации изображения, подлежащего обработке, с использованием модели определения плана съемки изображения, для определения плана съемки, которому соответствует изображение, подлежащее обработке; и

маркировки изображения, подлежащего обработке, планом съемки, которому соответствует изображение, подлежащее обработке;

при этом до операции идентификации компонент обработки дополнительно выполнен с возможностью:

получения обучающего набора выборки, причем обучающий набор выборки включает в себя обучающие изображения, которым соответствуют соответствующие обучающие планы съемки, соответственно содержащие множество последовательностей обучающих изображений;

ввода, последовательным или случайным образом, каждой из множества последовательностей обучающих изображений, содержащихся в обучающих изображениях, соответствующие соответствующим обучающим планам съемки, в модель определения исходного изображения плана съемки;

соответствующего обучения коэффициентов признака между соответствующими уровнями скрытых узлов модели определения исходного изображения плана съемки для получения модели определения плана съемки изображения;

получения тестового набора выборки, причем тестовый набор выборки включает в себя тестовые изображения, которым соответствуют соответствующие планы съемки;

осуществления идентификации тестовых изображений, которым соответствуют соответствующие планы съемки, с использованием модели определения плана съемки изображения, соответственно, для получения результатов классификации плана съемки соответствующих тестовых изображений;

определения точности классификации модели определения плана съемки изображения в соответствии с результатами классификации планов съемки соответствующих тестовых изображений;

при этом если точность классификации меньше заданного порогового значения, выполняют итеративно, пока не достигнуто максимальное число итераций или точность классификации не станет больше заданного порогового значения:

обновление обучающего набора выборки;

обучение, в соответствии с обновленным обучающим набором выборки, коэффициентов признака между соответствующими уровнями скрытых узлов модели определения плана съемки изображения, соответствующей последней итерации; и выполнение итерации обновления модели определения плана съемки изображения, которому соответствует текущая итерация; и

выполнения, в соответствии с обновленным обучающим набором выборки, теста на точность классификации обновленной модели определения плана съемки изображения, соответствующей текущей итерации, для определения соответствия точности классификации.