СПОСОБ И УСТРОЙСТВО ДЛЯ ОБУЧЕНИЯ МОДЕЛИ ГЕНЕРИРОВАНИЯ ИЗОБРАЖЕНИЙ, СПОСОБ И УСТРОЙСТВО ДЛЯ ГЕНЕРИРОВАНИЯ ИЗОБРАЖЕНИЙ И ИХ УСТРОЙСТВА Российский патент 2024 года по МПК G06N20/00 G06N3/02 G06T3/00 

Ссылка на родственные заявки

[0001] Данная заявка основана на национальной фазе международной заявки №PCT/CN2022/074499 в России, поданной 28 января 2022 года, которая испрашивает приоритет по заявке на патент Китая №2021101439270 под названием «Способ и устройство для обучения модели генерирования изображений, способ и устройство для генерирования изображений, а также входящие в их состав устройства», поданной 2 февраля 2021 года, содержание которых полностью включено в настоящий документ посредством ссылки.

Область техники, к которой относится настоящее изобретение

[0002] Варианты осуществления настоящего изобретения относятся к технической области машинного обучения и обработки изображений, в частности, к способу и устройству для обучения модели генерирования изображений, к способу и устройству для генерирования изображений, а также к входящим в их состав устройствам.

Предшествующий уровень техники настоящего изобретения

[0003] Машинное обучение широко используется в технической области обработки изображений. К примеру, на основе машинного обучения можно менять стили изображений.

Краткое раскрытие настоящего изобретения

[0004] Некоторыми вариантами осуществления настоящего изобретения предложен способ и устройство для обучения модели генерирования изображений, способ и устройство для генерирования изображений, а также входящие в их состав устройства. Технические решения описаны ниже.

[0005] Согласно одному из аспектов вариантов осуществления настоящего изобретения предложен способ обучения модели генерирования изображений. Этот способ предусматривает:

[0006] получение первой модели преобразования посредством обучения, причем первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения в соответствии с первым образцом шума, а первое обучающее изображение представляет собой изображение первого стиля;

[0007] получение модели реконструкции посредством обучения на основании первой модели преобразования, причем модель реконструкции выполнена с возможностью привязки образца исходного изображения к скрытой переменной, соответствующей образцу исходного изображения;

[0008] получение второй модели преобразования посредством обучения, причем вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения в соответствии со вторым образцом шума, а второе обучающее изображение представляет собой изображение второго стиля;

[0009] генерирование сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования; и

[0010] создание модели генерирования изображений на основании модели реконструкции и сращенной модели преобразования, причем модель генерирования изображений выполнена с возможностью преобразования подлежащего преобразованию изображения первого стиля в целевое изображение второго стиля.

[0011] Согласно другому аспекту вариантов осуществления настоящего изобретения предложен способ генерирования изображений. Этот способ предусматривает:

[0012] генерирование скрытой переменной, соответствующей подлежащему преобразованию изображению, путем ввода подлежащего преобразованию изображения первого стиля в модель реконструкции; и

[0013] генерирование на основании скрытой переменной, соответствующей подлежащему преобразованию изображению целевого изображения, соответствующего подлежащему преобразованию изображению, с использованием сращенной модели преобразования, причем целевое изображение представляет собой изображение второго стиля;

[0014] при этом сращенная модель преобразования представляет собой модель, сгенерированную путем сращивания первой модели преобразования со второй моделью преобразования; первая модель преобразования выполнена с возможностью генерирования изображения первого стиля в соответствии с первым образцом шума; а вторая модель преобразования выполнена с возможностью генерирования изображения второго стиля в соответствии со вторым образцом шума.

[0015] Согласно еще одному из аспектов вариантов осуществления настоящего изобретения предложено устройство для обучения модели генерирования изображений. Это устройство включает в себя:

[0016] модуль обучения модели, выполненный с возможностью получения первой модели преобразования посредством обучения, причем первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения в соответствии с первым образцом шума, а первое обучающее изображение представляет собой изображение первого стиля, при этом:

[0017] модуль обучения модели выполнен с дополнительной возможностью получения модели реконструкции посредством обучения на основании первой модели преобразования, причем модель реконструкции выполнена с возможностью привязки образца исходного изображения к скрытой переменной, соответствующей образцу исходного изображения; и

[0018] модуль обучения модели выполнен с дополнительной возможностью получения второй модели преобразования посредством обучения, причем вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения в соответствии со вторым образцом шума, а второе обучающее изображение представляет собой изображение второго стиля; и

[0019] модуль генерирования модели, выполненный с возможностью генерирования сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования, при этом:

[0020] модуль генерирования модели выполнен с дополнительной возможностью генерирования модели генерирования изображений на основании модели реконструкции и сращенной модели преобразования, причем модель генерирования изображений выполнена с возможностью преобразования подлежащего преобразованию изображения первого стиля в целевое изображение второго стиля.

[0021] Согласно еще одному из аспектов вариантов осуществления настоящего изобретения предложено устройство для генерирования изображений. Это устройство включает в себя:

[0022] модуль генерирования переменных, выполненный с возможностью генерирования скрытой переменной, соответствующей подлежащему преобразованию изображению, путем ввода подлежащего преобразованию изображения первого стиля в модель реконструкции; и

[0023] модуль генерирования изображений, выполненный с возможностью генерировании на основании скрытой переменной, соответствующей подлежащему преобразованию изображению целевого изображения, соответствующего подлежащему преобразованию изображению, с использованием сращенной модели преобразования, причем целевое изображение представляет собой изображение второго стиля;

[0024] при этом сращенная модель преобразования представляет собой модель, сгенерированную путем сращивания первой модели преобразования со второй моделью преобразования; первая модель преобразования выполнена с возможностью генерирования изображения первого стиля в соответствии с первым образцом шума; а вторая модель преобразования выполнена с возможностью генерирования изображения второго стиля в соответствии со вторым образцом шума.

[0025] Согласно еще одному из аспектов вариантов осуществления настоящего изобретения предложено компьютерное устройство. Это компьютерное устройство включает в себя процессор и память. В памяти хранится одна или несколько компьютерных программ. Одна или несколько компьютерных программ при их загрузке и выполнении процессором компьютерного устройства инициирует реализацию компьютерным устройством способа обучения модели генерирования изображений, описанного выше, или реализацию способа генерирования изображений, описанного выше.

[0026] Согласно еще одному из аспектов вариантов осуществления настоящего изобретения предложен машиночитаемый носитель данных для хранения на нем одной или нескольких компьютерных программ. Одна или несколько компьютерных программ при их загрузке и выполнении процессором инициирует реализацию процессором способа обучения модели генерирования изображений, описанного выше, или реализацию способа генерирования изображений, описанного выше.

[0027] Согласно еще одному из аспектов вариантов осуществления настоящего изобретения предложен компьютерный программный продукт.Этот компьютерный программный продукт при его загрузке и приведении в исполнение процессором инициирует реализацию способа обучения модели генерирования изображений, описанного выше, или реализацию способа генерирования изображений, описанного выше.

Краткое описание чертежей

[0028] На фиг. 1 представлена блок-схема, иллюстрирующая способ обучения модели генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения;

[0029] На фиг. 2 схематически показано сращивание моделей согласно некоторым вариантам осуществления настоящего изобретения;

[0030] На фиг. 3 представлена блок-схема, иллюстрирующая способ обучения модели генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения;

[0031] На фиг. 4 показана структурная схема первой модели преобразования согласно некоторым вариантам осуществления настоящего изобретения;

[0032] На фиг. 5 показана структурная схема модели реконструкции согласно некоторым вариантам осуществления настоящего изобретения;

[0033] На фиг. 6 представлена блок-схема, иллюстрирующая способ генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения;

[0034] На фиг. 7 схематически проиллюстрирован способ генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения;

[0035] На фиг. 8 показана структурная схема устройства для обучения модели генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения;

[0036] На фиг. 9 показана структурная схема устройства для обучения модели генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения;и

[0037] На фиг. 10 показана структурная схема устройства для генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения.

Подробное раскрытие настоящего изобретения

[0038] Согласно некоторым практическим подходам к обработке изображений на основе машинного обучения сначала обеспечивается получение большого числа пар обучающих образцов. Каждый обучающий образец включает в себя изображение реального лица и соответствующее комичное изображение лица. Затем выполняется множество повторяющихся сеансов обучения непосредственно в отношении модели обучения с использованием большого числа пар обучающих образцов, а обученная модель обучения представляет собой модель генерирования изображений. Такое обучение модели генерирования изображений требует огромного количества образцов, и процесс обучения занимает много времени.

[0039] Преобразование лиц является одним из обычных способов обработки изображений при машинном распознавании образов. Модель генерирования изображений, обученная с использованием способа согласно вариантам осуществления настоящего изобретения, применима к целевым приложениям (таким как видеоприложение, приложение для социальных сетей, приложение для вещания в прямом эфире, приложение для совершения покупок или приложение для обработки изображений). Преобразованное целевое изображение генерируется путем ввода изображения, подлежащего преобразованию (картинки или видео), в целевое приложение. Модель генерирования изображений записывается в целевое приложение или на сервер, который предоставляет целевому приложению услуги по фоновой обработке. В необязательном варианте преобразование лиц применимо к таким сценариям, как шаржирование лиц, стилизация лиц и редактирование характерных особенностей лиц (например, изменение возраста или пола в изображении), что не носит ограничительного характера в настоящем документе.

[0040] В рамках способа согласно некоторым вариантам осуществления настоящего изобретения каждая стадия выполняется компьютерным устройством, которое представляет собой электронное устройство, обладающее возможностями по вычислению, обработке и сохранению данных. Компьютерным устройством служит терминал, такой как персональный компьютер (ПК), планшетных компьютер, смартфон, носимое устройство, робот с искусственным интеллектом или иное устройство подобного рода, или сервер. Сервером служит автономный физический сервер, группа серверов или распределенная система, состоящая из множества физических серверов, или облачный сервер, предоставляющий услуги по облачным вычислениям.

[0041] Технические решения настоящего изобретения описаны и проиллюстрированы ниже на примере некоторых вариантов его осуществления.

[0042] На фиг. 1 представлена блок-схема, иллюстрирующая способ обучения модели генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения. Как показано на фиг. 1, для вариантов осуществления настоящего изобретения представлено описание с использованием сценария, в котором предложенный способ применим к компьютерному устройству, описанному выше в качестве примера. Предложенный способ предусматривает выполнение стадий, описанных ниже (стадии 101-105).

[0043] На стадии 101 обеспечивается получение первой модели преобразования посредством обучения. Первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения в соответствии с первым образцом шума. Первое обучающее изображение представляет собой изображение первого стиля.

[0044] В некоторых вариантах осуществления настоящего изобретения обеспечивается получение соответствующего первого обучающего изображения, что осуществляется путем ввода первого образца шума в первую модель преобразования, после чего на основании первого обучающего изображения корректируются параметры первой модели преобразования. Затем в отношении первой преобразованной модели выполняется следующий итеративный сеанс обучения путем ввода остальных первых образцов шума в первую модель преобразования до тех пор, пока обучение первой модели преобразования не будет завершено. Первый образец шума подвергается векторизации и вводится в первую модель преобразования в векторной форме или в матричной форме.

[0045] В вариантах осуществления настоящего изобретения первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения, которое согласуется с первым признаком. Первым признаком служит объективно существующий признак человека, объекта или сцены. В некоторых примерах первым признаком является признак реального лица. Иначе говоря, первое обучающее изображение представляет собой изображение, которое имитирует реальное лицо. В процессе обучения весовой параметр первой модели преобразования корректируется путем распознавания вероятности того, что лицо в первом обучающем изображении согласуется с признаком реального лица, благодаря чему первая модель преобразования может сгенерировать изображение, которое согласуется с признаком реального лица.

[0046] В необязательном варианте первый образец шума представляет собой случайно генерируемый шум. В некоторых вариантах осуществления настоящего изобретения плотность распределения вероятностей первого образца шума подвергается гауссовскому распределению.

[0047] На стадии 102 обеспечивается получение модели реконструкции посредством обучения на основании первой модели преобразования. Модель реконструкции выполнена с возможностью привязки образца исходного изображения к скрытой переменной, соответствующей образцу исходного изображения.

[0048] В необязательном варианте скрытая переменная представляет собой переменную, которая является ненаблюдаемой. В некоторых вариантах осуществления настоящего изобретения модель реконструкции выполнена с возможностью привязки (путем кодирования) образца исходного изображения к соответствующей скрытой переменной таким образом, что образец исходного изображения высокой размерности преобразуется в скрытую переменную меньшей размерности, что уменьшает сложность и время вычислений модели, благодаря чему также уменьшаются временные затраты на обучение модели.

[0049] На стадии 103 обеспечивается получение второй модели преобразования посредством обучения. Вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения в соответствии со вторым образцом шума. Второе обучающее изображение представляет собой изображение второго стиля.

[0050] В некоторых вариантах осуществления настоящего изобретения получение соответствующего второго обучающего изображения обеспечивается путем ввода второго образца шума во вторую модель преобразования, после чего параметры второй модели преобразования корректируются на основании соответствующего второго обучающего изображения. Затем в отношении второй преобразованной модели выполняется следующий итеративный сеанс обучения путем ввода остальных вторых образцов шума во вторую модель преобразования до тех пор, пока обучение второй модели преобразования не будет завершено.

[0051] В вариантах осуществления настоящего изобретения второй стиль представляет собой комичный стиль (такой как комиксный стиль или шаржевый стиль), стиль живописи тушью, стиль живописи кистью, стиль живописи маслом, стиль живописи акварелью, стиль рисунка карандашом, стиль абстрактной живописи или стиль портретной живописи, что не носит ограничительного характера в настоящем документе.

[0052] В необязательном варианте в процессе обучения исходным весовым параметром второй модели преобразования является весовой параметр первой модели преобразования. Иначе говоря, получение второй модели преобразования дополнительно обеспечивается путем обучения на основании первой модели преобразования.

[0053] На стадии 104 генерируется сращенная модель преобразования путем сращивания первой модели преобразования со второй моделью преобразования.

[0054] В необязательном варианте сращенная модель преобразования генерируется путем сращивания разных частей весовых параметров, соответственно выбранных из первой модели преобразования и второй модели преобразования. Сращенная модель преобразования обладает как характеристиками первой модели преобразования для генерирования или сохранения первого признака изображения, так и характеристиками второй модели преобразования для генерирования изображения второго стиля.

[0055] В некоторых вариантах осуществления настоящего изобретения сращенная модель преобразования генерируется путем сращивания слоев п весовой сети из числа множества слоев весовой сети в первой модели преобразования со слоями m весовой сети из числа множества слоев весовой сети во второй модели преобразования. При этом предусмотрено разное количество слоев п весовой сети и слоев m весовой сети. Величина п является целым положительным числом, и величина m является целым положительным числом. В необязательном варианте первая модель преобразования и вторая модель преобразования характеризуются одинаковой или схожей структурой и содержат одинаковое количество слоев весовой сети. Сращенная модель преобразования генерируется путем сращивания последних слоев п весовой сети в первой модели преобразования с первыми слоями m весовой сети во второй модели преобразования. В необязательном варианте сращенная модель преобразования содержит такое же количество слоев, что и весовая сеть первой модели преобразования или второй модели преобразования. Сращенная модель преобразования обладает такой же или схожей структурой, что и первая модель преобразования или вторая модель преобразования.

[0056] Следует отметить, что величина п выражена значениями 2, 3, 4, 5, 6, 7, 8, 9 и т.д. В необязательном варианте конкретное значение величины п определяется специалистами в данной области техники в соответствии с фактическими потребностями, что не носит ограничительного характера в настоящем документе. Величина m выражена значениями 2, 3, 4, 5, 6, 7, 8, 9 и т.д. В необязательном варианте конкретное значение величины m определяется специалистами в данной области техники в соответствии с фактическими потребностями, что не носит ограничительного характера в настоящем документе.

[0057] В необязательном варианте сумма величин n и m является количеством слоев весовой сети в первой модели преобразования или во второй модели преобразования.

[0058] В некоторых примерах, как это показано на фиг. 2, первая модель 21 преобразования и вторая модель 22 преобразования характеризуются одинаковой структурой, а обе весовые сети двух моделей содержат по 14 слоев. Сращенная модель 25 преобразования создается путем сращивания последних шести слоев весовой сети 23 в первой модели 21 преобразования с первыми восемью слоями весовой сети 24 во второй модели 22 преобразования.

[0059] В других вариантах осуществления настоящего изобретения сращенная модель преобразования генерируется путем выполнения операции суммирования, или операции усреднения, или операции разности в отношении весовых параметров множества слоев весовой сети в первой модели преобразования и соответствующих весовых параметров множества слоев весовой сети во второй модели преобразования. В необязательном варианте первая модель преобразования, вторая модель преобразования и сращенная модель преобразования характеризуются одинаковой или схожей структурой, а их весовые сети также обладают абсолютно одинаковой структурой и количеством слоев. В некоторых примерах i-ый весовой параметр весовой сети в сращенной модели преобразования может быть получен путем выполнения операции суммирования, или операции усреднения, или операции разности в отношении i-oгo весового параметра весовой сети в первой модели преобразования и i-oгo весового параметра весовой сети во второй модели преобразования, причем величина i является целым положительным числом; и т.п., при этом обеспечивается получение всех весовых параметров весовой сети сращенной модели преобразования. В необязательном варианте операция суммирования представляет собой операцию взвешенного суммирования, а весовые коэффициенты, используемые для расчета весовых параметров весовой сети в сращенной модели преобразования, будут одинаковыми.

[0060] На стадии 105 создается модель генерирования изображений на основании модели реконструкции и сращенной модели преобразования.

[0061] В необязательном варианте модель генерирования изображений выполнена с возможностью преобразования подлежащего преобразованию изображения первого стиля в целевое изображение второго стиля. В некоторых вариантах осуществления настоящего изобретения модель генерирования изображений может быть получена путем объединения модели реконструкции со сращенной моделью преобразования. Изображение, подлежащее преобразованию, представляет собой изображение первого стиля, а целевое изображение представляет собой изображение второго стиля. Целевое изображение генерируется путем ввода подлежащего преобразованию изображения в модель генерирования изображений, в результате чего подлежащее преобразованию изображение изменяет свой стиль с первого на второй. Таким образом, для подлежащего преобразованию изображения обеспечивается преобразование стиля.

[0062] В некоторых вариантах осуществления настоящего изобретения стадия 105 включает в себя следующие подстадии:

[0063] 1. Получение комбинированной модели преобразования путем объединения модели реконструкции со сращенной моделью преобразования.

[0064] 2. Получение четвертой выборки обучающих образцов. Четвертая выборка обучающих образцов включает в себя, по меньшей мере, один образец исходного изображения и изображение второго стиля, соответствующее, по меньшей мере, одному образцу исходного изображения.

[0065] 3. Создание модели генерирования изображений путем подстройки комбинированной модели преобразования с использованием четвертой выборки обучающих образцов.

[0066] В некоторых вариантах осуществления настоящего изобретения комбинированная модель преобразования может быть получена путем сращивания сращенной модели преобразования с моделью реконструкции, после чего получается модель генерирования изображений путем подстройки весового параметра комбинированной модели преобразования посредством обучения модели.

[0067] Резюмируем, что в технических решениях, реализованных в вариантах осуществления настоящего изобретения, первая модель преобразования и вторая модель преобразования обучаются по отдельности. Первая модель преобразования обладает преимуществом, состоящим в том, что она хорошо сохраняет целевой признак изображения, а вторая модель преобразования обладает преимуществом, состоящим в том, что она генерирует яркое изображение второго стиля. В процессе обучения первая модель преобразования и вторая модель преобразования обучаются по отдельности для обеспечения целевого преимущества каждой из них, а сращенная модель преобразования генерируется путем сращивания обученной первой модели преобразования и обученной второй модели преобразования. Модель генерирования изображения создается на основании модели реконструкции и сращенной модели преобразования. Таким образом, существенно уменьшается сложность обучения модели с соответствующим сокращением количества требуемых обучающих образцов и итераций при обучении, в результате чего сокращаются временные затраты на обучение модели.

[0068] На фиг. 3 представлена блок-схема, иллюстрирующая способ обучения модели генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения. Как показано на фиг. 3, для вариантов осуществления настоящего изобретения представлено описание с использованием сценария, в котором предложенный способ применим к компьютерному устройству, описанному выше в качестве примера. Предложенный способ предусматривает выполнение стадий, описанных ниже (стадии 301-312).

[0069] На стадии 301 обеспечивается получение первой выборки обучающих образцов. Первая выборка обучающих образцов включает в себя множество первых образцов шума.

[0070] В необязательном варианте первый образец шума представляет собой образец шума, используемый при обучении первой модели преобразования. В некоторых вариантах осуществления настоящего изобретения первая выборка обучающих образцов может быть получена путем генерирования множества случайных первых образцов шума с использованием функции генерирования случайных шумов.

[0071] В необязательном варианте первая модель преобразования представляет собой модель генеративно-состязательной сети-V2 (StyleGAN-V2). Как показано на фиг. 4, первая модель преобразования включает в себя первую сеть 41 отображения и первую сеть 42 синтеза. Первая сеть 41 отображения включает в себя восемь полно связанных слоев (FC). Первая сеть 42 синтеза включает в себя, по меньшей мере, один слой обучаемого аффинного преобразования; по меньшей мере, одну модель модуляции (mod-demod); по меньшей мере, один слой повышающей дискретизации; по меньшей мере, один постоянный слой; и, по меньшей мере, один слой параметров шума. В необязательном варианте модель модуляции использует для расчета первое уравнение, второе уравнение и третье уравнение, которые представлены ниже.

[0072] Первое уравнение:

[0073] Второе уравнение:

[0074] Третье уравнение:

[0075] Величины i, j и k обозначают числовые значения скрытых переменных модели модуляции в разных измерениях; величина W_ujk обозначает пронумерованную (i, j, k) скрытую переменную; величина W_ijk обозначает результат расчета первого уравнения; величина σ_j обозначает результат расчета второго уравнения; величина ∈ обозначает сверхмалое число; а величина обозначает результат расчета третьего уравнения.

[0076] В некоторых вариантах осуществления настоящего изобретения первая модель преобразования включает в себя первую сеть отображения и первую сеть синтеза.

[0077] На стадии 302 обеспечивается получение скрытых переменных, соответствующих множеству первых образцов шума, что осуществляется путем ввода множества первых образцов шума в первую сеть отображения.

[0078] В некоторых вариантах осуществления настоящего изобретения первая сеть отображения включает в себя множество полносвязанных слоев. Множество первых образцов шума обрабатывается множеством полносвязанных слоев после их ввода в первую сеть отображения. Затем обеспечивается получение скрытых переменных, соответствующих множеству первых образцов шума.

[0079] На стадии 303 обеспечивается получение первых обучающих изображений, соответствующих множеству первых образцов шума, что осуществляется путем ввода скрытых переменных, соответствующих множеству первых образцов шума, в первую сеть синтеза.

[0080] В некоторых вариантах осуществления настоящего изобретения предусмотрено, что после того, как скрытые переменные, соответствующие множеству первых образцов шума, будут подвергнуты аффинному преобразованию, модуляции и повышающей дискретизации в первой сети синтеза после их ввода в первую сеть синтеза, будут получены первые обучающие изображения, соответствующие множеству первых образцов шума.

[0081] На стадии 304 выполняется коррекция весового параметра первой модели преобразования на основании первых обучающих изображений, соответствующих множеству первых образцов шума.

[0082] В необязательном варианте предусмотрено, что после получения первых обучающих изображений, соответствующих множеству первых образцов шума, весовой параметр первой модели преобразования подвергается коррекции по результатам распознавания первых обучающих изображений, соответствующих множеству первых образцов шума.

[0083] В некоторых вариантах осуществления настоящего изобретения первая модель преобразования включает в себя первую дискриминационную сеть. Стадия 304 дополнительно включает в себя подстадии, описанные ниже.

[0084] 1. Получение первых дискриминационных потерь, соответствующих множеству первых образцов шума, путем ввода первых обучающих изображений, соответствующих множеству первых образцов шума, в первую дискриминационную сеть.

[0085] 2. Коррекция весового параметра первой модели преобразования на основании первых дискриминационных потерь, соответствующих множеству первых образцов шума.

[0086] В этом примере реализации первые обучающие изображения, соответствующие множеству первых образцов шума, распознаются с использованием первой дискриминационной сети в первой модели преобразования, а затем определяются генерационные свойства первых обучающих изображений, соответствующих множеству первых образцов шума, по результатам чего определяются первые дискриминационные потери, соответствующие множеству первых образцов шума. На основании этого осуществляется коррекция весового параметра модели преобразования. В необязательном варианте предусмотрено, что при коррекции весового параметра модели преобразования также корректируется весовой параметр первой дискриминационной сети. В необязательном варианте первой дискриминационной сетью служит генеративно-состязательная сеть (GAN), а первые дискриминационные потери выражены величиной GAN_loss.

[0087] В некоторых примерах первое обучающее изображение представляет собой изображение лица, смоделированное на основании первого образца шума, а первая дискриминационная сеть выполнена с возможностью распознавания вероятности того, что первое обучающее изображение согласуется с изображением реального лица. Например, чем детальнее лицо в первом обучающем изображении, тем меньше будут первые дискриминационные потери; и, например, чем больше соотносятся черты лица в первом обучающем изображении с чертами реального лица, тем меньше будут первые дискриминационные потери.

[0088] В некоторых вариантах осуществления настоящего изобретения предусмотрено, что по завершении обучения первой модели преобразования первая сеть отображения первой модели преобразования удаляется, а остальная часть первой модели преобразования, отличная от первой сети отображения, определяется в качестве первой модели преобразования.

[0089] На стадии 305 обеспечивается получение второй выборки обучающих образцов. Вторая выборка обучающих образцов включает в себя множество образцов исходного изображения.

[0090] В необязательном варианте образец исходного изображения представляет собой изображение первого стиля. В некоторых вариантах осуществления настоящего изобретения образец исходного изображения представляет собой необработанное изображение реального лица.

[0091] На стадии 306 генерируются скрытые переменные, соответствующие множеству образцов исходного изображения, что осуществляется путем ввода множества образцов исходного изображения в модель реконструкции.

[0092] В некоторых вариантах осуществления настоящего изобретения предусмотрено, что после ввода множества образцов исходного изображения в модель реконструкции они кодируются моделью реконструкции по отдельности, и модель реконструкции генерирует скрытые переменные, соответствующие множеству образцов исходного изображения.

[0093] В некоторых примерах, как это показано на фиг. 5, модель реконструкции включает в себя входной слой 51, множество остаточных сетевых (resblock) слоев 52 и полносвязанный слой 53.

[0094] На стадии 307 генерируются реконструированные изображения, соответствующие множеству образцов исходного изображения, что осуществляется путем ввода скрытых переменных, соответствующих множеству образцов исходного изображения, в первую модель преобразования.

[0095] В некоторых вариантах осуществления настоящего изобретения реконструированные изображения, соответствующие множеству образцов исходного изображения, генерируются путем непосредственного ввода скрытых переменных, соответствующих множеству образцов исходного изображения, в первую сеть синтеза первой модели преобразования. В необязательном варианте множество образцов исходного изображения и реконструированные изображения, соответствующие множеству образцов исходного изображения, представляют собой изображения первого стиля.

[0096] Следует отметить, что при обучении модели реконструкции первая модель преобразования представляет собой модель, которая была обучена, и параметры которой не изменяются.

[0097] На стадии 308 определяются потери модели реконструкции, соответствующие множеству образцов исходного изображения, что осуществляется на основании множества образцов исходного изображения и реконструированных изображений, соответствующих множеству образцов исходного изображения.

[0098] В некоторых вариантах осуществления настоящего изобретения предусмотрено определение множества подпотерь, входящих в состав потерь в модели реконструкции, что осуществляется на основании множества образцов исходного изображения и выходных данных реконструированных изображений, соответствующих множеству образцов исходного изображения в сетях или функциях.

[0099] В некоторых вариантах осуществления настоящего изобретения стадия 308 дополнительно включает в себя подстадии, описанные ниже.

[00100] 1. Получение первых подпотерь на основании выходного результата, полученного путем ввода каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в первую дискриминационную сеть. Первые подпотери обозначают первую характеристику реконструированного изображения.

[00101] В необязательном варианте первой характеристикой служит степень соответствия реконструированного изображения признаку, который должен содержаться в реконструированном изображении. В некоторых примерах предусмотрено, что если реконструированное изображение является изображением лица, то первая характеристика представляет собой степень соответствия реконструированного изображения определенной черте лица; и чем больше лицо в реконструированном изображении соответствует реальному лицу, тем меньше будут первые подпотери.

[00102] 2. Получение вторых подпотерь на основании выходного результата, полученного путем ввода каждого из множества образцов исходного изображения и каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в перцепционную сеть. Вторые подпотери обозначают первую степень соответствия образца исходного изображения реконструированному изображению, соответствующему образцу исходного изображения, по критерию целевого признака.

[00103] В необязательном варианте на основании целевого признака определяется, является ли реконструированное изображение изображением, сгенерированным на основании образца исходного изображения. В некоторых примерах целевым признаком служит идентификационный признак лица, причем идентификационный признак лица выполнен с возможностью проведения различия между разными лицами. Вероятность того, что образец исходного изображения и реконструированное изображение, соответствующее образцу исходного изображения, являются изображениями лица одного и того же человека, определяется путем сравнения идентификационного признака лица в образце исходного изображения с идентификационным признаком лица в реконструированном изображении, которое соответствует образцу исходного изображения, вследствие чего определяются вторые подпотери. В необязательном варианте вторые подпотери представляют собой перцепционные потери. В необязательном варианте вторые подпотери рассчитываются по четвертому уравнению, представленному ниже.

[00104] Четвертое уравнение:

Перцепционные потери = E((VGG(x)-VGG(G(x)))²)

[00105] Термин «Перцепционные потери» обозначает вторые подпотери; величина х обозначает образец исходного изображения; величина VGG(x) обозначает выходной результат, полученный путем ввода образца исходного изображения в сверточную нейронную сеть VGG-16 (Visual Geometry Group Network-16); величина G(x) обозначает реконструированное изображение, соответствующее образцу исходного изображения; а величина VGG(G(x))² обозначает выходной результат, полученный путем ввода реконструированного изображения, соответствующего образцу исходного изображения, в сеть VGG-16.

[00106] 3. Определение третьих подпотерь на основании выходного результата, полученного путем ввода каждого из образцов исходного изображения и каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в функцию регрессии. Третьи подпотери обозначают вторую степень соответствия образца исходного изображения реконструированному изображению, соответствующему образцу исходного изображения, по критерию целевого признака.

[00107] В необязательном варианте функцией регрессии служит функция L1 или функция L2. Третьи подпотери определяются по выходному результату, полученному путем ввода образца исходного изображения и реконструированного изображения, соответствующего образцу исходного изображения, в функцию L. В необязательном варианте третьи подпотери выражаются величиной L1_loss. В необязательном варианте третьи подпотери рассчитываются по пятому уравнению, представленному ниже.

[00108] Пятое уравнение:

L1_loss=E(x-G(x))

[00109] Величина L1_loss обозначает третьи подпотери; величина х обозначает образец исходного изображения; а величина VGG(x) обозначает выходной результат, полученный путем ввода образца исходного изображения в сеть VGG-16.

[00110] 4. Определение потерь модели реконструкции на основании первых подпотерь, вторых подпотерь и третьих подпотерь.

[00111] В некоторых примерах потери модели реконструкции рассчитываются непосредственно путем суммирования или взвешенного суммирования первых подпотерь, вторых подпотерь и третьих подпотерь. В некоторых вариантах осуществления настоящего изобретения предусмотрено, что при взвешенном суммировании первых подпотерь, вторых подпотерь и третьих подпотерь значения весовых показателей, которые соответствуют первым подпотерям, вторым подпотерям и третьим подпотерям, определяются специалистами в данной области техники в зависимости от фактических потребностей, что не носит ограничительного характера в настоящем документе.

[00112] В некоторых примерах потери модели реконструкции рассчитываются по шестому уравнению, которое представлено ниже.

[00113] Шестое уравнение:

Loss=GAN_loss+Перцепционные потери+Ll_loss

_{[00114] Величина Loss обозначает потери модели реконструкции; величина GAN loss обозначает первые подпотери; термин «Перцепционные потери» обозначает вторые подпотери; а величина L1_loss обозначает третьи подпотери.}

[00115] На стадии 309 осуществляется коррекция весового параметра модели реконструкции на основании потерь модели реконструкции, соответствующих множеству образцов исходного изображения.

[00116] В необязательном варианте, исходя из потерь модели реконструкции, соответствующих множеству образцов исходного изображения, осуществляется коррекция весового параметра модели реконструкции таким образом, что потери модели реконструкции оказываются минимально возможными. В некоторых вариантах осуществления настоящего изобретения предусмотрено, что когда количество повторяющихся сеансов обучения достигает заданного числа раз, обучение модели реконструкции считается завершенным. В других вариантах осуществления настоящего изобретения предусмотрено, что обучение модели реконструкции считается завершенным в том случае, если потери модели реконструкции постоянно держатся на уровне меньше порогового значения потерь при реконструкции. В необязательном варианте конкретное пороговое значение потерь при реконструкции определяется специалистами в данной области техники в зависимости от фактических потребностей, что не носит ограничительного характера в настоящем документе.

[00117] На стадии 310 обеспечивается получение второй модели преобразования посредством обучения. Вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения в соответствии со вторым образцом шума. Второе обучающее изображение представляет собой изображение второго стиля.

[00118] Содержание стадии 310 идентично или схоже с содержанием стадий 301-304 в вариантах осуществления настоящего изобретения, раскрытых выше, и поэтому далее по тексту эта стадия дополнительно не описывается.

[00119] На стадии 311 осуществляется генерирование сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования.

[00120] Содержание стадии 311 идентично или схоже с содержанием стадии 104 в вариантах осуществления настоящего изобретения, раскрытых выше, и поэтому далее по тексту эта стадия дополнительно не описывается.

[00121] На стадии 312 создается модель генерирования изображения на основании модели реконструкции и сращенной модели преобразования. Модель генерирования изображения выполнена с возможностью преобразования подлежащего преобразованию изображения первого стиля в целевое изображение второго стиля.

[00122] Содержание стадии 312 идентично или схоже с содержанием стадии 105 в вариантах осуществления настоящего изобретения, раскрытых выше, и поэтому далее по тексту эта стадия дополнительно не описывается.

[00123] Резюмируем, что в технических решениях, реализованных в вариантах осуществления настоящего изобретения, сначала обеспечивается получение первой модели преобразования посредством обучения, а затем обеспечивается получение модели реконструкции посредством обучения на основании первой модели преобразования. Таким образом, сокращается время, потребное для обучения модели реконструкции, благодаря чему дополнительно сокращаются общие временные затраты на обучение модели.

[00124] В вариантах осуществления настоящего изобретения предусмотрено, что весовой параметр первой модели преобразования, которая была полностью обучена, определяется в качестве исходного параметра второй модели преобразования при ее обучении, вследствие чего вторая модель преобразования может сохранять некоторые характеристики первой модели преобразования, что способствует улучшению совместимости между первой моделью преобразования и второй моделью преобразования после их сращивания.

[00125] Далее по тексту в привязке к фиг. 6 и 7 будет описан способ генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения. Для вариантов осуществления заявленного изобретения представлено описание с использованием сценария, в котором предложенный способ применим к компьютерному устройству, описанному выше в качестве примера. Как показано на фиг. 6, предложенный способ предусматривает выполнение стадий, описанных ниже (стадии 601-602).

[00126] На стадии 601, как это показано на фиг. 7, генерируется скрытая переменная 73, соответствующая изображению 71, подлежащему преобразованию, что осуществляется путем ввода подлежащего преобразованию изображения 71 первого стиля в модель 72 реконструкции.

[00127] В необязательном варианте изображение 71, подлежащее преобразованию, представляет собой необработанное изображение реального лица.

[00128] На стадии 602 осуществляется генерирование целевого изображения 75, соответствующего подлежащему преобразованию изображению 71, на основании скрытой переменной 73, соответствующей подлежащему преобразованию изображению 71, с использованием сращенной модели 74 преобразования. Целевое изображение 75 представляет собой изображение второго стиля.

[00129] В необязательном варианте сращенная модель 74 преобразования представляет собой модель, сгенерированную путем сращивания первой модели преобразования со второй моделью преобразования. Первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения в соответствии с первым образцом шума, причем первое обучающее изображение представляет собой изображение первого стиля. Вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения в соответствии со вторым образцом шума, причем второе обучающее изображение представляет собой изображение второго стиля.

[00130] В некоторых вариантах осуществления настоящего изобретения весовая сеть (от второй модели преобразования) в сращенной модели 74 преобразования сначала стилизует подлежащее преобразованию изображение 71 на основании скрытой переменной 73, соответствующей подлежащему преобразованию изображению 71, вследствие чего подлежащее преобразованию изображение 71 преобразуется в изображение второго стиля. Затем весовая сеть (от первой модели преобразования) сращенной модели 74 преобразования корректирует целевой признак в подлежащем преобразованию стилизованном изображении 71 таким образом, что получается окончательное целевое изображение 75. В отношении описания целевых признаков можно обратиться к стадии 308 в вариантах осуществления настоящего изобретения, раскрытых выше в привязке к фиг. 3, и поэтому далее по тексту оно не повторяется.

[00131] Резюмируем, что в технических решениях, реализованных в вариантах осуществления настоящего изобретения, целевое изображение 75 генерируется моделью генерирования изображений, полученной путем сращивания первой модели преобразования со второй моделью преобразования. Модель генерирования изображений (сращенная модель 74 преобразования) обладает как преимуществом первой модели преобразования, которая хорошо сохраняет целевой признак изображения, так и преимуществом второй модели преобразования, которая генерирует яркое изображение второго стиля. Следовательно, модель генерирования изображений выполнена с возможностью генерирования целевого изображения 75 в ярком стиле, исходя из возможности сохранения целевого признака подлежащего преобразованию изображения, что улучшает эффект преобразования модели генерирования изображений.

[00132] Ниже раскрыты варианты осуществления устройства согласно настоящему изобретению, используемые для реализации вариантов осуществления способа согласно настоящему изобретению. В отношении деталей, не раскрытых в вариантах осуществления устройства согласно настоящему изобретению, следует обратиться к вариантам осуществления способа согласно настоящему изобретению, которые дополнительно не описываются далее по тексту настоящего документа.

[00133] На фиг. 8 показана структурная схема устройства для обучения модели генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения. Как показано на фиг. 8, предложенное устройство обладает функцией практической реализации описанных выше вариантов осуществления настоящего изобретения, иллюстрирующих способ обучения модели генерирования изображений. Эта функция реализована аппаратно, или же она реализована аппаратными средствами, приводящими в исполнение программные средства. Устройство 800 включает в себя модуль 810 обучения модели и модуль 820 генерирования модели.

[00134] Модуль 810 обучения модели выполнен с возможностью получения первой модели преобразования посредством обучения. Первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения в соответствии с первым образцом шума. Первое обучающее изображение представляет собой изображение первого стиля.

[00135] Модуль 810 обучения модели выполнен с дополнительной возможностью получения модели реконструкции посредством обучения на основании первой модели преобразования. Модель реконструкции выполнена с возможностью привязки образца исходного изображения к скрытой переменной, соответствующей образцу исходного изображения.

[00136] Модуль 810 обучения модели выполнен с дополнительной возможностью получения второй модели преобразования посредством обучения. Вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения в соответствии со вторым образцом шума. Второе обучающее изображение представляет собой изображение второго стиля.

[00137] Модуль 820 генерирования модели выполнен с возможностью генерирования сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования.

[00138] Модуль 820 генерирования модели выполнен с дополнительной возможностью создания модели генерирования изображений на основании модели реконструкции и сращенной модели преобразования. Модель генерирования изображений выполнена с возможностью преобразования подлежащего преобразованию изображению первого стиля в целевое изображение второго стиля.

[00139] Резюмирует, что в технических решениях, реализованных в вариантах осуществления настоящего изобретения, первая модель преобразования и вторая модель преобразования обучаются по отдельности. Первая модель преобразования обладает преимуществом, состоящим в том, что она хорошо сохраняет целевой признак изображения, а вторая модель преобразования обладает преимуществом, состоящим в том, что она генерирует яркое изображение второго стиля. В процессе обучения первая модель преобразования и вторая модель преобразования обучаются по отдельности для обеспечения целевого преимущества каждой из них, а сращенная модель преобразования генерируется путем сращивания обученной первой модели преобразования и обученной второй модели преобразования. Модель генерирования изображения создается на основании модели реконструкции и сращенной модели преобразования. Таким образом, существенно уменьшается сложность обучения модели с соответствующим сокращением количества требуемых обучающих образцов и итераций при обучении, в результате чего сокращается время на обучение модели.

[00140] В некоторых примерах осуществления настоящего изобретения первая модель преобразования включает в себя первую сеть отображения и первую сеть синтеза. Как показано на фиг. 9, модуль 810 обучения модели включает в себя подмодуль 811 получения образцов, подмодуль 812 генерирования переменных, подмодуль 813 генерирования изображений и подмодуль 814 коррекции параметров.

[00141] Подмодуль 811 получения образцов выполнен с возможностью получения первой выборки обучающих образцов. Первая выборка обучающих образцов включает в себя множество первых образцов шума.

[00142] Подмодуль 812 генерирования переменных выполнен с возможностью получения скрытых переменных, соответствующих множеству первых образцов шума, что осуществляется путем ввода первых образцов шума в первую сеть отображения.

[00143] Подмодуль 813 генерирования изображений выполнен с возможностью получения первых обучающих изображений, соответствующих множеству первых образцов шума, что осуществляется путем ввода скрытых переменных, соответствующих множеству первых образцов шума, в первую сеть синтеза.

[00144] Подмодуль 814 коррекции параметров выполнен с возможностью коррекции весового параметра первой модели преобразования на основании первых обучающих изображений, соответствующих множеству первых образцов шума.

[00145] В некоторых примерах осуществления настоящего изобретения первая модель преобразования включает в себя первую дискриминационную сеть. Подмодуль 814 коррекции параметров, как это показано на фиг. 9, выполнен с возможностью:

[00146] получения первых дискриминационных потерь, соответствующих множеству первых образцов шума, что осуществляется путем ввода первых обучающих изображений, соответствующих множеству первых образцов шума, в первую дискриминационную сеть; и

[00147] коррекции весового параметра первой модели преобразования на основании первых дискриминационных потерь, соответствующих множеству первых образцов шума.

[00148] В некоторых примерах осуществления настоящего изобретения, как это показано на фиг. 9, модуль 810 обучения модели включает в себя подмодуль 815 определения потерь.

[00149] Подмодуль 811 получения образцов выполнен с дополнительной возможностью получения второй выборки обучающих образцов. Вторая выборка обучающих образцов включает в себя множество образцов исходного изображения.

[00150] Подмодуль 812 генерирования переменных выполнен с дополнительной возможностью генерирования скрытых переменных, соответствующих множеству образцов исходного изображения, что осуществляется путем ввода множества образцов исходного изображения в модель реконструкции.

[00151] Подмодуль 813 генерирования изображений выполнен с дополнительной возможностью генерирования реконструированных изображений, соответствующих множеству образцов исходного изображения, что осуществляется путем ввода скрытых переменных, соответствующих множеству образцов исходного изображения, в первую модель преобразования. Множество образцов исходного изображения и реконструированные изображения, соответствующие множеству образцов исходного изображения, представляют собой изображения первого стиля.

[00152] Подмодуль 815 определения потерь выполнен с возможностью определения - на основании множества образцов исходного изображения и реконструированных изображений, соответствующих множеству образцов исходного изображения потерь модели реконструкции, соответствующих множеству образцов исходного изображения.

[00153] Подмодуль 814 коррекции параметров выполнен с дополнительной возможностью коррекции весового параметра модели реконструкции на основании потерь модели реконструкции, соответствующих множеству образцов исходного изображения.

[00154] В некоторых примерах осуществления настоящего изобретения первая модель преобразования включает в себя первую дискриминационную сеть. Подмодуль 815 определения потерь, как это показано на фиг. 9, выполнен с возможностью:

[00155] определения первых подпотерь на основании выходного результата, полученного путем ввода каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в первую дискриминационную сеть, причем первые подпотери обозначают первую характеристику реконструированного изображения;

[00156] определения вторых подпотерь на основании выходного результата, полученного путем ввода каждого из множества образцов исходного изображения и каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в перцепционную сеть, причем вторые подпотери обозначают первую степень соответствия образца исходного изображения реконструированному изображению, соответствующему образцу исходного изображения, по критерию целевого признака;

[00157] определения третьих подпотерь на основании выходного результата, полученного путем ввода каждого из множества образцов исходного изображения и каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в функцию регрессии, причем третьи подпотери обозначают вторую степень соответствия образца исходного изображения реконструированному изображению, соответствующему образцу исходного изображения, по критерию целевого признака; и

[00158] определения потерь модели реконструкции на основании первых подпотерь, вторых подпотерь и третьих подпотерь.

[00159] В некоторых примерах осуществления настоящего изобретения предусмотрено, что в процессе обучения исходным весовым параметром второй модели преобразования служит весовой параметр первой модели преобразования.

[00160] В некоторых примерах осуществления настоящего изобретения модуль 820 генерирования модели выполнен с возможностью генерирования сращенной модели преобразования путем сращивания слоев n весовой сети из числа множества слоев весовой сети в первой модели преобразования со слоями m весовой сети из числа множества слоев весовой сети во второй модели преобразования; при этом предусмотрено разное количество слоев n весовой сети и слоев m весовой сети, величина n является целым положительным числом, и величина m является целым положительным числом; или генерирования сращенной модели преобразования путем выполнения операции суммирования, или операции усреднения, или операции разности в отношении весовых параметров множества слоев весовой сети в первой модели преобразования и соответствующих весовых параметров множества слоев весовой сети во второй модели преобразования.

[00161] В некоторых примерах осуществления настоящего изобретения модуль 820 генерирования модели выполнен с возможностью:

[00162] получения комбинированной модели преобразования путем объединения модели реконструкции и сращенной модели преобразования;

[00163] получения четвертой выборки обучающих образцов, причем четвертая выборка обучающих образцов включает в себя, по меньшей мере, один образец исходного изображения и изображение второго стиля, соответствующее, по меньшей мере, одному образцу исходного изображения; и

[00164] создания модели генерирования изображений путем подстройки комбинированной модели преобразования с использованием четвертой выборки обучающих образцов.

[00165] На фиг. 10 показана структурная схема устройства для генерирования изображений согласно некоторым вариантам осуществления настоящего изобретения. Как показано на фиг. 10, предложенное устройство обладает функцией практической реализации раскрытых выше вариантов осуществления настоящего изобретения, иллюстрирующих способ генерирования изображений. Эта функция реализуется аппаратно, или же она реализуется аппаратными средствами, приводящими в исполнение программные средства. Устройство 1000 включает в себя модуль 1010 генерирования переменных и модуль 1020 генерирования изображений.

[00166] Модуль 1010 генерирования переменных выполнен с возможностью генерирования скрытой переменной, соответствующей подлежащему преобразованию изображению, что осуществляется путем ввода подлежащего преобразованию изображения первого стиля в модель реконструкции.

[00167] Модуль 1020 генерирования изображений выполнен с возможностью генерирования - на основании скрытой переменной, соответствующей подлежащему преобразованию изображению целевого изображения, соответствующего подлежащего преобразованию изображению, с использованием сращенной модели преобразования. Целевое изображение представляет собой изображение второго стиля. Сращенная модель преобразования является моделью, сгенерированной путем сращивания первой модели преобразования со второй моделью преобразования. Первая модель преобразования выполнена с возможностью генерирования изображения первого стиля в соответствии с первым образцом шума, а вторая модель преобразования выполнена с возможностью генерирования изображения второго стиля в соответствии со вторым образцом шума.

[00168] Резюмируем, что в технических решениях, реализованных в вариантах осуществления настоящего изобретения, целевое изображение генерируется моделью генерирования изображений, полученной путем сращивания первой модели преобразования со второй моделью преобразования. Модель генерирования изображений (сращенная модель преобразования) обладает как преимуществом первой модели преобразования, которая хорошо сохраняет целевой признак изображения, так и преимуществом второй модели преобразования, которая генерирует яркое изображение второго стиля. Следовательно, модель генерирования изображений выполнена с возможностью генерирования целевого изображения в ярком стиле, исходя из возможности сохранения целевого признака подлежащего преобразованию изображения, что улучшает эффект преобразования модели генерирования изображений.

[00169] Следует отметить, что представленное описание акцентировано лишь на разделении функциональных модулей устройства согласно вариантам осуществления настоящего изобретения, описанным выше. На практике функции предложенного устройства могут возлагаться на различные функциональные модули и выполняться ими в зависимости от фактических потребностей. Иначе говоря, предложенное устройство в плане своей внутренней структуры делиться на разные функциональные модули для реализации некоторых или всех функций, описанных выше. Кроме того, устройство согласно описанным выше вариантам осуществления настоящего изобретения основано на той же идее, что и варианты осуществления способа согласно настоящему изобретению, а частный процесс реализации этого устройства подробно раскрыт в вариантах осуществления способа согласно заявленному изобретению, и поэтому он дополнительно не описывается в настоящем документе.

[00170] В некоторых примерах осуществления настоящего изобретения предложено компьютерное устройство. Компьютерное устройство содержит процессор и память, причем в памяти хранится одна или несколько компьютерных программ. Одна или несколько компьютерных программ при их загрузке и выполнении процессором компьютерного устройства инициирует реализацию компьютерным устройством способа обучения модели генерирования изображений, описанного выше.

[00171] В некоторых примерах осуществления настоящего изобретения предложено компьютерное устройство. Компьютерное устройство содержит процессор и память, причем в памяти хранится одна или несколько компьютерных программ. Одна или несколько компьютерных программ при их загрузке и выполнении процессором компьютерного устройства инициирует реализацию компьютерным устройством способа генерирования изображений, описанного выше.

[00172] В некоторых примерах осуществления настоящего изобретения предложен машиночитаемый носитель данных. Машиночитаемый носитель данных предназначен для хранения на нем одной или нескольких компьютерных программ. Одна или несколько компьютерных программ при их загрузке и выполнении процессором инициирует реализацию этим процессором способа обучения модели генерирования изображений, описанного выше.

[00173] В некоторых примерах осуществления настоящего изобретения предложен машиночитаемый носитель данных. Машиночитаемый носитель данных предназначен для хранения на нем одной или нескольких компьютерных программ. Одна или несколько компьютерных программ при их загрузке и выполнении процессором инициирует реализацию этим процессором способа генерирования изображений, описанного выше.

[00174] В некоторых примерах осуществления настоящего изобретения предложен компьютерный программный продукт. Компьютерный программный продукт при его загрузке и выполнении процессором инициирует реализацию этим процессором способа обучения модели генерирования изображений, описанного выше.

[00175] В некоторых примерах осуществления настоящего изобретения предложен компьютерный программный продукт. Компьютерный программный продукт при его загрузке и выполнении процессором инициирует реализацию этим процессором способа генерирования изображений, описанного выше.

[00176] Следует отметить, что термин «множество», используемый в настоящем документе, обозначает «один или более». Символ «/» обычно означает, что контекстно-зависимые объекты находятся в соотношении «ИЛИ».

[00177] Выше описаны лишь иллюстративные варианты осуществления настоящего изобретения, которые никоим образом его не ограничивают. Следовательно, любые модификации, эквивалентные замены, усовершенствования и иные изменения подобного рода, внесенные без отступления от сущности и принципов настоящего изобретения, должны быть включены в объем правовой охраны заявленного изобретения.

Изобретение относится к обработке изображения. Технический результат заключается в расширении арсенала средств при генерации изображения. Способ обучения модели генерирования изображений, предусматривающий: получение первой модели преобразования посредством обучения, причем первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения на основании первого образца шума, а первое обучающее изображение представляет собой изображение первого стиля, получение модели реконструкции посредством обучения на основании первой модели преобразования, получение второй модели преобразования посредством обучения, причем вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения на основании второго образца шума, а второе обучающее изображение представляет собой изображение второго стиля, генерирование сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования и создание модели генерирования изображений на основании модели реконструкции и сращенной модели преобразования. 8 н. и 7 з.п. ф-лы, 10 ил.

1. Способ обучения модели генерирования изображений, предусматривающий:

получение первой модели преобразования посредством обучения, причем первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения на основании первого образца шума, а первое обучающее изображение представляет собой изображение первого стиля;

получение модели реконструкции посредством обучения на основании первой модели преобразования, причем модель реконструкции выполнена с возможностью привязки образа исходного изображения к скрытой переменной, соответствующей образцу исходного изображения;

получение второй модели преобразования посредством обучения, причем вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения на основании второго образца шума, а второе обучающее изображение представляет собой изображение второго стиля;

генерирование сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования; и

создание модели генерирования изображений на основании модели реконструкции и сращенной модели преобразования, причем модель генерирования изображений выполнена с возможностью преобразования подлежащего преобразованию изображения первого стиля в целевое изображение второго стиля.

2. Способ по п. 1, в котором:

первая модель преобразования содержит первую сеть отображения и первую сеть синтеза; а

получение первой модели преобразования посредством обучения предусматривает:

получение первой выборки обучающих образцов, причем первая выборка обучающих образцов содержит множество первых образцов шума;

получение скрытых переменных, соответствующих множеству первых образцов шума, что осуществляется путем ввода множества первых образцов шума в первую сеть отображения;

получение первых обучающих изображений, соответствующих множеству первых образцов шума, что осуществляется путем ввода скрытых переменных, соответствующих множеству первых образцов шума, в первую сеть синтеза; и

коррекцию весового параметра первой модели преобразования на основании первых обучающих образцов, соответствующих множеству первых образцов шума.

3. Способ по п. 2, в котором:

первая модель преобразования содержит первую дискриминационную сеть; а

коррекция весового параметра первой модели преобразования на основании первых обучающих образцов, соответствующих множеству первых образцов шума, предусматривает:

получение первых дискриминационных потерь, соответствующих множеству первых образцов шума, путем ввода первых обучающих изображений, соответствующих множеству первых образцов шума, в первую дискриминационную сеть; и

коррекцию весового параметра первой модели преобразования на основании первых дискриминационных потерь, соответствующих множеству первых образцов шума.

4. Способ по п. 1, в котором получение модели реконструкции посредством обучения на основании первой модели преобразования предусматривает:

получение второй выборки обучающих образцов, причем вторая выборка обучающих образцов содержит множество образцов исходного изображения;

генерирование скрытых переменных, соответствующих множеству образцов исходного изображения, что осуществляется путем ввода множества образцов исходного изображения в модель реконструкции;

генерирование реконструированных изображений, соответствующих множеству образцов исходного изображения, что осуществляется путем ввода скрытых переменных, соответствующих множеству образцов исходного изображения, в первую модель преобразования, причем множество образцов исходного изображения и реконструированные изображения, соответствующие множеству образцов исходного изображения, представляют собой изображения первого стиля;

определение потерь модели реконструкции, соответствующих множеству образцов исходного изображения, на основании множества образцов исходного изображения и реконструированных изображений, соответствующих множеству образцов исходного изображения; и

коррекцию весового параметра модели реконструкции на основании потерь модели реконструкции, соответствующих множеству образцов исходного изображения.

5. Способ по п. 4, в котором:

первая модель преобразования включает в себя первую дискриминационную сеть; а определение потерь модели реконструкции, соответствующих множеству образцов исходного изображения, на основании множества образцов исходного изображения и реконструированных изображений, соответствующих множеству образцов исходного изображения, предусматривает:

определение первых подпотерь на основании выходного результата, полученного путем ввода каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в первую дискриминационную сеть, причем первые подпотери обозначают первую характеристику реконструированного изображения;

определение вторых подпотерь на основании выходного результата, полученного путем ввода каждого из множества образцов исходного изображения и каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в перцепционную сеть, причем вторые подпотери обозначают первую степень соответствия образца исходного изображения реконструированному изображению, соответствующему образцу исходного изображения, по критерию целевого признака;

определение третьих подпотерь на основании выходного результата, полученного путем ввода каждого из множества образцов исходного изображения и каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в функцию регрессии, причем третьи подпотери обозначают вторую степень соответствия образца исходного изображения реконструированному изображению, соответствующему образцу исходного изображения, по критерию целевого признака; и

определение потерь модели реконструкции на основании первых подпотерь, вторых подпотерь и третьих подпотерь.

6. Способ по любому из пп. 1-5, в котором в процессе обучения исходным весовым параметром второй модели преобразования служит весовой параметр первой модели преобразования.

7. Способ по любому из пп. 1-5, в котором генерирование сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования предусматривает:

генерирование сращенной модели преобразования путем сращивания слоев n весовой сети из числа множества слоев весовой сети в первой модели преобразования со слоями m весовой сети из числа множества слоев весовой сети во второй модели преобразования, причем предусмотрено разное количество слоев n весовой сети и слоев m весовой сети, величина n является целым положительным числом, и величина m является целым положительным числом; или

генерирование сращенной модели преобразования путем выполнения операции суммирования, или операции усреднения, или операции разности в отношении весовых параметров множества слоев весовой сети в первой модели преобразования и соответствующих весовых параметров множества слоев весовой сети во второй модели преобразования.

8. Способ по любому из пп. 1-5, в котором создание модели генерирования изображений на основании модели реконструкции и сращенной модели преобразования предусматривает:

получение комбинированной модели преобразования путем объединения модели реконструкции и сращенной модели преобразования;

получение четвертой выборки обучающих образцов, причем четвертая выборка обучающих образцов включает в себя по меньшей мере один образец исходного изображения и изображение второго стиля, соответствующее по меньшей мере одному образцу исходного изображения; и

создание модели генерирования изображений путем подстройки комбинированной модели преобразования с использованием четвертой выборки обучающих образцов.

9. Способ генерирования изображений, предусматривающий:

генерирование скрытой переменной, соответствующей подлежащему преобразованию изображению, что осуществляется путем ввода подлежащего преобразования изображения первого стиля в модель реконструкции; и

генерирование – на основании скрытой переменной, соответствующей подлежащему преобразованию изображению – целевого изображения, соответствующего подлежащему преобразованию изображению, с использованием сращенной модели преобразования, причем целевое изображение представляет собой изображение второго стиля;

при этом сращенная модель преобразования представляет собой модель, сгенерированную путем сращивания первой модели преобразования со второй моделью преобразования; первая модель преобразования выполнена с возможностью генерирования изображения первого стиля в соответствии с первым образцом шума; а вторая модель преобразования выполнена с возможностью генерирования изображения второго стиля в соответствии со вторым образцом шума.

10. Устройство для обучения модели генерирования изображений, содержащее:

модуль обучения модели, выполненный с возможностью получения первой модели преобразования посредством обучения, причем первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения в соответствии с первым образцом шума, а первое обучающее изображение представляет собой изображение первого стиля, при этом:

модуль обучения модели выполнен с дополнительной возможностью получения модели реконструкции посредством обучения на основании первой модели преобразования, причем модель реконструкция выполнена с возможностью привязки образца исходного изображения к скрытой переменной, соответствующей образцу исходного изображения; и

модуль обучения модели выполнен с дополнительной возможностью получения второй модели преобразования посредством обучения, причем вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения в соответствии со вторым образцом шума, а второе обучающее изображение представляет собой изображение второго стиля; и

модуль генерирования модели, выполненный с возможностью генерирования сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования; при этом:

модуль генерирования модели выполнен с дополнительной возможностью создания модели генерирования изображений на основании модели реконструкции и сращенной модели преобразования, причем модель генерирования изображений выполнена с возможностью преобразования подлежащего преобразованию изображения первого стиля в целевое изображение второго стиля.

11. Устройство для генерирования изображений, содержащее:

модуль генерирования переменных, выполненный с возможностью генерирования скрытой переменной, соответствующей подлежащему преобразованию изображению, путем ввода подлежащего преобразованию изображения первого стиля в модель реконструкции; и

модуль генерирования изображений, выполненный с возможностью генерирования – на основании скрытой переменной, соответствующей подлежащему преобразованию изображению – целевого изображения, соответствующего подлежащего преобразованию изображению, с использованием сращенной модели преобразования, причем целевое изображение представляет собой изображение второго стиля;

при этом сращенная модель преобразования является моделью, сгенерированной путем сращивания первой модели преобразования со второй моделью преобразования, первая модель преобразования выполнена с возможностью генерирования изображения первого стиля в соответствии с первым образцом шума, а вторая модель преобразования выполнена с возможностью генерирования изображения второго стиля в соответствии со вторым образцом шума.

12. Компьютерное устройство для обучения модели генерирования изображений, содержащее процессор и память, в которой хранится одна или несколько компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором компьютерного устройства инициирует реализацию компьютерным устройством способа обучения модели генерирования изображений по любому из пп. 1-8.

13. Машиночитаемый носитель данных для хранения на нем одной или нескольких компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором инициирует реализацию этим процессором способа обучения модели генерирования изображений по любому из пп. 1-8.

14. Компьютерное устройство для генерирования изображений, содержащее процессор и память, причем в памяти хранится одна или несколько компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором компьютерного устройства инициирует реализацию компьютерным устройством способа генерирования изображений по п. 9.

15. Машиночитаемый носитель данных для хранения на нем одной или нескольких компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором инициирует реализацию этим процессором способа генерирования изображений по п. 9.