СПОСОБ МОДИФИКАЦИИ ГОЛОСА И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ (ВАРИАНТЫ) Российский патент 2016 года по МПК G10L13/00 G10L13/33 

Область техники

Изобретение относится к вычислительной технике, преимущественно к системам мультимедиа, и может быть использовано для модификации и коррекции певческого голоса в устройствах караоке.

Предшествующий уровень техники

Традиционные способы модификации голоса преобразовывают диапазон частот основного тона из мужского голоса в женский голос и наоборот, чтобы позволить мужчине-певцу-исполнителю, поющему в караоке, воспроизвести песню, изначально принадлежащую и исполняемую профессиональной певицей - целевым певцом, и наоборот, чтобы позволить женщине - певцу-исполнителю, поющей в караоке, воспроизвести песню, изначально принадлежащую и исполняемую профессиональным певцом мужчиной - целевым певцом. Эффект изменения частоты основного тона звукового сигнала может достигаться изменением скорости воспроизведения, что приводит к смещению частоты всех составляющих сигнала Однако, во-первых, изменение скорости воспроизведения приводит к изменению длительности сигнала и потому не может быть использовано в приложениях, работающих в реальном масштабе времени, а во-вторых, эти способ искажают тембр голоса

Наиболее популярной альтернативой предыдущим способам является использование фазового вокодера (Flanagan J.L. and Golden R.M. Phase vocoder // Bell System Technical Journal, vol. 45, pp. 1493-1509, 1966 г.) и разнообразные методы на его основе, выполняющие смещение компонент сигнала в частотной области при помощи прямого и обратного преобразования Фурье. Применение фазового вокодера позволяет изменять высоту звучания сигнала без изменения длительности и сохранять тембр путем коррекции спектральной огибающей. Данный подход может быть использован для любых звуковых сигналов. Вокодер может быть реализован в режиме реального времени, поскольку выполняет обработку входного сигнала последовательно фрейм за фреймом. При применении его к речи и певческому голосу такой метод имеет существенные ограничения: 1) в обработке отсутствует какая-либо модель голосообразования, что при значительном изменении частоты основного тона приводит к неестественному звучанию; 2) выделяемые частотные составляющие сигнала не соответствуют гармоникам основного тона, что приводит к потере натуральности и звонкости голоса; 3) сигнал не разделяется на вокализованный и незокапизованный, что приводит к неестественному звучанию некоторых звуков (в частности невокализованных шипящих 'с', 'ш', а также смешанных, частично вокализованных, 'з' и 'ж').

Известен способ и устройство модификации голоса на основе представления аудиосигнала в виде модели суммы синусоидальных (детерминированных) и шумовых (стохастических) компонент, в котором голосовые сигналы преобразовываются путем модуляции частот и амплитуд синусоидальных компонент модели аудиосигнала, содержащее средства извлечения только детерминированных компонентов из входящего голосового сигнала, детерминирующие составляющие, включая совокупность составляющих синусоидальных колебаний, которые перечисляются последовательно, где входящий голосовой сигнал включает детерминированные элементы и остаточные элементы; средства отделения для разделения компонентов синусоидальной волны на координаты значения частоты и координаты значения амплитуды, которые перечисляются последовательно, также как и компоненты синусоидальной волны; запоминающее устройство для хранения информации об исходной высоте/тоне эталонного звукового сигнала, информацию высоты звука, включая первичную высоту, представляющую совпадение высоты дискретного сигнала по музыкальной шкале, и вторичную высоту, представляющую дробный шаг, изменяющийся в соответствии с дискретным сигналом, и хранимую информацию об амплитуде эталонного сигнала, представляющего координаты амплитуды компонентов синусоидальной волны, содержащиеся в эталонном звуковом сигнале, которые перечисляются последовательно; первое средство модуляции для модуляции координат значения частоты компонентов синусоидальной волны входящего голосового сигнала в соответствии с первичной информацией об эталонной высоте звучания, извлеченной из запоминающего устройства, для генерирования модулированных координат значения частоты; первичная модуляция означает дальнейшую модуляцию координат частоты компонентов синусоидальной волны входящего звукового сигнала на основе вторичной информации о высоте звучания, извлеченной из запоминающего устройства, для дальнейшей модуляции координат значения частоты; средства контроля для установления контрольных параметров для отслеживания уровня модуляции координат частоты на основании первичной и вторичной информации о высоте звучания таким образом, чтобы степень влияния высоты эталонного звукового сигнала на исходящий звуковой сигнал определялась на основании заданных параметров; второе средство модуляции для модуляции координат значения амплитуды компонентов синусоидальной волны входящего голосового сигнала в соответствии с информацией об амплитуде эталонного сигнала, представленного координатами значения амплитуды, которые пронумерованы в соответствии с координатами амплитуды входящего голосового сигнала, извлеченными из памяти запоминающего устройства, так, что каждая координата амплитуды входящего голосового сигнала смешивается с соответствующей координатой амплитуды эталонного сигнала посредством установленной пропорции; средства комбинирования для сложения каждой координаты модулированной частоты и координат значения далее модулированной амплитуды для синтезирования компонентов синусоидальной волны выходящего голосового сигнала с высотой звучания и тоном, отличными от высоты и тона входящего голосового сигнала; и средства смешивания для смешивания компонентов синтезированной синусоидальной волны, где компоненты модифицированной частоты участвуют в синтезе выходного голосового сигнала, имеющего отличия в высоте звучания от входящего голосового сигнала и испытывающего влияние эталонного голосового сигнала (Патент США 7117154, G10L 13/00, опубл. 03.10.2006).

Ограничением этого технического решения является то, что данный способ не позволяет осуществить качественное воспроизведение входного голосового сигнала непосредственно пользователя караоке - певца-исполнителя, по мастерству исполнения не уступающее профессиональному певцу, так чтобы на выходе караоке сохранялось звучание голоса пользователя караоке. Кроме того, недостатком данного изобретения является преобразование только части голосового сигнала, а точнее его вокализованной (гармонической) части. Не менее важная, не вокализованная часть голосового сигнала - сигнал-остаток - шумовая компонента, в данном изобретении остается без изменения, что не позволяет достичь хорошего качества целенаправленного преобразования голосового сигнала.

Наиболее близким к предлагаемому способу является способ модификации голоса, в котором модулируется входной голосовой сигнал певца-исполнителя в выходной голосовой сигнал целевого певца согласно заданному набору параметров (Патент США 5847303, G10H 1/36, опубл. 08.12.1998).

Известный способ модификации голоса заключается том, что

предварительно посредством устройства ввода и средства обработки - ауудиопроцессора сохраняют в средстве обеспечения наборы параметров, каждый из которых характеризует определенную модификацию спектра частот голоса певца-исполнителя,

вводят синхронно с музыкальным сопровождением в средство обработки посредством устройства ввода аудиосигнала голос певца-исполнителя, имеющий спектр частот, соответствующий голосу певца исполнителя,

задают требуемый набор параметров при помощи средства управления и монитора, и затем выбирают посредством центрального процессора требуемый набор параметров в средстве обеспечения,

конфигурируют средство обработки выбранным набором параметром из средства обеспечения для модификации голоса певца-исполнителя,

выводят посредством устройства вывода аудиосигнала голос певца-исполнителя, обработанный средством обработки - аудиопроцессором и промодифицированный согласно заданному набору параметров,

Известное устройство для модификации голоса содержит центральный процессор, аудиопроцессор, являющийся средством обработки сигналов, средство управления и монитор, средство обеспечения, сохраняющее таблицу параметров, устройство ввода аудиосигнала, подсоединенное к микрофону, и устройство вывода аудиосигнала, подсоединенное к громкоговорителю, при этом выход средства управления и монитор, соединен с входом центрального процессора, первый выход которого соединен с управляющим входом аудиопроцессора, а второй выход - с управляющим входом средства обеспечения, первый вход аудиопроцессора подсоединен к выходу устройство ввода аудиосигнала, выход средства обеспечения подсоединен ко второму входу аудиопроцессора, первый выход аудиопроцессора соединен со средством обеспечения, а второй его выход - со входом устройства вывода аудиосигнала

В известном способе и устройстве модификации голоса входной голос певца-исполнителя модифицируют в выходной голос целевого певца согласно заданному набору параметров. Из микрофона аудиосигнал певца-исполнителя, имеющий спектр частот специфический для его входного голоса, поступает в средство обработки - аудиопроцессор, который конфигурируется набором параметров из средства обеспечения (памяти таблицы параметров) для обработки аудиосигнала голоса певца-исполнителя по этому набору параметров. В таблице параметров хранится несколько наборов параметров, характеризующих вокальное исполнение конкретных целевых певцов и подготовленных заранее. Каждый из набора параметров определяет конкретную модификацию спектра частот входного голоса певца-исполнителя аудиопроцессором. Центральный процессор выбирает один набор параметров из таблицы параметров, который характеризует заданную мелодию заданного целевого певца, и конфигурирует аудиопроцессор данным выбранным набором параметров. Выходной аудиосигнал, который сформирован аудиопроцессором в соответствии с выбранным набором параметров, поступает через устройство вывода аудиосигнала на громкоговоритель. Выбор набора параметров, характеризующий целевого певца и песню (мелодию и стихи), задаются для пользователя на панели управления и выводятся на экран монитора

Более подробно работа ближайшего аналога описывается в разделе описания заявленного технического решения в сравнении его с ним.

Анализ известного способа модификации голоса и устройства показывает, что:

- отсутствуют средства для поддержки входного голоса певца-исполнителя для придания ему мелодичного звучания в соответствии с заданной партитурой песни (музыкальной композицией). Это обусловлено тем, что в данном способе контур частоты основного тона не определяется и не модифицируется в соответствии с партитурой мелодии или контуром частоты основного тона целевого певца, а также в способе не реализуется временное масштабирование (растяжение и сжатие) сигнала певца-исполнителя, т.е способ не позволяет осуществить качественное воспроизведение входного голосового сигнала непосредственно пользователя караоке, по мастерству исполнения не уступающее профессиональному исполнителю, или звучащей мелодии, так чтобы на выходе караоке сохранялось звучание голоса пользователя караоке;

- входной голос певца-исполнителя не соответствует выходному голосу целевого певца, потому что изменение частоты основного тона осуществляется только на 20% в сторону увеличения в случае изменения мужского голоса в женский и в сторону уменьшения при модификации женского голоса в мужской, а также спектр входного сигнала голоса певца-исполнителя меняется только по уровню и частотному диапазону, при этом огибающая спектра практически не изменяется, т.е спектр формант сдвигается в область верхних или нижних частот в зависимости от направления трансформирования голоса, а тембральная составляющая соответствует входному голосу певца-исполнителя. Поэтому в способе возможно формирование только тендерных голосов, и нельзя осуществить воспроизведение голосового сигнала непосредственно принадлежащего пользователю караоке с мастерством голосового сигнала певца-профессионала

Таким образом, в известном способе выходной сигнал не соответствует входному голосу певца-исполнителя, а только преобразованному тендерному голосу, определенному набором параметров целевого певца из таблицы параметров, при этом нельзя осуществить поддержку входного голоса певца-исполнителя для придания ему мелодичного звучания в соответствии с заданной партитурой песни (музыкальной композицией), воспроизведение голосового сигнала непосредственно принадлежащего певцу-исполнителю караоке с мастерством целевого голосового сигнала певца-профессионала

Раскрытие изобретения

Решаемая изобретением задача - улучшение технико-эксплуатационных характеристик и обеспечение возможности точного исполнения заданной мелодии голосом певца-исполнителя караоке, а также корректировка голоса певца-исполнителя караоке по эталонному исполнению песни и мелодии, позволяющая имитировать мастерство пения певца-профессионала.

Технический результат, который получен при реализации способа модификации голоса, - повышение качества воспроизведения вокально-инструментальных композиций голосом певца-пользователя караоке и расширение функциональных возможностей воспроизведения.

Для решения поставленной задачи с достижением указанного технического результата по первому варианту реализации изобретения в известном способе модификации голоса, заключающемся в том, что

предварительно посредством устройства ввода и средства обработки -ауудиопроцессора сохраняют в средстве обеспечения наборы параметров, каждый из которых характеризует определенную модификацию спектра частот голоса певца-исполнителя,

вводят синхронно с музыкальным сопровождением в средство обработки посредством устройства ввода аудиосигнала голос певца-исполнителя, имеющий спектр частот, соответствующий голосу певца исполнителя,

задают требуемый набор параметров при помощи средства управления и монитора, и затем выбирают посредством центрального процессора требуемый набор параметров в средстве обеспечения,

конфигурируют средство обработки выбранным набором параметром из средства обеспечения для модификации голоса певца-исполнителя,

выводят посредством устройства вывода аудиосигнала голос певца-исполнителя, обработанный средством обработки - аудиопроцессором и промодифицированный согласно заданному набору параметров,

согласно изобретению

для адаптации голоса певца-исполнителя к нотам музыкального сопровождения дополнительно используют средство формирования динамических параметров для корректировки голоса певца-исполнителя, обеспечивающее формирование выходного контура частоты основного тона и преобразование параметров,

средство обработки - аудиопроцессор дополнительно производит параметрический анализ аудиосигнала голоса певца-исполнителя и формирует вектор мгновенных значений амплитуды гармоник, фазы, частоты основного тона (ЧОТ) и шумовой составляющей,

средство формирования динамических параметров создает выходной контур ЧОТ по нотам музыкального сопровождения, поступающих из средства обеспечения, и в соответствии с выходным контуром ЧОТ преобразует вектор мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей, скорректированных согласно нотам музыкального сопровождения,

затем средство обработки - аудиопроцессор производит параметрический синтез преобразованного вектора мгновенных значений амплитуды гармоник, фазы, ЧОТ и шумовой составляющей, и формирует выходной аудиосигнал - синтезированный промодифицированный аудиосигнал голоса певца-исполнителя, который выводят посредством устройства вывода аудиосигнала для сведения синхронно во времени с музыкальным сопровождением.

Возможны дополнительные варианты осуществления способа по первому варианту, в которых целесообразно, чтобы:

- средство формирования динамических параметров выполняли из блока формирования выходного контура ЧОТ по нотам музыкального сопровождения и из блока преобразования параметров, обработку аудиосигнала голоса певца-исполнителя средством обработки производят фрейм за фреймом, центральный процессор синхронизирует ввод фрейма аудиосигнала голоса певца-исполнителя от микрофонного входа устройства ввода аудиосигнала в средство обработки - аудиопроцессор для выполнения параметрического анализа данного фрейма сигнала и формирования вектора параметров мгновенных значений амплитуды гармоник, фазы, ЧОТ и шумовой составляющей [A^S(n), , ^S(n), r^S(n)] голоса певца-исполнителя, где … где A^S(n) - мгновенное значение амплитуды гармоники, - мгновенное значение частоты основного тона, ^S(n) - мгновенное значение фазы гармоник основного тона, r^S(n) - шумовая составляющая сигнала, n - номер временного отсчета, при этом центральный процессор из средства обработки осуществляет загрузку в блок формирования выходного контура ЧОТ нот конкретного музыкального сопровождения, определенного певцом-исполнителем посредством средства управления и монитора, в блоке формирования выходного контура частоты основного тона создают выходной контур ЧОТ в соответствии с нотами, в блоке преобразования параметров на основании вектора параметров [A^S(n), , ^S(n), r^S(n)] голоса певца-исполнителя и выходного контура ЧОТ формируют преобразованный вектор параметров [, , (n), ], где преобразованный параметр , - преобразованный параметр , (n) - преобразованный параметр ^S(n), - преобразованный параметр r^S(n), скорректированные согласно нотам музыкального сопровождения, после параметрического синтеза средством обработки - аудиопроцессором преобразованного вектора мгновенных значений амплитуды гармоник, фазы, ЧОТ и шумовой составляющей средство обработки формирует фрейм выходного аудиосигнала, а для сведения с музыкальным сопровождением фрейм выходного аудиосигнала микшируют в устройстве вывода аудиосигнала с данным музыкальным сопровождением, синхронизируемым во времени посредством центрального процессора, и если музыкальное сопровождение не завершено, процесс повторяют для следующего фрейма аудиосигнала голоса певца-исполнителя.

- для уменьшения эффекта "компьютерного акцента" при параметрическом синтезе средством обработки - аудиопроцессором преобразованного вектора мгновенных значений амплитуды гармоник, фазы, ЧОТ и шумовой составляющей сохраняют на границах вокализованных сегментов нот музыкального сопровождения (партитуры песни) форму контура частоты основного тона аудиосигнала голоса певца-исполнителя.

Устройство для модификации голоса по первому варианту выполнения изобретения, содержащее центральный процессор, аудиопроцессор, являющийся средством обработки сигналов, средство управления и монитор, средство обеспечения, сохраняющее таблицу параметров, устройство ввода аудиосигнала, подсоединенное к микрофону, и устройство вывода аудиосигнала, подсоединенное к громкоговорителю, при этом выход средства управления и монитор, соединен с входом центрального процессора, выход которого соединен с управляющими входами аудиопроцессора, средства обеспечения, устройства ввода аудиосигнала и устройства вывода аудиосигнала, соответственно, первый вход аудиопроцессора подсоединен к выходу устройство ввода аудиосигнала, выход средства обеспечения подсоединен ко второму входу аудиопроцессора, первый выход аудиопроцессора соединен со средством обеспечения, а второй его выход - со входом устройства вывода аудиосигнала, согласно изобретению введено средство формирования динамических параметров, выполненное из блока формирования выходного контура частоты основного тона и из блока преобразования параметров, последовательно соединенных первыми входами к выходу средства обеспечения, выход средства обеспечения подсоединен ко второму входу аудиопроцессора через средство формирования динамических параметров, первый выход аудиопроцессора соединен со средством обеспечения для передачи и хранения в его таблице параметров нот музыкального сопровождения, а вторые входы блока формирования выходного контура частоты основного тона и блока преобразования параметров подсоединены первому выходу аудиопроцессора для передачи в них мгновенного значения частоты основного тона аудиосигнала голоса певца исполнителя и сигнала, характеризующего вектор параметров мгновенных значений амплитуды гармоник, фазы, ЧОТ и шумовой составляющей [A^S(n), , ^S(n), r^S(n)] голоса певца исполнителя, соответственно, где A^S(n) - мгновенное значение амплитуды гармоники, - мгновенное значение частоты основного тона, ^S(n) - мгновенное значение фазы гармоник основного тона, r^S(n) - шумовая составляющая сигнала, n - номер временного отсчета, соответственно, причем блок формирования выходного контура частоты основного тона выполнен с возможностью формирования - преобразованного параметра в соответствии с нотами музыкального сопровождения, а блок преобразования параметров - с возможностью формирования сигнала, характеризующего преобразованный вектор параметров [, , (n), ], где - преобразованный параметр A^S(n), - преобразованный параметр , (n) - преобразованный параметр ^S(n), - преобразованный параметр , скорректированные в соответствии с нотами музыкального сопровождения, кроме того, аудиопроцессор выполнен с возможностью параметрического синтеза преобразованного вектора параметров [, , (n), ] для формирования синтезированного промодифицированного сигнала s(n) и передачи его со второй выхода аудиопроцессора на вход устройства вывода аудиосигнала

Для решения поставленной задачи с достижением указанного технического результата по второму варианту реализации изобретения в известном способе модификации голоса, заключающемся в том, что

предварительно посредством устройства ввода и средства обработки - ауудиопроцессора сохраняют в средстве обеспечения наборы параметров, каждый из которых характеризует определенную модификацию спектра частот голоса певца-исполнителя,

вводят синхронно с музыкальным сопровождением в средство обработки посредством устройства ввода аудиосигнала голос певца-исполнителя, имеющий спектр частот, соответствующий голосу певца исполнителя,

задают требуемый набор параметров при помощи средства управления и монитора, и затем выбирают посредством центрального процессора требуемый набор параметров в средстве обеспечения,

конфигурируют средство обработки выбранным набором параметром из средства обеспечения для модификации голоса певца-исполнителя,

выводят посредством устройства вывода аудиосигнала голос певца-исполнителя, обработанный средством обработки - аудиопроцессором и промодифицированный согласно заданному набору параметров,

согласно изобретению

для корректировки голоса певца-исполнителя по эталонному исполнению, имитирующему мастерство пения целевого певца - певца-профессионала дополнительно используют средство формирования динамических параметров, обеспечивающее формирование выходного контура частоты основного тона и преобразование параметров,

предварительно посредством устройства ввода и средства обработки -ауудиопроцессора сохраняют в средстве обеспечения характеристику частоты основного тона, соответствующую эталонному исполнению,

средство обработки - аудиопроцессор дополнительно производит параметрический анализ аудиосигнала голоса певца-исполнителя и формирует вектор мгновенных значений амплитуды гармоник, фазы, частоты основного тона (ЧОТ),

средство формирования динамических параметров создает выходной контур частоты основного тона ЧОТ по характеристике частоты основного тона, соответствующей эталонному исполнению, поступающей из средства обеспечения, и в соответствии с выходным контуром частоты основного тона ЧОТ преобразует вектор мгновенных значений амплитуды гармоник, фазы, частоты основного тона (ЧОТ) и шумовой составляющей аудиосигнала голоса певца-исполнителя, скорректированных согласно характеристике частоты основного тона, соответствующей эталонному исполнению,

затем средство обработки - аудиопроцессор производит параметрический синтез преобразованного вектора мгновенных значений амплитуды гармоник, фазы, частоты основного тона (ЧОТ) и шумовой составляющей, и формирует выходной аудиосигнал - промодифицированный аудиосигнал голоса певца-исполнителя, который выводят посредством устройства вывода аудиосигнала для сведения синхронно во времени с музыкальным сопровождением.

Возможен дополнительный вариант осуществления способа по второму варианту, в котором средство формирования динамических параметров выполняют из блока формирования выходного контура ЧОТ по эталонному исполнению и из блока преобразования параметров, обработку аудиосигнала голос певца-исполнителя средством обработки производят фрейм за фреймом, центральный процессор синхронизирует ввод фрейма аудиосигнала голоса певца-исполнителя от микрофонного входа устройства ввода аудиосигнала в средство обработки -аудиопроцессор для выполнения параметрического анализа данного фрейма сигнала и формирования вектора параметров мгновенных значений амплитуды гармоник, фазы, ЧОТ и шумовой составляющей [A^S(n), , ^S(n), r^S(n)] голоса певца-исполнителя, где A^S(n) - мгновенное значение амплитуды гармоники, - мгновенное значение частоты основного тона, ^S(n) - мгновенное значение фазы гармоник основного тона, r^S(n) - шумовая составляющая сигнала, n - номер временного отсчета, при этом центральный процессор из средства обеспечения осуществляет загрузку в блок формирования выходного контура частоты основного тона ЧОТ характеристику контура частоты основного тона ЧОТ эталонного исполнения, определенного певцом-исполнителем посредством средства управления и монитора, в блоке формирования выходного контура частоты основного тона ЧОТ создают выходной контур частоты основного тона ЧОТ , соответствующий характеристике контура частоты основного тона ЧОТ эталонного исполнения, в блоке преобразования параметров на основании вектора параметров [A^S(n), , ^S(n), r^S(n)] голоса певца-исполнителя и выходного контура частоты основного тона ЧОТ формируют преобразованный вектор параметров [, , (n), ], где - преобразованный параметр A^S(n), - преобразованный параметр , (n) - преобразованный параметр ^S(n), - преобразованный параметр r^S(n), скорректированные согласно эталонному исполнению, после параметрического синтеза средством обработки - аудиопроцессором преобразованного вектора мгновенных значений амплитуды гармоник, фазы, ЧОТ и шумовой составляющей средство обработки формирует фрейм выходного аудиосигнала, а для сведения с музыкальным сопровождением фрейм выходного аудиосигнала микшируют в устройстве вывода аудиосигнала с музыкальным сопровождением, синхронизируемым во времени посредством центрального процессора, и если музыкальное сопровождение не завершено, процесс повторяют для следующего фрейма аудиосигнала голоса певца-исполнителя.

Для уменьшения эффекта "компьютерного акцента" при параметрическом синтезе средством обработки - аудиопроцессором преобразованного вектора мгновенных значений амплитуды гармоник, фазы, ЧОТ и шумовой составляющей также можно сохранять на границах вокализованных сегментов аудиосигнала голоса целевого-певца (эталонного исполнения) форму контура частоты основного тона аудиосигнала голоса певца-исполнителя.

В известном устройстве для модификации голоса по второму варианту выполнения изобретения, содержащем центральный процессор, аудиопроцессор, являющийся средством обработки сигналов, средство управления и монитор, средство обеспечения, сохраняющее таблицу параметров, устройство ввода аудиосигнала, подсоединенное к микрофону, и устройство вывода аудиосигнала, подсоединенное к громкоговорителю, при этом выход средства управления и монитор, соединен с входом центрального процессора, выход которого соединен с управляющими входами аудиопроцессора, средства обеспечения, устройства ввода аудиосигнала и устройства вывода аудиосигнала, соответственно, выход средства обеспечения подсоединен ко второму входу аудиопроцессора, первый выход аудиопроцессора соединен со средством обеспечения, а второй его выход - со входом устройства вывода аудиосигнала, согласно изобретению введено средство формирования динамических параметров, выполненное из блока формирования выходного контура частоты основного тона и из блока преобразования параметров, последовательно соединенных первыми входами к выходу средства обеспечения, выход средства обеспечения подсоединен ко второму входу аудиопроцессора через средство формирования динамических параметров, первый выход аудиопроцессора соединен со средством обеспечения для передачи и хранения в его таблице параметров характеристики частоты основного тона эталонного исполнения, а вторые входы блока формирования выходного контура частоты основного тона и блока преобразования параметров подсоединены к первому выходу аудиопроцессора для передачи в них мгновенного значения частоты основного тона аудиосигнала голоса певца исполнителя и сигнала, характеризующего вектор параметров мгновенных значений амплитуды гармоник, фазы, частоты основного тона (ЧОТ) и шумовой составляющей [A^S(n), , ^S(n), r^S(n)] голоса певца исполнителя, соответственно, где A^S(n) - мгновенное значение амплитуды гармоники, - мгновенное значение частоты основного тона, ^S(n) - мгновенное значение фазы гармоник основного тона, r^S(n) - шумовая составляющая сигнала, n - номер временного отсчета, соответственно, причем блок формирования выходного контура частоты основного тона выполнен с возможностью формирования - преобразованного параметра в соответствии характеристикой частоты основного тона эталонного исполнения, а блок преобразования параметров - с возможностью формирования сигнала, характеризующего преобразованный вектор параметров [, , (n), ], где - преобразованный параметр A^S(n), - преобразованный параметр , (n) - преобразованный параметр ^S(n), - преобразованный параметр , скорректированные в соответствии с характеристикой частоты основного тона эталонного исполнения, кроме того, аудиопроцессор выполнен с возможностью параметрического синтеза преобразованного вектора параметров [, , (n), ] для формирования синтезированного промодифицированного сигнала s(n) и передачи его со второго выхода аудиопроцессора на вход устройства вывода аудиосигнала

Достоинством предложенного технического решения для модификации и коррекции певческого голоса певца-исполнителя является расширение функциональных возможностей воспроизведения вокально-инструментальных композиций, создание качественных музыкальных произведений из записанной фонограммы, включающей голос певца-исполнителя и соответствующего музыкального сопровождения, причем обработка голоса инвариантна к языку композиции и исполнения. Это позволяет получить, во-первых, корректировку входного голоса певца-исполнителя по нотам заданной мелодии, во-вторых, корректировку входного голоса певца-исполнителя по эталонному исполнению мелодии голосом другого целевого певца-профессионала, при этом обеспечивается высокое качество выходного голоса певца-исполнителя.

Указанные преимущества, а также особенности настоящего изобретения поясняются вариантами его осуществления со ссылками на прилагаемые фигуры.

Краткий перечень чертежей

Фиг. 1 - функциональная схема ближайшего аналога - устройства модификации голоса соответствующим набором параметров (аппарат караоке);

Фиг. 2 - то же, что фиг. 1, обобщенная функциональная схема (предшествующий уровень);

Фиг. 3 - обобщенная функциональная схема устройства модификации голоса, в которой осуществляется реализация заявленного способа по первому или второму вариантам;

Фиг. 4 - аудиосигнал и его спектрограмма с отмеченными гармониками частоты основного тона а) входной сигнал, б) сигнал с измененной частотой основного тона по отношению к входному сигналу;

Фиг. 5 - иллюстрация сепарации аудиосигнала на периодическую и стохастическую компоненты: а) входной сигнал с отмеченными областями вокализованности, б) выделенная вокализованная компонента, в) сигнал остаток - стохастическая компонента, г) синтезированный выходной сигнал с отмеченными вокализованными компонентами;

Фиг. 6 - иллюстрация формирования выходного контура частоты основного тона по нотам мелодии;

Фиг. 7 - иллюстрация формирования выходного контура частоты основного тона по эталонному исполнению;

Фиг. 8 - блок-схема алгоритма работы устройства для модификации голоса.

Варианты осуществления изобретения

Поскольку способы модификации голоса реализуются при помощи заявленных устройств, то их подробное описание приведено в разделе описания работы устройства

Устройство 1 для модификации голоса соответствующим набором параметров (аппарат караоке), который показан на фигуре 1, составлен из управляемого усилителя 2, аудиопроцессора 3, диска чейнджера (LD changer) 4, громкоговорителя 5, монитора 6, микрофона 7, инфракрасного пульта управления 8, центрального процессорного устройства 10, постоянного запоминающего устройства (ПЗУ) 11, оперативного запоминающего устройства (ОЗУ) 12, жесткого диска 17, контроллер связи 16 для осуществления цифрового ввода, приемника сигнала пульта управления 13, индикаторной панели управления 14, панели переключателей 15, тонального генератора 18, процессора голосовых данных 19, генератора символов 20, контроллеров дисплея 21 и дисковода гибких дисков 25, а также дисковода гибких дисков 26. Данная схема представляет одну из технических реализаций устройства модификации голоса соответствующим набором параметров (аппарата караоке), которая в общем случае соответствует микро-ЭВМ с дополнительными устройствами связи, ввода-вывода аналоговых аудиосигналов, аудиопроцессора цифровой обработки аудиосигналов, присоединенными к общей шине микро-ЭВМ.

Исходя из сведений, изложенных в патенте США №5847303 и его формулы изобретения, не нарушая технической сущности ближайшего аналога - способа и устройства для модификации голоса, которые модулируют входной голосовой сигнал певца-исполнителя в выходной голосовой сигнал целевого певца согласно заданному набору параметров, для более ясного понимания сущности процесса обработки аудиосигнала структурную схему процессора модификации голоса соответствующим набором параметров (аппарат караоке) 1, показанную на фигуре 1, можно представить в виде обобщенной известного аппарата 1 караоке, показанной фигуре 2. На фигуре 2 устройство 31 ввода аудиосигнала включает управляемый усилитель 2. Устройство 32 вывода аудиосигнала содержит управляемый усилитель 2, тональный генератор 18, процессор голосовых данных 19. Средство 33 обработки состоит из аудиопроцессора 3. В средство 34 обеспечения (память набора параметров) входят контроллер связи 16 для осуществления цифрового ввода и жесткий диск 17 для хранения таблицы параметров реконфигурации аудиопроцессора 3. Центральный процессор 35 включает центральное процессорное устройство 10, ПЗУ 11 хранения начального загрузчика ввода операционной системы, ОЗУ 12 для записи программы работы соответствующего режима устройства модификации голоса, которое модулирует входной голосовой сигнал певца-исполнителя в выходной голосовой сигнал целевого певца согласно заданному набору параметров, контроллер дисковода гибких дисков 25 и дисковод гибких дисков 26. Средство 36 управления и монитор образованы монитором 6, контроллером дисплея 21, генератором символов 20, диском чейнджера (LD changer) 4, инфракрасным пультом управления 8, приемником сигнала пульта управления 13, панелью переключателей 15 и индикаторов управления 14.

Из микрофона 7 входной сигнал певца-исполнителя, имеющий специфический спектр частот, через устройство 31 ввода аудиосигнала поступает в средство 33 обработки - аудиопроцессор (АП), который конфигурирован некоторым набором параметров, взятых из памяти (таблицы статических параметров) средства 34 обеспечения для обработки аудиосигнала певца-исполнителя по этому набору параметров (фиг. 2). В таблице параметров представлены для хранения несколько наборов параметров целевых певцов, подготовленных заранее, каждый из которых по-разному характеризует модификацию спектра частот певца-исполнителя средством 33 обработки - АП. Центральный процессор 35 выбирает один желательный из наборов параметров в таблице параметров и конфигурирует средство 33 обработки - АП этим выбранным набором параметров. Выходной аудиосигнал, который сформирован АП в соответствии с выбранным набором параметров и который представляет собой выходной голосовой сигнал близкий к целевому певцу, поступает через устройство 32 вывода аудиосигнала на громкоговоритель 5. Выбор набора параметров, характеризующий целевого певца и песню (мелодию и стихи) задаются на панели управления и выводятся на экран монитора - средство 36 управления и монитор. Таблица параметров, хранящаяся в памяти средства 34, обеспечения включает следующую группу параметров: 1) набор параметров, характеризующий вокальное исполнение конкретного целевого певца; 2) диапазон частоты основного тона (20% изменение частоты по отношению к частоте основного тона певца-исполнителя); 3) временное масштабирование; 4) коэффициенты фильтра, осуществляющего модификацию спектра входного аудиосигнала голоса певца-исполнителя. Способность манипулировать частотой основного тона и формой спектра входного сигнала позволяет преобразовать мужской голос в женский и наоборот. Караоке-аккомпанемент генерируется согласно предоставляемым последовательно по времени данным трека исполнения и последовательно во времени выбираются наборы параметров согласно данным трека управления, предоставляемыми последовательно во времени синхронно с данными исполнения: текст песни, выводимый на экран монитора Данные трека исполнения и трека управления генерируются центральным процессором 35. Способ генерации караоке-аккомпанемента, чтобы поддерживать голос певца-исполнителя, поющего песню-караоке, осуществляется согласно следующим этапам: параллельно караоке-аккомпанементу вводится через устройство 31 ввода аудиосигнала голос певца-исполнителя, имеющий специфический спектр частот; обработка данного аудиосигнала в средстве 33 обработки согласно выбранному набору параметров, каждый из которых по-разному характеризует модификацию специфического спектра частот голоса певца-исполнителя. Аудиопроцессор средства 33 обработки во времени конфигурируется выбираемыми последовательно наборами параметров так, что на этапе вывода выходной голос во времени модулирован согласно выбранным наборам параметров. Таким образом, голос певца-исполнителя динамически адаптируется к песне-караоке во время караоке-исполнения. Вывод модифицированного голоса певца-исполнителя, адаптированного к караоке-песне, осуществляется через средство 32 вывода аудиосигнала на громкоговоритель 5.

Заявленное устройство для модификации голоса (фиг. 3) по первому варианту выполнения изобретения содержит центральный процессор 35, аудиопроцессор (АП), являющийся средством 33 обработки сигналов, средство 36 управления и монитор, средство 34 обеспечения, сохраняющее таблицу параметров, устройство 31 ввода аудиосигнала, подсоединенное к микрофону 7, и устройство 32 вывода аудиосигнала, подсоединенное к громкоговорителю 5. Выход средства 36 управления и монитор, соединен с входом центрального процессора 35. Выход центрального процессора 35 соединен с управляющими входами аудиопроцессора, средства 34 обеспечения, устройства 31 ввода аудиосигнала и устройства 32 вывода аудиосигнала, соответственно. Первый вход АП подсоединен к выходу устройство 31 ввода аудиосигнала Выход средства 34 обеспечения подсоединен ко второму входу АП. Первый выход АП соединен со средством 34 обеспечения, а второй его выход - со входом устройства 32 вывода аудиосигнала

Введено средство 37 формирования динамических параметров, выполненное из блока 38 формирования выходного контура частоты основного тона (ЧОТ) и из блока 39 преобразования параметров, последовательно соединенных первыми входами к выходу средства 34 обеспечения. Выход средства 34 обеспечения подсоединен ко второму входу АП через средство 37 формирования динамических параметров. Первый выход АП соединен со средством 34 обеспечения для передачи и хранения в его таблице параметров нот музыкального сопровождения. Вторые входы блока 38 формирования выходного контура ЧОТ и блока 39 преобразования параметров подсоединены к первому выходу АП для передачи в блок формирования выходного контура ЧОТ мгновенного значения частоты основного тона аудиосигнала голоса певца исполнителя, а в блок 39 преобразования параметров сигнала, характеризующего вектор параметров мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей [A^S(n), , ^S(n), r^S(n)] голоса певца исполнителя, соответственно, где A^S(n) - мгновенное значение амплитуды гармоники, -мгновенное значение частоты основного тона, ^S(n) - мгновенное значение фазы гармоник основного тона, r^S(n) - шумовая составляющая сигнала, n - номер временного отсчета, соответственно. Блок 38 формирования выходного контура ЧОТ выполнен с возможностью формирования - преобразованного параметра в соответствии с нотами музыкального сопровождения. Блок 39 преобразования параметров выполнен с возможностью формирования сигнала, характеризующего преобразованный вектор параметров [, , (n), ], где - преобразованный параметр A^S(n), - преобразованный параметр , (n) - преобразованный параметр ^S(n), - преобразованный параметр r^S(n), скорректированные в соответствии с нотами музыкального сопровождения. АП выполнен с возможностью параметрического синтеза преобразованного вектора параметров [, , (n), ] для формирования синтезированного промодифицированного сигнала s(n) и передачи его со второго выхода АП на вход устройства 32 вывода аудиосигнала

Устройство для модификации по второму варианту выполнения изобретения отличается от первого варианта только тем, что первый выход АП соединен со средством 34 обеспечения для передачи и хранения в его таблице параметров характеристики частоты основного тона эталонного исполнения певцом-профессионалом (фиг. 3), которую предварительно формирует АП.

Работает устройство (фиг. 3) следующим образом.

Для повышения натуральности звучания и расширения доступного диапазона изменения основного тона используется решение, основанное на гибридной (детерминистской/стохастической) модели аудиосигнала, в которой используется три раздельные составляющие: периодическая, шумовая и транзиентная. Поскольку при изменении частоты основного тона (ЧОТ) голоса обрабатывается только вокализованная (детерминистская) часть сигнала, в заявленном техническом решении отсутствует необходимость различения между собой шумовых и транзиентных составляющих - вместе их можно отнести к невокализованной (стохастической) части сигнала

Аудиосигнал s(n) в общем случае в данном изобретении представляется в виде суммы двух составляющих: вокализованной и невокализованной. Для описания вокализованной части сигнала используется синусоидальная модель:

,

где A_k(n) - мгновенная амплитуда k-ой гармоники, K - общее число гармоник, _k(n) мгновенное значение фазы k-ой гармоники, r(n) - шумовая составляющая сигнала, n - номер временного отсчета

Мгновенная частота f_k(n) связана с мгновенной фазой следующим соотношением:

,

где F_s - частота дискретизации и _k(n) - начальная фаза k-ой гармоники, а - f_k(i) - частота i-ой субгармоники к-ой гармоники. Приближенно можно считать, что частота каждой гармоники является кратной частоте основного тона (фиг. 4 а), т.е.

f_k(n) f₀(n)k,

где f₀(n) - частота основного тона (ЧОТ).

На фиг. 4б приведен сигнал с измененной частотой основного тона (частота увеличена) по отношению к входному сигналу, показанному на фиг. 4а

Оценка частоты основного тона выполняется при помощи, например, алгоритма (Azarov Е., Vashkevich М., Petrovsky A. Instantaneous pitch estimation based on RAPT framework // EUSIPCO 2012: proc. of the 20th European Signal Processing Conference. - Bucharest., 2012. - P. 2787-2791) или ему подобных (Pavlovets, A. Petrovsky, Robust HNR-Based Closed-Loop Pitch and Harmonic Parameters Estimation. INTERSPEECH 2011, pp. 1981-1984) или какими любыми другими известными из уровня техники методами, особенностью которых является возможность определения мгновенной частоты. Эта возможность достигается за счет использования специальной функции оценки периодичности _inst(n, р) аналогичной автокорреляционной функции, вычисляемой из мгновенных гармонических параметров субполосных составляющих сигнала

где р - длина периода кандидата основного тона (под понятием «кандидат» понимается параметр частоты одной из гармоник, близкой к частоте основного тона), а - мгновенная амплитуда k-ой гармоники возведенная в квадрат. В отличие от автокорреляционной функции, функция _inst нечувствительна к любым изменениям частоты основного тона в окрестности отсчета n при условии, что используемые гармонические параметры получены достаточно точно, например, процент грубых ошибок может быть порядка 2-3%.

Вектор параметров модели аудио сигнала [А(n), f₀(n), (n), r(n)] как входного голоса певца исполнителя [A^S(n), , ^S(n), r^S(n)], так и сигнала голоса эталонного исполнения мелодии или целевого певца [A^T(n), , ^T(n), r^T(n)] определяется с помощью параметрического анализа, выполняемого по одному из методов, представленных в работах (Zubrycki, P.; Petrovsky, A, "Quasi-periodic signal analysis using harmonic transform with application to voiced speech processing," Circuits and Systems (ISCAS), Proceedings of 2010 IEEE International Symposium on, vol., no., pp. 2374,2377, May 30 2010-June 2 2010; Abe, Т.; Honda, M., "Sinusoidal model based on instantaneous frequency attractors," Audio, Speech, and Language Processing, IEEE Transactions on, vol. 14, no. 4, pp. 1292, 1300, July 2006), или какими любыми другими известными из уровня техники методами. Параметрический анализ аудиосигнала входного голоса певца исполнителя [A^S(n), , ^S(n), r^S(n)] и сигнала голоса эталонного исполнения мелодии или целевого певца [A^T(n), , ^T(n), r^T(n)] осуществляется в средстве 33 обработки - АП.

Частота f₀(n) основного тона определяет высоту звучания голоса. Контур частоты основного тона (его изменение в зависимости от времени на большом протяжении) определяет интонацию. Для того чтобы сохранить тембр входного голоса певца-исполнителя при изменении ЧОТ, должна сохраняться спектральная огибающая, которая формируется из мгновенных амплитуд гармоник основного тона спектральную огибающую E(n, f) можно рассматривать как функцию от номера временного n отсчета и частоты f, которая принимает значения мгновенных амплитуд гармоник частоты основного тона A_k(n) в соответствующих отсчетах частоты f_k(n) (гармоник ЧОТ):

Е(n,f_k(n))=A_k(n).

Для произвольных n и f функция Е(n,f_k(n)) вычисляется путем линейной интерполяции ближайших к ним амплитудных значений. Вычисление спектральной огибающей E(n,f) выполняется в блоке 39 преобразования параметров, результатом работы которого является преобразованный вектор параметров [, , (n), ].

Синтез выходного аудиосигнала с модифицированным контуром ЧОТ может быть выполнен АП по следующей формуле:

,

где фазы гармонических компонентов (n) рассчитываются в соответствии с новым контуром частоты основного тона следующим образом:

,

где - частота i-ой субгармоники частоты основного тона, a F_S - частота дискретизации.

Дополнительный фазовый параметр используется для сохранения относительных фаз гармоник по отношению к фазе частоты основного тона. Данный параметр вычисляется как

.

Параметрический синтез выходного аудиосигнала на основе вектора преобразованных параметров [, , (n), ], который происходит в средстве 33 обработки - АП.

Основной тон присутствует только в вокализованных сегментах речи, т.е. только тогда, когда задействованы голосовые связки певца-исполнителя. Как было показано выше и на фиг. 4а и 4б, в спектре речевого сигнала вокализованность проявляется в виде спектральных компонент кратной частоте основного тона. На рис. 5а в качестве примера показан речевой сигнал с отмеченными контурами вокализованности в области спектра Для того, чтобы сохранить исходное качество звучания невокализованных звуков алгоритм изменения тона должен автоматически выделять области вокализованности и выполнять обработку только в этих областях (рис. 5а). Шумовая часть r(n) (фиг. 5в) выделяется из исходного сигнала вычитанием выделенных вокализованных звуков (фиг. 5б).

Таким образом, обработка аудиосигнала на основе принятой модели, т.е. параметрический анализ с цепью получения вектора параметров [А(n), f₀(n), (n), r(n)] как для входного голоса певца исполнителя [A^S(n), , ^S(n), r^S(n)], так и для сигнала голоса эталонного исполнения мелодии или целевого певца [A^T(n), , ^T(n), r^T(n)] можно кратко описать в виде следующей последовательности действий:

1) Определение частоты основного тона f₀(n);

2) Преобразование аудиосигнала в параметрический вид, т.е. оценка мгновенных гармонических параметров A_k(n), f_k(n) и _k(n). k=1, 2, … K;

3) Оценка вокализации каждой тройки указанных гармонических параметров по пункту 2 и отбор только тех, которые относятся к вокализованным областям спектра (вокализаванной может быть часть спектра, которая характеризуется данной тройкой параметров).

4) Синтез вокализованной компоненты аудиосигнала (фиг. 5б) и ее вычитание из исходного речевого сигнала для получения шумовой составляющей r(n) (фиг. 5в).

Синтез вокализованной компоненты с измененным контуром частоты основного тона в соответствии с целевым контуром частоты основного тона и сложение ее с шумовой составляющей r(n) выполняется в средстве 33 обработки - АП, т.е. на основе вектора преобразованных параметров [, , (n), ] (фиг. 5г).

Устройство для формирования выходного контура частоты основного тона функционирует в двух режимах по первому и второму вариантам (фиг. 3 и фиг. 8): 1) формирование контура частоты основного тона по нотам музыкального сопровождения; 2) формирование контура частоты основного тона по эталонному исполнению для придания голосу индивидуальной манеры профессионального певца Режим задается центральным процессором 35 в зависимости от выбора певца-исполнителя средством 36 управления. Формирование динамических параметров - выходного контура ЧОТ выполняется в процессе пения в соответствии с мелодией выбранного музыкального произведения.

В случае формирования выходного контура ЧОТ по нотам музыкального сопровождения из таблицы статических параметров средства 34 обеспечения считываются ноты мелодии выбранного музыкального произведения. Контур выходного тона формируется на основе нот мелодии таким образом, чтобы внести наименьшие искажения в обработанный сигнал. В первую очередь выполняется подбор октавы мелодии, наиболее близкой к голосу пользователя. Для этого частотный контур мелодии умножается и делится на коэффициенты 2 и 4, а затем сравнивается с ЧОТ входного сигнала голоса певца-исполнителя . После этого выполняется выравнивание контура ЧОТ входного сигнала голоса певца-исполнителя и мелодии по времени путем использования временного масштабирования на основе динамического программирования. За счет данной процедуры снижается уровень слышимых артефактов, вносимых в моменты переходов мелодии от ноты к ноте. Затем, контур ЧОТ входного сигнала голоса певца-исполнителя притягивается к нотам музыкального сопровождения (фиг. 6). Исходная форма контура ЧОТ входного сигнала голоса певца-исполнителя сохраняется на границах вокализованных сегментов для того, чтобы ослабить эффект "компьютерного акцента".

Для уменьшения расстояния между контуром ЧОТ входного сигнала голоса певца-исполнителя и выходным контурам частоты основного тона могут использоваться различные вариации. Возможные вариации заранее устанавливаются для музыкального сопровождения при помощи одновременно звучащих нот и обрабатываются при помощи динамического программирования.

В случае формирования выходного контура ЧОТ по эталонному исполнению певца-профессионала (фиг. 3) вместо нот мелодии используется контур ЧОТ (фиг. 7). Требуемый контур ЧОТ целевого певца считывается из таблицы параметров средства 33 обеспечения, либо в реальном масштабе времени выделяется из исполнения выбранной композиции заданным целевым певцом в результате параметрического анализа в средстве 33 обработки - АП.

Синхранизация вычислительных процессов в устройстве для модификации голоса (фиг. 3) выполняется центральным процессором 35. При включении устройства для модификации голоса (фиг. 8) выполняется инициализация центрального процессора 35, средства 33 обработки (АП), запуск программного обеспечения, установление связи с устройствами 31 ввода и 32 вывода аудиосигналов. Интерфейс с пользователем обеспечивается при помощи средства 36 управления и монитора: интерактивной панели управления и экрана В устройстве для модификации голоса (фиг. 3) предусмотрены два режима работы (фиг. 8): корректировка входного голоса певца-исполнителя по нотам музыкального сопровождения, и корректировка входного голоса певца-исполнителя по эталонному исполнению.

Согласно режиму работы «Корректировка входного голоса певца-исполнителя по нотам» (фиг. 3 и 8), центральный процессор 35 загружает в таблицу параметров средства 34 обеспечения мелодию (ноты), определенные певцом-исполнителем на панели управления средства 36 управления и монитора, которые из таблицы параметров средства 34 обеспечения поступают в блок 38 формирования выходного контура ЧОТ. Далее осуществляется синхронизация центральным процессором 35 ввода фрейма аудиосигнала х(n) входного голоса певца-исполнителя из микрофонного входа устройства 31 ввода аудиосигнала в средство 33 обработки (АП) для выполнения параметрического анализа данного фрейма сигнала и получения вектора параметров [A^S(n), , ^S(n), r^S(n)] входного голоса певца-исполнителя. В блоке 38 формирования выходного контура ЧОТ осуществляется получение выходного контура ЧОТ в соответствии с нотами, который передается в блок 39 преобразования параметров, где на основании вектора параметров [A^S(n), , ^S(n), r^S(n)] входного голоса певца-исполнителя и выходного контура ЧОТ формируется преобразованный вектор параметров [, , (n), ]. В соответствии с этими параметрами в средстве 33 обработки (АП) выполняется параметрический синтез, согласно которому формируется фрейм сигнала s(n) выходного голоса певца-исполнителя. Далее в устройстве 32 вывода аудиосигнала фрейм сигнала выходного голоса певца-исполнителя микшируется с музыкальным сопровождением, переданным в устройство 32 вывода аудиосигнала центральным процессором 35 из таблицы параметров средства 33 обеспечения и выводится на громкоговоритель 5. Если музыкальная композиция не закончена, то процесс повторяется с ввода нового фрейма аудиосигнала х(n) входного голоса певца-исполнителя из микрофонного входа устройства 31 ввода аудиосигнала Следует отметить, что работа осуществляется в реальном масштабе времени и центральный процессор 35 осуществляет синхронизацию параллельной работы средства 33 обработки (АП), устройства 31 ввода аудиосигнала, блока 38 формирования выходного контура ЧОТ, блока 39 преобразования параметров и устройства 32 вывода аудиосигнала согласно принципу по фреймовой обработке сигналов (Vanhoof, J., Rompaey, К., Bolsens, I., Goossens, G., Man, H.: High-Level Synthesis for Real-Time Digital Signal Processing. Springer US, Boston, MA (1993)).

Для обеспечения режима работы корректировки голоса певца-исполнителя по эталонному исполнению (фиг. 3 и 8), позволяющему имитировать мастерство пения целевого певца - певца-профессионала, аудиосигнал голоса целевого певца, поступивший в средство 33 обработки (АП) из устройства 31 ввода аудиосигнала, на вход которого вместо микрофона, например, подключен проигрыватель, где записаны мелодии голосами целевых певцов. В результате обработки аудиосигнала голоса целевого певца в средстве 33 обработки формируется контур ЧОТ и записывается в средство 34 обеспечения (таблицу статических параметров), который в дальнейшем используется как параметр данного режима работы устройства для модификации голоса Таким образом, в средстве 34 обеспечения формируется таблица статических параметров целевых певцов. Если певец-исполнитель выбрал режим работы устройства модификации голоса «Корректировка голоса по эталонному исполнению», центральный процессор 35 загружает в блок 38 формирования контура ЧОТ контур ЧОТ выбранного целевого певца, в манере которого певец-исполнитель собирается исполнить музыкальную композицию.

Фрейм аудиосигнала х(n) входного голоса певца-исполнителя из микрофонного входа устройства 31 ввода аудиосигнала поступает в средство 33 обработки (АП) для выполнения параметрического анализа и формирования вектора параметров [A^S(n), , ^S(n), r^S(n)] входного голоса певца-исполнителя. Далее, в блоке 38 формирования выходного контура ЧОТ осуществляется получение выходного контура ЧОТ в соответствии с контуром ЧОТ целевого певца загруженным из таблицы параметров средства 33 обеспечения, который передается в блок 39 преобразования параметров, где на основании вектора параметров [A^S(n), , ^S(n), r^S(n)] входного голоса певца-исполнителя и выходного контура ЧОТ формируется преобразованный вектор параметров [, , (n), ]. В соответствии с данными преобразованными параметрами в средстве 33 обработки (АП) выполняется параметрический синтез, согласно которому формируется фрейм сигнала s(n) выходного голоса певца-исполнителя. Далее в устройстве 32 вывода аудиосигнала фрейм сигнала выходного голоса певца-исполнителя микшируется с музыкальным сопровождением, переданным в устройство 32 вывода аудиосигнала центральным процессором 35 из таблицы параметров средства 34 обеспечения и выводится на громкоговоритель 5. Если музыкальная композиция не закончена, то процесс повторяется с ввода нового фрейма аудиосигнала входного голоса певца-исполнителя из микрофонного входа устройства 31 ввода аудиосигнала Центральный процессор 35 осуществляет синхронизацию паралельной работы средства 33 обработки (АП), устройства 31 ввода аудиосигнала, блока 38 формирования выходного контура ЧОТ, блока 39 преобразования параметров и устройства 32 вывода аудиосигнала согласно принципу по фреймовой обработке сигналов.

В каждом из режимов работы устройств для модификации голоса по первому и второму варианту певец-исполнитель поет с музыкальным сопровождением и наблюдает вспомогательную информацию (текст песни и/или нотную запись, время записи, отсчеты метронома и т.д), выводимую центральным процессором 35 из таблицы параметров средства 34 обеспечения, на средство 36 управления и монитор. Синхронизация данных в каждом из режимов достигается при помощи соответствующих сценариев с помощью центрального процессора 35.

Промышленная применимость

Наиболее успешно заявленный способ модификации голоса и устройство для его реализации (варианты) промышленно применим в системах караоке для обеспечения возможности максимально точного попадания голоса певца-исполнителя в ноты музыкального сопровождения и для имитирования мастерства пения выбранного целевого певца - певца-профессионала.

Изобретение относится к вычислительной технике, преимущественно к системам мультимедиа, и может быть использовано для модификации и коррекции певческого голоса в устройствах караоке. Технический результат - повышении качества воспроизведения. Для этого в средстве обеспечения сохраняют наборы параметров и вводят синхронно с музыкальным сопровождением в средство обработки посредством устройства ввода аудиосигнала голос певца-исполнителя, выбирают посредством центрального процессора требуемый набор параметров в средстве обеспечения, конфигурируют средство обработки выбранным набором параметром, выводят посредством устройства вывода аудиосигнала голос певца-исполнителя, обработанный средством обработки и промодифицированный согласно заданному набору параметров, осуществляют адаптацию голоса певца-исполнителя к нотам музыкального сопровождения или корректировку голоса певца-исполнителя по эталонному исполнению певцом-профессионалом двумя описанными вариантами способов. Устройство для модификации голоса содержит центральный процессор, аудиопроцессор, средство управления и монитор, средство обеспечения, устройство ввода аудиосигнала, устройство вывода аудиосигнала и средство формирования динамических параметров, которое содержит блок формирования выходного контура частоты основного тона и блок преобразования параметров. 4 н. и 3 з.п. ф-лы, 8 ил.

1. Способ модификации голоса, заключающийся в том, что
предварительно посредством устройства ввода и средства обработки - аудиопроцессора сохраняют в средстве обеспечения наборы параметров, каждый из которых характеризует определенную модификацию спектра частот голоса певца-исполнителя,
вводят синхронно с музыкальным сопровождением в средство обработки посредством устройства ввода аудиосигнала голос певца-исполнителя, имеющий спектр частот, соответствующий голосу певца-исполнителя,
задают требуемый набор параметров при помощи средства управления и монитора, и затем выбирают посредством центрального процессора требуемый набор параметров в средстве обеспечения,
конфигурируют средство обработки выбранным набором параметром из средства обеспечения для модификации голоса певца-исполнителя,
выводят посредством устройства вывода аудиосигнала голос певца-исполнителя, обработанный средством обработки - аудиопроцессором и промодифицированный согласно заданному набору параметров,
отличающийся тем, что
для адаптации голоса певца-исполнителя к нотам музыкального сопровождения дополнительно используют средство формирования динамических параметров для корректировки голоса певца-исполнителя, обеспечивающее формирование выходного контура частоты основного тона и преобразование параметров,
средство обработки - аудиопроцессор дополнительно производит параметрический анализ аудиосигнала голоса певца-исполнителя и формирует вектор мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей,
средство формирования динамических параметров создает выходной контур частоты основного тона по нотам музыкального сопровождения, поступающих из средства обеспечения, и в соответствии с выходным контуром частоты основного тона преобразует вектор мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей, скорректированных согласно нотам музыкального сопровождения,
затем средство обработки - аудиопроцессор производит параметрический синтез преобразованного вектора мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей и формирует выходной аудиосигнал - промодифицированный аудиосигнал голоса певца-исполнителя, который выводят посредством устройства вывода аудиосигнала для сведения синхронно во времени с музыкальным сопровождением.

2. Способ по п. 1, отличающийся тем, что средство формирования динамических параметров выполняют из блока формирования выходного контура частоты основного тона по нотам музыкального сопровождения и из блока преобразования параметров, обработку аудиосигнала голоса певца-исполнителя средством обработки производят фрейм за фреймом, центральный процессор синхронизирует ввод фрейма аудиосигнала голоса певца-исполнителя от микрофонного входа устройства ввода аудиосигнала в средство обработки - аудиопроцессор для выполнения параметрического анализа данного фрейма сигнала и формирования вектора параметров мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей голоса певца-исполнителя, где A^S(n) - мгновенное значение амплитуды гармоники, - мгновенное значение частоты основного тона, - мгновенное значение фазы гармоник основного тона, r^S(n) - шумовая составляющая сигнала, n - номер временного отсчета, при этом центральный процессор из средства обработки осуществляет загрузку в блок формирования выходного контура частоты основного тона нот музыкального сопровождения, определенного певцом-исполнителем посредством средства управления и монитора, в блоке формирования выходного контура частоты основного тона создают выходной контур частоты основного тона в соответствии с нотами, в блоке преобразования параметров на основании вектора параметров голоса певца-исполнителя и выходного контура частоты основного тона формируют преобразованный вектор параметров где - преобразованный параметр - преобразованный параметр - преобразованный параметр - преобразованный параметр скорректированные согласно нотам музыкального сопровождения, после параметрического синтеза средством обработки - аудиопроцессором преобразованного вектора мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей, средство обработки формирует фрейм выходного аудиосигнала, а для сведения с музыкальным сопровождением фрейм выходного аудиосигнала микшируют в устройстве вывода аудиосигнала с данным музыкальным сопровождением, синхронизируемым во времени посредством центрального процессора, и если музыкальное сопровождение не завершено, процесс повторяют для следующего фрейма аудиосигнала голоса певца-исполнителя.

3. Способ по п. 2, отличающийся тем, что для уменьшения эффекта "компьютерного акцента" при параметрическом синтезе средством обработки - аудиопроцессором преобразованного вектора мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей сохраняют на границах вокализованных сегментов нот музыкального сопровождения форму контура частоты основного тона аудиосигнала голоса певца-исполнителя.

4. Устройство для модификации голоса, содержащее центральный процессор, аудиопроцессор, являющийся средством обработки сигналов, средство управления и монитор, средство обеспечения, сохраняющее таблицу параметров, устройство ввода аудиосигнала, подсоединенное к микрофону, и устройство вывода аудиосигнала, подсоединенное к громкоговорителю, при этом выход средства управления и монитор, соединен с входом центрального процессора, выход которого соединен с управляющими входами аудиопроцессора, средства обеспечения, устройства ввода аудиосигнала и устройства вывода аудиосигнала соответственно, первый вход аудиопроцессора подсоединен к выходу устройства ввода аудиосигнала, выход средства обеспечения подсоединен ко второму входу аудиопроцессора, первый выход аудиопроцессора соединен со средством обеспечения, а второй его выход - со входом устройства вывода аудиосигнала, отличающееся тем, что введено средство формирования динамических параметров, выполненное из блока формирования выходного контура частоты основного тона и из блока преобразования параметров, последовательно соединенных первыми входами к выходу средства обеспечения, выход средства обеспечения подсоединен ко второму входу аудиопроцессора через средство формирования динамических параметров, первый выход аудиопроцессора соединен со средством обеспечения для передачи и хранения в его таблице параметров нот музыкального сопровождения, а вторые входы блока формирования выходного контура частоты основного тона и блока преобразования параметров подсоединены к первому выходу аудиопроцессора для передачи в блок формирования выходного контура частоты основного тона мгновенного значения частоты основного тона аудиосигнала голоса певца-исполнителя, а в блок преобразования параметров сигнала, характеризующего вектор параметров мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей голоса певца-исполнителя соответственно, где A^S(n) - мгновенное значение амплитуды гармоники, - мгновенное значение частоты основного тона, - мгновенное значение фазы гармоник основного тона, r^S(n) - шумовая составляющая сигнала, n - номер временного отсчета соответственно, причем блок формирования выходного контура частоты основного тона выполнен с возможностью формирования - преобразованного параметра в соответствии с нотами музыкального сопровождения, а блок преобразования параметров - с возможностью формирования сигнала, характеризующего преобразованный вектор параметров где - преобразованный параметр - преобразованный параметр - преобразованный параметр - преобразованный параметр r^S(n), скорректированные в соответствии с нотами музыкального сопровождения, аудиопроцессор выполнен с возможностью параметрического синтеза преобразованного вектора параметров для формирования синтезированного промодифицированного сигнала s(n) и передачи его со второго выхода аудиопроцессора на вход устройства вывода аудиосигнала.

5. Способ модификации голоса, заключающийся в том, что
предварительно посредством устройства ввода и средства обработки - аудиопроцессора сохраняют в средстве обеспечения наборы параметров, каждый из которых характеризует определенную модификацию спектра частот голоса певца-исполнителя,
вводят синхронно с музыкальным сопровождением в средство обработки посредством устройства ввода аудиосигнала голос певца-исполнителя, имеющий спектр частот, соответствующий голосу певца-исполнителя,
задают требуемый набор параметров при помощи средства управления и монитора и затем выбирают посредством центрального процессора требуемый набор параметров в средстве обеспечения,
конфигурируют средство обработки выбранным набором параметров из средства обеспечения для модификации голоса певца-исполнителя,
выводят посредством устройства вывода аудиосигнала голос певца-исполнителя, обработанный средством обработки - аудиопроцессором и промодифицированный согласно заданному набору параметров,
отличающийся тем, что
для корректировки голоса певца-исполнителя по эталонному исполнению, имитирующему мастерство пения целевого певца - певца-профессионала дополнительно используют средство формирования динамических параметров, обеспечивающее формирование выходного контура частоты основного тона и преобразование параметров,
предварительно посредством устройства ввода и средства обработки - аудиопроцессора сохраняют в средстве обеспечения характеристику частоты основного тона, соответствующую эталонному исполнению,
средство обработки - аудиопроцессор дополнительно производит параметрический анализ аудиосигнала голоса певца-исполнителя и формирует вектор мгновенных значений амплитуды гармоник, фазы, частоты основного тона,
средство формирования динамических параметров создает выходной контур частоты основного тона по характеристике частоты основного тона, соответствующей эталонному исполнению, поступающей из средства обеспечения, и в соответствии с выходным контуром частоты основного тона преобразует вектор мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей аудиосигнала голоса певца-исполнителя, скорректированных согласно характеристике частоты основного тона, соответствующей эталонному исполнению,
затем средство обработки - аудиопроцессор производит параметрический синтез преобразованного вектора мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей и формирует выходной аудиосигнал - промодифицированный аудиосигнал голоса певца-исполнителя, который выводят посредством устройства вывода аудиосигнала для сведения синхронно во времени с музыкальным сопровождением.

6. Способ по п. 5, отличающийся тем, что средство формирования динамических параметров выполняют из блока формирования выходного контура частоты основного тона по эталонному исполнению и из блока преобразования параметров, обработку аудиосигнала голоса певца-исполнителя средством обработки производят фрейм за фреймом, центральный процессор синхронизирует ввод фрейма аудиосигнала голоса певца-исполнителя от микрофонного входа устройства ввода аудиосигнала в средство обработки - аудиопроцессор для выполнения параметрического анализа данного фрейма сигнала и формирования вектора параметров мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей голоса певца-исполнителя, где А^S(n) - мгновенное значение амплитуды гармоники, - мгновенное значение частоты основного тона, - мгновенное значение фазы гармоник основного тона, r^S(n) - шумовая составляющая сигнала, a n - номер временного отсчета, при этом центральный процессор из средства обеспечения осуществляет загрузку в блок формирования выходного контура частоты основного тона характеристику контура частоты основного тона ЧОТ эталонного исполнения, определенного певцом-исполнителем посредством средства управления и монитора, в блоке формирования выходного контура частоты основного тона создают выходной контур частоты основного тона соответствующий характеристике контура частоты основного тона ЧОТ эталонного исполнения, в блоке преобразования параметров на основании вектора параметров голоса певца-исполнителя и выходного контура частоты основного тона формируют преобразованный вектор параметров где - преобразованный параметр - преобразованный параметр - преобразованный параметр - преобразованный параметр r^S(n), скорректированные согласно эталонному исполнению, после параметрического синтеза средством обработки - аудиопроцессором преобразованного вектора мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей средство обработки формирует фрейм выходного аудиосигнала, а для сведения с музыкальным сопровождением фрейм выходного аудиосигнала микшируют в устройстве вывода аудиосигнала с музыкальным сопровождением, синхронизируемым во времени посредством центрального процессора, и если музыкальное сопровождение не завершено, процесс повторяют для следующего фрейма аудиосигнала голоса певца-исполнителя.

7. Устройство для модификации голоса, содержащее центральный процессор, аудиопроцессор, являющийся средством обработки сигналов, средство управления и монитор, средство обеспечения, сохраняющее таблицу параметров, устройство ввода аудиосигнала, подсоединенное к микрофону, и устройство вывода аудиосигнала, подсоединенное к громкоговорителю, при этом выход средства управления и монитор, соединен с входом центрального процессора, выход которого соединен с управляющими входами аудиопроцессора, средства обеспечения, устройства ввода аудиосигнала и устройства вывода аудиосигнала соответственно, первый вход аудиопроцессора подсоединен к выходу устройства ввода аудиосигнала, выход средства обеспечения подсоединен ко второму входу аудиопроцессора, первый выход аудиопроцессора соединен со средством обеспечения, а второй его выход - с входом устройства вывода аудиосигнала, отличающееся тем, что введено средство формирования динамических параметров, выполненное из блока формирования выходного контура частоты основного тона и из блока преобразования параметров, последовательно соединенных первыми входами к выходу средства обеспечения, выход средства обеспечения подсоединен ко второму входу аудиопроцессора через средство формирования динамических параметров, первый выход аудиопроцессора соединен со средством обеспечения для передачи и хранения в его таблице параметров характеристики частоты основного тона эталонного исполнения, а вторые входы блока формирования выходного контура частоты основного тона и блока преобразования параметров подсоединены первому выходу аудиопроцессора для передачи в блок формирования выходного контура частоты основного тона мгновенного значения частоты основного тона аудиосигнала голоса певца-исполнителя, а в блок преобразования параметров - сигнала, характеризующего вектор параметров мгновенных значений амплитуды гармоник, фазы, частоты основного тона и шумовой составляющей голоса певца-исполнителя соответственно, где A^S(n) - мгновенное значение амплитуды гармоники, - мгновенное значение частоты основного тона, - мгновенное значение фазы гармоник основного тона, r^S(n) - шумовая составляющая сигнала, а n - номер временного отсчета, причем блок формирования выходного контура частоты основного тона выполнен с возможностью формирования - преобразованного параметра в соответствии характеристикой частоты основного тона эталонного исполнения, а блок преобразования параметров - с возможностью формирования сигнала, характеризующего преобразованный вектор параметров где - преобразованный параметр - преобразованный параметр - преобразованный параметр - преобразованный параметр r^S(n), скорректированные в соответствии с характеристикой частоты основного тона эталонного исполнения, аудиопроцессор выполнен с возможностью параметрического синтеза преобразованного вектора параметров для формирования синтезированного промодифицированного сигнала s(n) и передачи его со второго выхода аудиопроцессора на вход устройства вывода аудиосигнала.