СПОСОБ ОБНАРУЖЕНИЯ ЭМОЦИЙ ПО ГОЛОСУ Российский патент 2014 года по МПК G10L15/00 

Изобретение относится к средствам распознавания эмоций человека по голосу и может быть использовано для обнаружения эмоций в интеллектуальных инфокоммуникационных системах, а также при проведении различного рода психологических исследований.

Расширение поля коммуникативного взаимодействия должностных лиц, а также постоянно растущие психологические нагрузки при принятии управленческих решений, связанные с уменьшением квоты доверия общающихся друг к другу, трансформируют формально-ролевое общение в деловое, при котором наряду с обменом информацией должны учитываться особенности личности абонента, его настроение, физиологическое и эмоциональное состояния. Перспективным в этом смысле может стать отказ от традиционных принципов кодирования и передачи аудио (речевых) сигналов в инфокоммуникационных системах в пользу интеллектуальной обработки сигналов.

Интеллектуальность (совмещение передачи и обработки информации на различных уровнях представления) инфокоммуникационных систем должна закладываться на ранних этапах их жизненного цикла и одной из функций реализовывать возможность определения эмоционального состояния абонента по голосу.

Известны способы определения эмоциональной напряженности (стресса) (патенты RU 2068653 от 10.11.1996 и RU 2073484 от 20.02.1997), согласно которым регистрируют кожно-гальваническую реакцию, частоту сердечных сокращений и частоту дыхания и по их динамике оценивают эмоциональную напряженность. Общим недостатком указанных аналогов является невозможность обнаружения эмоций (эмоциональной напряженности) человека без использования датчиков.

Известен способ определения эмоций по синтезированному речевому сигналу (патент JP 02-236600 от 19.09.1990), согласно которому из оцифрованного речевого сигнала выделяют частоту основного тона и рассчитывают амплитудный спектр, а затем на основе указанных параметров генерируют сигнал, выражающий эмоцию. Недостатком аналога является низкая точность обнаружения эмоциональных состояний.

Наиболее близким по технической сущности к заявляемому способу и выбранным в качестве прототипа является способ обнаружения эмоций (патент RU 2287856 от 20.11.2006), заключающийся в том, что вводят голосовой сигнал; обнаруживают интенсивности голоса и темп, определяемый скоростью, с которой появляется голос, соответственно, и обнаруживают в виде величины времени, интонацию, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала; получают первую величину изменения, указывающую изменение интенсивности обнаруженного голоса в направлении оси времени, вторую величину изменения, указывающую изменение темпа голоса в направлении оси времени, и третью величину изменения, указывающую изменение интонации голоса в направлении оси времени, соответственно; и генерируют сигналы, выражающие эмоциональное состояние по меньшей мере гнева, печали и удовольствия, соответственно, на основе указанных первой, второй и третьей величин изменения.

Способ-прототип предусматривает распознавание эмоций на основе изменений интенсивности, темпа и интонации голоса во времени. Однако в большинстве языков эмоционально-различительную функцию выполняет частота основного тона (ЧОТ). В [А.Ф.Хроматиди, И.Б.Старченко. Оценка акустических параметров эмоциональной речи / Первая ежегодная научная конференция студентов и аспирантов базовых кафедр ЮНЦ РАН, 2009. - С.212-214] установлено, что среднее значение ЧОТ поднимается в состоянии удовольствия и понижается в состоянии печали, кроме того существенно меняется динамика изменения ЧОТ: при печали происходит ее плавное уменьшение, при гневе появляются резкие пики в изменении частоты. Таким образом, динамика изменения ЧОТ является важнейшим средством определения эмоциональной информации, а недостатком способа-прототипа является низкая точность обнаружения эмоций, в частности обнаружение эмоций для русского языка.

Задачей изобретения является разработка способа обнаружения эмоций по голосу, позволяющего повысить точность определения эмоционального состояния русскоязычного абонента.

В заявленном способе эта задача решается тем, что в способе обнаружения эмоций по голосу, в котором вводят голосовой сигнал; обнаруживают интенсивности голоса и темп, определяемый скоростью, с которой появляется голос, соответственно, и обнаруживают в виде величины времени, интонацию, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала; получают первую величину изменения, указывающую изменение интенсивности обнаруженного голоса в направлении оси времени, вторую величину изменения, указывающую изменение темпа голоса в направлении оси времени, и третью величину изменения, указывающую изменение интонации голоса в направлении оси времени, соответственно; дополнительно обнаруживают частоту основного тона голосового сигнала и получают четвертую величину изменения, указывающую изменение частоты основного тона в направлении оси времени. Затем генерируют сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, соответственно, на основе указанных первой, второй, третьей и четвертой величин изменения.

Новая совокупность существенных признаков позволяет достичь указанного технического результата за счет обнаружения изменения частоты основного тона и генерации сигналов, выражающих эмоциональное состояние говорящего, на основе четырех величин изменения.

Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного способа обнаружения эмоций, отсутствуют. Следовательно, заявленное изобретение соответствует условию патентоспособности «новизна».

Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность влияния предусматриваемых существенными признаками заявленного изобретения преобразований на достижение указанного технического результата. Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».

Заявленное изобретение поясняется следующими фигурами:

на фиг.1 - вариант реализации системы обнаружения эмоций по голосу согласно предлагаемому способу;

на фиг.2 - решающие правила определения эмоций согласно предлагаемому способу;

на фиг.3 - результаты оценки точности определения эмоционального состояния.

Реализация заявленного способа заключается в следующем (фиг.1).

Голосовой сигнал, введенный через микрофон 101, квантуется с помощью аналого-цифрового преобразователя 102, а затем преобразуется в цифровой сигнал. Цифровой голосовой сигнал, полученный на выходе аналого-цифрового преобразователя, подается в блок 103 обработки сигналов, блок 104 обнаружения фонем, блок 105 обнаружения слов и блок 106 обнаружения частоты основного тона.

Блок 103 обработки сигналов извлекает частотные составляющие, необходимые для обнаружения интенсивности голоса. Блок 107 обнаружения интенсивности обнаруживает интенсивность сигнала, извлеченного блоком 103 обработки сигналов. Например, в качестве интенсивности можно использовать результат, полученный путем усреднения величины амплитуды голосового сигнала или его динамического диапазона D.

Блок 104 обнаружения фонем реализует сегментацию каждой фонемы голосового сигнала, введенного в него. Блок 108 обнаружения темпа принимает сигнал сегментации каждой фонемы, выданный блоком 104 обнаружения фонем, и обнаруживает число фонем F, которые появляются в единицу времени. В качестве цикла обнаружения темпа устанавливается время, равное, например, 10 с. Однако, если обнаружена сегментация фразы, то отсчет фонем останавливается до момента времени обнаружения сегментации фразы, даже если сегментация фразы обнаружена внутри 10 с, и вычисляется величина темпа. В частности, темп определяется для каждой фразы.

Блок 105 обнаружения слов реализует сегментацию каждого слова голосового сигнала, введенного в него. Блок 109 обнаружения интонации принимает сигнал сегментации каждого слова, выданный блоком 105 обнаружения слов, и обнаруживает интонацию, выражающую рисунок изменения интенсивности голоса в слове. Таким образом, блок 109 обнаружения интонации обнаруживает характеристический рисунок интенсивности в сегментации. Как показано в прототипе, в блоке 109 обнаружения интонации предусмотрены полосовой фильтр, блок преобразования абсолютной величины, блок сравнения, блок обнаружения центра зоны и блок обнаружения интервала зон. В качестве величины интонации I на выходе блока 109 обнаружения интонации выступает результат усреднения значений интервалов, между зонами в спектре мощности сигналов, для которых характерно превышение некоторого порогового значения.

Блок 106 обнаружения частоты основного тона реализует определение частоты основного тона введенного в него голосового сигнала. Блок 106 обнаружения частоты основного тона F_ОТ может быть реализован, например, в соответствии с известным решением (патент №78977 от 10.12.2008).

Эмоциональное состояние человека изменяется, поэтому для правильного определения эмоций, включающих гнев, страх, печаль и удовольствие, обязательно необходимо обнаруживать изменение характеристических величин, таких как интенсивность D, темп F, интонация I и частота основного тона F_ОТ.

В системе обнаружения эмоций, показанной на фиг.1, с целью обеспечения возможности опоры на величины характеристик в прошлом, величину интенсивности D, выдаваемую блоком 107 обнаружения интенсивности, величину темпа F, выдаваемую блоком 108 обнаружения темпа, величину интонации I, выдаваемую блоком 109 обнаружения интонации, и величину частоты основного тона F_ОТ, выдаваемую блоком 106 обнаружения частоты основного тона, временно сохраняют в блоке 110 временного хранения данных.

Кроме того, блок 111 обнаружения изменения эмоций принимает имеющуюся величину интенсивности D, выдаваемую блоком 107 обнаружения интенсивности, имеющуюся величину темпа F, выдаваемую блоком 108 обнаружения темпа, имеющуюся величину интонации I, выдаваемую блоком 109 обнаружения интонации, и имеющуюся величину частоты основного тона F_ОТ, выдаваемую блоком 106 обнаружения частоты основного тона. Блок 111 обнаружения изменения эмоций также принимает прошлые величины интенсивности, темпа, интонации и частоты основного тона, которые хранятся в блоке 110 временного хранения данных. Таким образом, блок 111 обнаружения изменения эмоций обнаруживает изменения в интенсивности, темпе, интонации и частоте основного тона голоса, соответственно. Блок 112 обнаружения эмоций по голосу принимает изменения интенсивности ΔD, темпа ΔF, интонации ΔI и частоты основного тона ΔF_ОТ голоса, которые выдает блок 111 обнаружения изменения эмоций, оценивает текущее эмоциональное состояние и генерирует сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, в этом варианте реализации системы.

Заявленный способ обнаружения эмоций по голосу обеспечивает повышение точности определения эмоционального состояния русскоязычного абонента. Для доказательства достижения заявленного технического результата приведены следующие экспериментальные исследования.

Для определения эмоционального состояния использовались записи эмоциональной речи 80 профессиональных актеров - мужчин и женщин в возрасте от 28 до 32 лет. Каждым из них были произнесены 4 слова (картон, тихо, молоко, посуда) с выражением четырех эмоциональных состояний: гнева, страха, печали и удовольствия.

Указанные записи обрабатывались с использованием варианта выполнения системы обнаружения эмоций согласно способу-прототипу и варианту реализации системы обнаружения эмоций по голосу (фиг.1) согласно предлагаемому способу. При этом блок 112 обнаружения эмоций по голосу оценивал текущее эмоциональное состояние и генерировал сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, согласно решающим правилам определения эмоций, представленным на фиг.2.

Для оценки точности определения эмоционального состояния русскоязычного абонента использовался коэффициент совпадений

$$K_i=\frac{N_{совп.i}}{N_i}$$ ,

где N_совп.i - число правильно определенных записей с выражением i-го эмоционального состояния; N_i - общее число записей с выражением г-го эмоционального состояния; i=1, 2, 3, 4 - номер эмоционально состояния - гнева, страха, печали и удовольствия соответственно.

Результаты оценивания согласно способу-прототипу и предлагаемому способу (фиг.3) указывают на повышение точности определения эмоционального состояния в заявляемом способе и на возможность решения поставленной задачи изобретения.

Изобретение относится к средствам распознавания эмоций человека по голосу. Технический результат заключается в повышении точности определения эмоционального состояния русскоязычного абонента. Обнаруживают интенсивности голоса и темпа, определяемого скоростью, с которой появляется голос, соответственно, и обнаруживают в виде величины времени, интонацию, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала. Получают первую величину изменения, указывающую изменение интенсивности обнаруженного голоса в направлении оси времени, и вторую величину изменения, указывающую изменение темпа голоса в направлении оси времени, и третью величину изменения, указывающую изменение интонации голоса в направлении оси времени. Вводят голосовой сигнал русскоязычного абонента, а затем обнаруживают интенсивности голоса и темпа. После того как получают третью величину измерения обнаруживают частоту основного тона голосового сигнала и получают четвертую величину изменения, указывающую изменение частоты основного тона в направлении оси времени, генерируют сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, соответственно, на основе указанных первой, второй, третьей и четвертой величин изменения. 3 ил.

Способ обнаружения эмоций по голосу, заключающийся в том, что обнаруживают интенсивности голоса и темпа, определяемого скоростью, с которой появляется голос, соответственно, и обнаруживают в виде величины времени интонацию, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала; получают первую величину изменения, указывающую изменение интенсивности обнаруженного голоса в направлении оси времени, и вторую величину изменения, указывающую изменение темпа голоса в направлении оси времени, и третью величину изменения, указывающую изменение интонации голоса в направлении оси времени, отличающийся тем, что вводят голосовой сигнал русскоязычного абонента, а затем обнаруживают интенсивности голоса и темпа; после того как получают третью величину измерения, обнаруживают частоту основного тона голосового сигнала и получают четвертую величину изменения, указывающую изменение частоты основного тона в направлении оси времени; генерируют сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, соответственно, на основе указанных первой, второй, третьей и четвертой величин изменения.