Назначение/Область техники
Изобретение относится к области вычислительной техники и может быть использовано как составная часть маркетинговых технологий, для обеспечения объективной количественной оценки реакции слушателя на аудиоконтент, например на музыкальный или речевой или комбинированный с использованием параметров психофизиологического состояния, измеряемых с помощью электроэнцефалографа. Психофизическое состояние определяется по произвольному спектру аффективных категорий (таких как интерес/отсутствие интереса к содержимому, положительные/отрицательные эмоции от прослушивания, согласие/протест и т.д.), при проведении социологических опросов, фокус-групп, а также в учебном процессе. Изобретение также может быть полезным инструментом оптимизации аудиоконтента и/или определения целевых групп при проведении информационных, рекламных и маркетинговых кампаний, а также в разработке образовательных материалов.
Уровень техники
Из уровня техники известно, что возможно оценивать уровень слухового внимания с использованием математических алгоритмов сопоставления электроэнцефалограммы и огибающей аудиопотока. Такой подход предполагает парадигму дихотического прослушивания, когда испытуемому предлагается слушать аудио поток в одном слуховом канале и игнорировать таковой в другом. В этом случае при помощи методик восстановления огибающей аудиопотока из ЭЭГ и оценки получаемой точности возможно судить латерлаизации слухового внимания (Lalor, Power, Reilly, & Foxe, 2009). Использование такого подхода требует большой длительности записи, порядка нескольких минут (Ding & Simon, 2012; Mirkovic, Debener, Jaeger, & De Vos, 2015; O’Sullivan et al., 2015). Кроме того, на основании неинвазивных методик регистрации электрической активности головного мозга была продемонстрирована лишь статистическая взаимосвязь точности восстановления огибающей с повышенным уровнем латерализованного слухового внимания (Mirkovic et al., 2015). Применение параметров точности декодирования огибающей аудиосигнала предполагает наличие двух максимально схожих условий (как, например, реализуется в парадигме дихотического прослушивания), отличающихся только по параметру слухового внимания, что является трудно реализуемым в контексте оценки распределения внимания к рекламному аудиконтенту, в силу большого разброса в таких стимулах влияющих на восприятие параметров.
Таким образом, по вышеперечисленным причинам использование данной технологии в режиме оценки внимания (то есть в обратном режиме) к коротким аудиосообщениям (~ 30 секунд) по данным ЭЭГ не представляется возможным.
Альтернативным подходом к мониторингу уровня слухового внимания является методология основанная на наблюдении о том, что слуховое внимание модулирует величину ранних компонентов вызванного потенциала (ВП). В частности, компонент N1, который обычно достигает максимума примерно через 80-120 мс после звуковой посылки, имеет бóльшую амплитуду при внимательном прослушивании сообщения (Hillyard, Hink, Schwent, & Picton, 1973; Hink & Hillyard, 1976, J C Hansen, Dickstein, Berka, & Hillyard, 1983, Hari et al., 1989). При этом важно отметить, что модуляция N1 уровнем внимания наблюдалась независимо от типа тональных посылок.
В ряде исследований (Jonathan C Hansen & Hillyard, 1980; Hink & Hillyard, 1976; Woods, Hillyard, & Hansen, 1984) испытуемым предлагали внимательно слушать одно из двух одновременно воспроизводимых сообщений. Было установлено, что тональные посылки, встроенные в тот речевой поток, на который было обращено внимание испытуемого, вызывали N1 большей амплитуды, чем те, которые были встроены во второе сообщение.
Woods et al. (1984) исследовали избирательное слуховое внимание. В своем эксперименте они использовали четыре типа зондов длиной 200 мс в условиях слушания и синхронного повторения. Тональные посылки случайным образом накладывали на два разных одновременно предъявляемых аудиосообщения. В условиях прослушивания испытуемым было предложено следить только за одним из двух сообщений. Степень внимания к сообщению контролировали, задавая вопросы о содержании соответствующего сообщения. В условии синхронного повторения задача испытуемого заключалась синхронном повторении одного их двух одновременно воспроизводимых аудиозаписей текстов. Во всех двух условиях речевые (тональные) посылки, наложенные на повторяемую (внимательно прослушиваемую) аудиозапись, вызвали большую амплитуду N1.
Амплитуда N1 также зависит от длительности межстимульного интервала. Одними из первых данный вопрос детально изучили Teder, Alho, Reinikainen & Näätänen (1993). В их эксперименте была установлена прямая зависимость между длительностью межстимульного периода и амплитудой P1 и N1.
Нами ранее было проведено исследование взаимодействия загрузки рабочей памяти и внимания во время синхронного перевода (Koshkin, Shtyrov, Myachikov & Ossadtchi, 2017). В данной работе была показана возможность оценки внимания к исходному тексту на основе величины ранних ВП P1/N1 для оценки распределения баланса между степенью загрузки рабочей памяти и слуховым вниманием. Полученный результат был достигнут путем усреднения большого числа проб, что не представляется возможным при решении задачи оценки относительного уровня внимания к коротким сегментам аудиоконтента.
Метод на основе N1 имеет существенный недостаток, заключающийся в необходимости воспроизведения тональных посылок одновременно с целевым сообщением, что может отвлекать внимание испытуемого и снижает экологическую валидность метода в целом. Кроме того, наличие фонового аудиоконтента (по отношению к тональным посылкам) существенно влияет на выраженность компоненты N1 вызванного ответа, что приводит к необходимости усреднять большое число вызванных ответов до появления вызванного ответа.
Таким образом, несмотря на то, что на данный момент существует значительный пласт научных исследований, демонстрирующий статистическую взаимосвязь ЭЭГ-коррелятов с уровнем слухового внимания, использование объективных ЭЭГ измерений не позволяет решить задачу каузальной оценки внимания в условиях ограниченного размера выборки и в экологически валидных условиях.
Задача изобретения
Задача, на решение которой направлено заявляемое изобретение, состоит в создании метода, позволяющего производить объективную количественную оценку влияния аудиоконтента на слушателей, на основе параметров психофизиологического состояния испытуемого, определяемых с помощью электроэнцефалографии, что позволяет, например, определять сравнительный рейтинг аудиоконтента и/или глубину слухового внимания к нему.
Технический результат
Достигаемый технический результат заключается в получении объективной психофизиологической количественной метрики, надежно отражающей реакцию слушателя на аудиоконтент, предъявляемый естественным образом без посторонних стимулов, а также не требующий в процессе применения никаких дополнительных методов получения информации подверженных когнитивным искажениям (таких как анкетирование, опросы и т.п.).
Раскрытие изобретения
Технический результат достигается в системе за счет того, что система объективной оценки аффективной реакции слушателя на целевой аудиоконтент по произвольному спектру аффективных категорий реализуется с помощью методики машинного обучения (решающие деревья), решающее правило которых оптимизируются на основе психофизиологического состояния, измеряемого с помощью электроэнцефалограммы, записанной во время прослушивания группой слушателей референсных аудиосообщений, подобранных из предварительно созданной базы данных, и соответствующих этим референсным аудиосообщениям аффективных оценок, выведенных путем предварительного опроса большой группы респондентов и являющихся неотъемлемой частью базы данных.
Технический результат при реализации способа достигается за счет того, что способ определения реакции слушателя на заданное звуковое сообщение, заключается в том, что:
формируют набор описаний реакций слушателей на звуковые сообщения;
формируют набор звуковых сообщений, каждое из которых характеризуется уникальным идентификатором, при просушивании которых у слушателей формируются реакции, описания которых соответствуют описаниям реакций из набора описаний;
формируют обучающие наборы данных, где каждый из наборов содержит совокупность данных одного из сеансов прослушивания звуковых сообщений одним пользователем, включающую идентификаторы звуковых сообщений, прослушанных слушателем, для каждого из идентификаторов формальное описание параметров электроэнцефалограммы, зарегистрированной при прослушивании слушателем соответствующего сообщения и описание реакции слушателя на соответствующие звуковое сообщение, сформированное по результатам анкетирования слушателя,
используют обучающие наборы данных для обучения системы распознавания и
для заданного звукового сообщения формируют тестовую последовательность сообщений, содержащую заданное сообщение и сообщения из набора звуковых сообщений,
обеспечивают прослушивание слушателем тестовой последовательности сообщений с обеспечением регистрации параметров электроэнцефалограммы слушателем,
формируют тестовый набор данных, содержащий совокупность данных, включающую идентификаторы звуковых сообщений, прослушанных пользователем, и, для каждого из идентификаторов, формальное описание параметров электроэнцефалограммы, зарегистрированной при прослушивании слушателем соответствующего сообщения, и
определяют реакцию слушателя на заданное звуковое сообщение путем распознавания обученной системой распознавания реакции слушателя по тестовому набору данных. В частном случае реализации в качестве системы распознавания используют систему распознавания с использованием решающих деревьев.
Описание графических материалов
На Фиг. 1 представлена структурная схема системы объективной оценки аффективной реакции слушателя на аудиоконтент по спектру понятийных категорий на основе психофизиологического состояния человека.
На Фиг. 2 проиллюстрирована схема работы дерева решений во время оптимизации параметров.
На Фиг. 3 проиллюстрирована схема работы дерева решений во время определения рейтинга целевого аудиосообщения на основе ЭЭГ.
На Фиг. 4 проанализирована достигнутая точность предсказания рейтинга аудиосообщения для 10 итераций кросс-валидации (10 сообщений, leave-one-out).
Фиг. 5 демонстрирует сопоставление среднего по респондентам рейтинга, предсказанного при помощи ЭЭГ и дерева решений (decision tree) и рейтинга, вычисленного на основе опросника для вопроса №2 о положительных эмоциях, вызванных рекламным сообщением, где точками обозначены экспериментальные данные, поставленные в соответствие с рейтингом по опроснику, а пунктирной линией линейная аппроксимация полученных данных.
Каждая панель соответствует одному рекламному сообщению, исключенному из тренировочной выборки. Предсказанный рейтинг, полученный применением дерева решений к ЭЭГ семи испытуемых, записанной во время прослушивания исключенного сообщения, изображен синей кривой. Рейтинг, полученный на основании анкеты - оранжевой. Для большинства исключенных рекламных сообщений наблюдается высокая достоверная корреляция между предсказанным и анкетным значением. В качестве критерия использовался вопрос №2 анкеты о положительных эмоциях, вызванных рекламным сообщением.
На фиг. 4 показано сопоставление среднего по респондентам рейтинга, предсказанного при помощи ЭЭГ и дерева решений (decision tree) и рейтинга, вычисленного на основе опросника для вопроса №2 о положительных эмоциях, вызванных рекламным сообщением. Фиг. 4 отображает экспериментальные данные, характеризующие точность предсказания рейтинга аудиосообщения для 10 итераций кросс-валидации (10 сообщений, leave-one-out). Каждая панель соответствует одному рекламному сообщению, исключенному из тренировочной выборки. На панелях координата “scores” отображает значение рейтинга, а “subjects” номера субъектов исследования или рекламных сообщений, для которых определялись рейтинги. Отдельными линиями на каждой из диаграмм отображены предсказанный рейтинг, полученный применением дерева решений к ЭЭГ семи испытуемых, записанной во время прослушивания исключенного сообщения, и рейтинг, полученный на основании анкеты. Для большинства исключенных рекламных сообщений наблюдается высокая достоверная корреляция между предсказанным и анкетным значением. В качестве критерия использовался вопрос №2 анкеты о положительных эмоциях, вызванных рекламным сообщением.
Сущность изобретения
В основе изобретения лежит методика решающих деревьев (decision trees), используемая для классификации (выставления рейтинга) коротких отрезков ЭЭГ по нескольким понятийным категориям (интересно/скучно, креативно/банально, смешно/грустно, принятие/отторжение), каждая из которых оценивается по трех-балльной шкале.
В отличие от мониторинга зрительного внимания, где использование айтрекинга позволяет непосредственно анализировать визуальное внимание по данным о саккадах и времени фиксации, мониторинг слухового внимания на сегодняшний день является нерешенной задачей.
Оптимизация информационного воздействия в контексте маркетинга (аудиорекламы) и образования (разработка эффективных лекционных материалов) требует понимания того, использование каких именно элементов сообщения (лексических, грамматических, синтаксических) способствует поддержанию внимания целевой аудитории. В связи с этим актуальным является вопрос о создании системы оценки уровня внимания к аудиально предъявляемой информации с приемлемым временным разрешением.
При использовании изобретения обеспечивается регистрация ЭЭГ у группы испытуемых (не менее 10 человек) во время прослушивания ими нескольких аудиосообщений с наложенными на аудиосигнал короткими тональными посылками. ЭЭГ регистрируется когда электроды расположены по стандартной монтажной схеме 10-20, например, в 32 отведениях с общим референтом, при этом частота дискретизации должна быть не менее 200 Гц.. Аудиосообщения предъявляются через наушники в псевдорандомизированном порядке по латинскому квадрату. Для коррекции нарушений синхронизации тональной посылки и временной метки в ЭЭГ датасете сигнал аудиозаписи сообщения с наложенными на него тональными посылками подается через делитель напряжения на AUX каналы ЭЭГ-усилителя. Оптимальная частота предъявления тональных посылок составляет 2 - 3 Гц. В качестве тональной посылки используется чистый гармонический тон длительностью 50 мс, включающий 5 мс время подъема и спада с частотой 440 Гц.
Соотношение громкости тональных посылок и целевого аудиопотока подбирается эмприческим путем таким образом, чтобы тональные посылки не мешали восприятию целевого сообщения и не вызывали негативных эмоций у испытуемого. Для получения необходимого для последующего анализа количества данных каждому испытуемому предъявляется два и более целевых сообщений общей длительностью порядка 30 минут.По окончании сеанса записи и предобработки ЭЭГ на основании сопоставления рейтинга референтных сообщений и ЭЭГ зарегистрированной в текущей группе испытуемых строятся решающие деревья, которые затем применяются к информативным признакам, извлеченным из ЭЭГ, зарегистрированной при прослушивании целевых сообщения и на основании получаемого решения делается прогноз об уровне слухового внимания к целевым аудиосообщениям, а также об их относительном рейтинге.
Для реализации изобретения могут использоваться следующие этапы:
«Тегирование» аудиопотока посредством добавления тональных проб, необходимых для вызова ВП.
Обработка ЭЭГ, выделения амплитуды ВП и оценки относительного распределения внимания при восприятии предобработанного аудиопотока.
Определение факторов, влияющих на выраженность N1 ответа (частоты тональной посылки, относительной громкости тональной посылки, времени с начала эксперимента).
Оптимизация параметров парадигмы (минимально необходимое число усредняемых проб, частота предъявления проб, длительность пробы, высота пробы).
Спецификация процедуры подготовки и предобработки аудиопотока. Спецификация процедуры тегирования аудиопотока.
Определение стандартов проведения ЭЭГ исследования и использования ЭЭГ парадигмы измерения распределения внимания при восприятии предобработанного аудиопотока.
Спецификация процедуры предобработки данных электроэнцефалограммы (ЭЭГ), полученных в ходе эксперимента по оценке слухового внимания к аудиосообщению (определение оптимальной частоты дискретизации данных; параметров приведения ЭЭГ к референту; полосы фильтрации ЭЭГ данных и тип фильтра; алгоритмов подавления (удаления) артефактов в ЭЭГ данных; суммарной длительности эксперимента).
Данные оценки доступны только для референтных сообщений (тех, с которыми сравниваются сообщения, рейтинг которых необходимо определить). Референтные аудиосообщения и соответствующие им оценки, полученные путем опроса большого числа респондентов, хранятся в базе данных, что позволяет использовать их повторно в разных экспериментальных сессиях. Анкетирование проводится на основе опросника, содержащего вопросы по произвольному ряду интересующих аффективных категорий.
Пример такого опросника, в который включены 11 вопросов, приведен ниже:
Слышали ли вы эту рекламу раньше? (да/нет)
Насколько внимательно вы прослушали эту рекламу? (1-10)
Оцените положительные эмоции, которые вызывает реклама? (1-10)
Оцените отрицательные эмоции, которые вызывает реклама? (1-10)
Насколько реклама привлекла ваше внимание? (1-10)
Насколько вы поняли содержание рекламы? (1-10)
Насколько интересен текст рекламы? (1-10)
Насколько вам интересен рекламируемый продукт? (1-10)
Насколько реклама скучная? (1-10)
Насколько затянутой вам показалась реклама? (1-10)
Насколько реклама креативная? (1-10)
Кроме референтных сообщений, извлекаемых из описанной базы данных, испытуемым предъявляются целевые сообщения, на объективную оценку привлекательности которых и направлен данный метод.
Использование базы данных позволяет сэкономить время и средства на подборе сопоставимых по тематике аудиосообщений, привлечении большой группы респондентов, необходимой для получения надежного рейтинга аудиосообщений, а также сократить время экспериментальной сессии.
Решающее дерево строится на отрезках ЭЭГ, полученных во время прослушивания испытуемыми референсных аудиосообщений, по тематике и содержанию аналогичных целевому аудиосообщению, рейтинг которого необходимо определить. Далее, полученное решающее дерево используется для оценки рейтинга целевых сообщений.
Заявленный технический результат достигается путем регистрации электроэнцефалограммы (ЭЭГ) у группы испытуемых (желательно не менее 10 человек) во время прослушивания ими нескольких референсных и одного целевого аудиосообщений. ЭЭГ регистрируется когда электроды расположены по стандартной монтажной схеме 10-20, например, в 32 отведениях без референта, при этом частота дискретизации должна быть не менее 200 Гц. Регистрация электроэнцефалограммы может проводиться на любом современном электроэнцефалографе. Измеряемые электроэнцефалографом сигналы с поверхности головы подают на компьютер по USB-интерфейсу при помощи специальных драйверов и программ для записи ЭЭГ. Аудиосообщения предъявляются через наушники в псевдорандомизированном порядке согласно латинскому квадрату.
Для получения необходимого для анализа количества данных каждому испытуемому предъявляется одно целевое и несколько (оптимально не менее 15) референсных сообщений. По окончании сеанса записи ЭЭГ данных, выполняются их предобработка, включающая в себя описанные ниже этапы:
1) Приведение всех каналов к общему референту;
2) Узкополосная режекторная фильтрация на частоте 50 Гц (БИХ-фильтр Баттеруорта второго порядка с нулевым сдвигом по фазе).
3) Фильтрация (-6 дБ) с полосой пропускания 1-40 Гц с помощью КИХ-фильтра с нулевым сдвигом по фазе.
4) Разложение ЭЭГ на независимые компоненты с последующей автоматической идентификацией и удалением компонент, ассоциированных с окуломоторной активностью (Ossadtchi, Pronko, Baillet, Pflieger, & Stroganova, 2014).
5) Удаление остаточных артефактов при помощи пространственной фильтрации по результатам выполнения алгоритма реконструкции артефактного подпространства (ASR) (Mullen et al., 2015) c порогом срабатывания равным 4 стандартным отклонениям.
6) Разбиение ЭЭГ на сегменты, соответствующие звучанию каждого сообщения.
7) Вычисление мощности сигнала ЭЭГ в 10 неперекрывающихся полосах частот шириной 4 Гц каждая (0 - 40 Гц) для каждого сообщения и каждого испытуемого.
Достижение заявленного технического результата обосновывается следующим примером, в котором будет рассматриваться задача сравнительного рейтингования аудиорекламы продукта или услуги. Данная задача возникает в контексте выбора наиболее удачного и перспективного (с точки зрения способности оказать желаемое воздействие на целевую аудиторию) варианта рекламы, который будет отобран для рекламной кампании на радио.
Сбор ЭЭГ данных осуществляют в следующем порядке: испытуемому дают команду расслабиться и сидеть спокойно в течение 30 секунд, после чего через наушники воспроизводится первая согласно латинскому квадрату запись, затем, по окончании первого варианта и небольшой паузы, вторая и так далее до последней. Данную процедуру повторяют для каждого испытуемого, меняя порядок предъявления рекламных сообщений согласно латинскому квадрату. После записи данных от каждого испытуемого и выполнения описанных выше этапов предобработки получают два трехмерных тензора: X(ref) размером (N x C x B) и X(target) размером 1 x C x B:
N - число референсных реклам;
C - число отведений в которых велась регистрация ЭЭГ;
B - число частотных полос.
Также формируется разметочный вектор, y(ref) размером N, содержащий в себе оценки каждой из N реклам по одной из понятийных категорий. X(ref) и y(ref) используются для построения решающего дерева (обучения). А X(target) подается на вход уже готового решающего дерева, которое выдает скаляр y(target), значения которого являются прогнозом рейтинга рекламы по соответствующей понятийной категории.
Для проверки возможности достижения технического результата С использованием открытых источников была создана база звуковых рекламных сообщений. База включает в себя 50 роликов, преимущественно выходивших в эфир на
региональных радиостанциях, что снижает вероятность того, что наши испытуемые слышали рекламу ранее. По итогам проведенного эксперимента только один из испытуемых ранее слышал одно из рекламных сообщений. Остальные испытуемые слышали все ролики впервые в процессе эксперимента.
Рекламные сообщения были отнормированы по громкости. Длительность сообщений варьировала от 12 до 75 секунд и в среднем составляла около 30 секунд. Различная продолжительность роликов обеспечивала возможность исследования влияния этого параметра на степень вовлеченности испытуемых в прослушивание, распределение внимания в процессе прослушивания длинных сообщений и подбора оптимальной длительности рекламы с учетом полученных данных ЭЭГ.
Экспериментальная сессия проходила следующим образом:
В ходе эксперимента испытуемый спокойно сидел с открытыми глазами в кресле перед монитором и следовал инструкциям, предъявляемым на мониторе.
Испытуемому через наушники предъявляли аудиостимул (одинаковый в оба уха).
После прослушивания каждого ролика испытуемого просили ответить на вопросы анкеты (см. ниже).
По окончании заполнения анкеты испытуемый переходил к прослушиванию следующего ролика.
Эксперимент проводили в звукоизолированной комнате. Данные собирали с помощью системы NeoRec (медицинские компьютерные системы) с использованием 64 (1-й этап) или 32 (2-й этап) электродов Ag / AgCl. Частота дискретизации составляла 2000 Гц. Использовали стандартный монтаж электродов. Приведение к единому референту проводили на этапе предобработки данных (см. ниже). Аудио ролики были отнормированы по громкости в программе Audacity.
Этап 1.
На первом этапе испытуемым предлагали прослушать и отрейтинговать 50 рекламных роликов. Целью данного этапа было оценить возможности применения предложенной экспериментальной парадигмы для мониторинга слухового внимания в ходе прослушивания рекламных сообщений.
Оптимизация параметров эксперимента
С целью подбора оптимальных параметров экспериментальной процедуры был проведен ряд пилотных экспериментов с последующим анализом данных. В результате этих экспериментов были подобраны следующие значения параметров:
Был проведен корреляционный анализ результатов анкетирования испытуемых с целью валидации использованной анкеты.
Проведенный корреляционный анализ подтвердил гипотезу, что характеристики рекламного сообщения, которые можно расценить как “положительные” (вызываемые положительные эмоции, привлекательность рекламы, понятность текста, интересный текст, заинтересованность в продукте, креативность сообщения) положительно коррелируют между собой и отрицательно коррелируют с характеристиками, которые могут быть расценены как “отрицательные” (вызываемые отрицательные эмоции, насколько реклама скучная, затянутость сообщения). Наличие ковариирующих характеристик предоставляет потенциальную возможность при дальнейшем анализе использовать суммарный коэффициент “положительного” или “отрицательного” восприятия рекламы.
С целью оценки оптимального количества предъявляемых рекламных сообщений мы проанализировали, как меняются ответы испытуемых на вопросы анкеты в ходе эксперимента. Для этого было проведен корреляционный анализ результатов анкетирования всех испытуемых (табл.2). В ходе эксперимента было отмечено незначительное, но достоверное снижение положительных оценок рекламных сообщений (вопросы 2, 4, 5, 6, 10), а также степени внимания, с которым испытуемые прослушивали сообщения (вопрос 1).
Кроме того, были использованы новые подходы, разработанные в ходе исследования взаимодействия загрузки рабочей памяти и внимания во время синхронного перевода (Koshkin, Shtyrov, Myachikov & Ossadtchi, 2017):
Аудиостимул представлял собой рекламный ролик, “тегированный” тональными пробами. Пример работы алгоритма проиллюстрирован на фиг. 3, где изображена точность предсказания рейтинга аудиосообщения для 10 итераций кросс-валидации (10 сообщений, leave-one-out) по каждому из респондентов. Каждая панель соответствует одному рекламному сообщению, исключенному из тренировочной выборки. Для большинства исключенных рекламных сообщений наблюдается высокая достоверная корреляция между предсказанным и анкетным значением.
Предполагалось, что если разница ВП при прослушивании роликов с высокой/низкой оценкой на вопрос 4 (Насколько реклама привлекла Ваше внимание?) действительно обусловлена разницей уровня внимания при прослушивании данных роликов, то аналогичная разница должна наблюдаться между ВП в начале и в конце рекламного сообщения, когда можно ожидать потерю внимания испытуемых.
Полученные с помощью анализа “Highest/Lowest answers ERP” и анализа “Earliest/Latest ERP” объясняющие разницу ВП фильтры сильно скоррелированы по каналам, что подтверждает выдвинутую гипотезу.
Таким образом, выбранная метрика может быть использована для оценки слухового внимания испытуемых в данном дизайне эксперимента.
Кроме того, как уже было упомянуто выше, наличие ковариирующих характеристик дает основание для использования суммарных коэффициентов “положительного” или “отрицательного” восприятия рекламы. Для получения этих коэффициентов мы спроецировали матрицу ответов (матрицу размером 10 ответов на 50 вопросов) на один из собственных векторов, полученный с помощью сингулярного разложения матрицы ответов. Такая трансформация баллов, выставленных испытуемыми, позволяет подчеркнуть наиболее значимые закономерности в распределении ответов.
Также, если учесть, что у каждого из 11 испытуемых, данные которых были включены в итоговый датасет, кортикальные источники (генераторы) N1 могут иметь разную пространственную и временную локализацию, целесообразно рассчитывать амплидуту N1 вокруг индивидуально установленного для каждого испытуемого времени наступления пика N1 (±20 мс) на виртуальном канале, представляющем проекцию 63-канальной матрицы ЭЭГ на первый собственный вектор, полученный с помощью сингулярного разложения целевого интервала этой матрицы.
Этап 2.
Целью следующего этапа было приближение условий эксперимента к реальным условиям нейромаркетингового исследования - сокращение длительности экспериментальной сессии, числа тестируемых реклам, числа электродов, с которых производится регистрация ЭЭГ. Был проведен анализ полученных ранее данных с целью определить параметры проведения ЭЭГ эксперимента, позволяющие, с одной стороны, сократить трудоемкость исследования, с другой стороны, получить приемлемую точность оценки распределения слухового внимания.
Длительность рекламных сообщений, использованных в исследовании, варьировалась от 13 секунд до 71 секунд. Средняя длительность составила 34.8 секунд, медиана - 29.5 секунд.
Достоинством использованной парадигмы, основанной на оценке величины ВП, является простота и надежность подхода, отсутствие необходимости синхронизированной с ЭЭГ регистрации аудиосигнала и отсутствие необходимости в выполнении сложных и время-затратных вычислений по настройке параметров декодера ЭЭГ а огибающую аудиосигнала.
Для выявления минимального необходимого объема данных для получения достоверных результатов мы оценили зависимость достоверности получаемых результатов от числа усредняемых эпох. Для того, чтобы исключить зависимость от внутрирекламного времени мы использовали равномерное прореживание единичных ответов, вызванных тональной стимуляцией с последующим вычислением среднего вызванного ответа. Сокращение числа элементов при усреднении повышало дисперсию (понижало точность) оценки компоненты ВП. Было показано, что достоверная разница между эпохами с низкими оценками (1-3 балла) и теми, в которых испытуемые давали высокие оценки (8-10 баллов) на второй вопрос (Оцените положительные эмоции, которые вызывает реклама) сохраняется даже при анализе 10% эпох. Разница между рекламами, высоко и низко оцененными в ответ на 5-й вопрос (насколько Вы поняли содержание рекламы?) сохраняется при анализе половины эпох. Для большинства других вопросов сокращение числа анализируемых эпох до половины от исходного значения приводит к отсутствию статистически значимых различий.
Аналогичным образом были проанализированы данные о взаимосвязи мощности альфа-ритма с уровнем слухового внимания. Было показано, что достоверные различия величины подавления альфа-ритма между рекламами, получившими самые низкие (<20%) и самые высокие (>80%) оценки, сохраняются даже в случае использования 10% данных вызванных.
Из полученных данных можно заключить, что оценка степени внимания испытуемых на основании изменения мощности альфа-ритма менее чувствительна к уменьшению числа эпох, взятых в анализ.
Установлено, что при реализации изобретения:
Необходимо обеспечить минимальную подвижность испытуемых (пользователей), минимизировать мимические движения и движения глаз.
Важно контролировать качество полученных данных и исключать из анализа слишком зашумленные данные.
Метод ансамбля деревьев принятия решений (Boosted Decision Tree Ensembles) демонстрирует более высокую точность предсказания субъективного рейтинга рекламы по сравнению с методом вызванных потенциалов и может быть рекомендован для использования в финальном продукте.
Как показано на фиг. 1, готовая у к использованию система, реализующая изобретение, представляет собой совокупность элементов, включающих
базу рекламных аудиороликов, предварительно оцененных методом анкетирования репрезентативной выборкой испытуемых;
систему тэгирования целевых аудиороликов тональными стимулами;
систему, обеспечивающую рандомизированное проигрывание аудиороликов (несколько целевых аудиороликов и несколько роликов из базы) и регистрацию ээг;
систему предобработки и анализа ээг данных.
Система, изображенная на фиг. 1 используется следующим образом:
Пользователь 111, для определения рейтинга 122 целевого аудиосообщения 112 использует базу данных 113 референсных сообщений 117 и соотвествующих референсным сообщениям оценок 121.
В процессе раздельного прослушивания выбранных 114 референсных сообщений и целевого сообщения обеспечивается снятие ЭЭГ 115 для референсных аудиосообщений и ЭЭГ 116 для целевого аудиосообщения.
Для дальнейшей обработки аналоговое представление ЭЭГ в виде значений потенциалов, изменяющихся во времени, преобразуется блоком 118 в цифровой вид, например, с использованием быстрого преобразования Фурье (FFT). Путем сопоставления оценок 121 референсных сообщений и результатов прослушивания соответствующих референсных сообщений 117 пользователем производится оптимизация 120 параметров дерева решений или решающих деревьев.
Использование решающего дерева с оптимизированными параметрами для обработки параметров ЭЭГ 116 при прослушивании целевого сообщения обеспечивает формирование решения, которым является наиболее вероятный рейтинг 119 или оценка прослушанного сообщения, выраженная в численном виде в баллах по предварительной заданной шкале, например, по десятибалльной шкале.
В альтернативном варианте, использование системы происходит следующим образом:
Пользователь загружает в систему один или несколько роликов, которые он планирует оценить.
Выбирает задачу, которую хочет решить - сравнить ролики между собой или получить абсолютную оценку степени привлекательности сообщений.
Устанавливает систему регистрации ЭЭГ
Система автоматически тэгирует загруженные аудиоролики тональными сигналами, проигрывает их, производит регистрацию и обработку ЭЭГ и выдает на выходе сравнительную оценку загруженных сообщений и/или оценку привлекательности сообщения в баллах совместно с доверительным интервалом, отражающем степень уверенности системы.
Для обеспечения работы системы на голове испытуемого устанавливаются ЭЭГ-электроды в стандартном монтаже с использованием электродов Ag / AgCl (Fp1, Fp2, F7, F8, F3, F4, Fz, T3, C3, Cz, C4, T4, T9, T8, P3, Pz, P4, O1, O2). При этом, наиболее информативными являются электроды, расположенные во фронтально-теменной части скальпа, в частности Fz, Fcz и Cz.
Изобретение относится к маркетинговым технологиям, и позволяет на основе психофизиологического состояния, измеряемого с помощью электроэнцефалографа, объективно оценивать реакцию слушателя на аудиоконтент по произвольному спектру аффективных категорий (таких как интерес к содержимому, эмоциональную окраску при прослушивании, согласие/протест и т.д.), при проведении социологических опросов, фокус-групп, а также в учебном процессе. Достигаемый технический результат заключается в получении объективной психофизиологической метрики, позволяющей судить о том, насколько внимательно прослушивался исследуемый аудиоконтент, а также о его рейтинге (в сравнении с альтернативным аудиоконтентом), причем без использования анкетирования, опросов или других методов, подверженных когнитивным искажениям. Технический результат достигается за счет того, что решающее правило для решающих деревьев оптимизируется на основе психофизиологического состояния, измеряемого с помощью электроэнцефалограммы, записанной во время прослушивания группой слушателей референсных аудиосообщений, подобранных из предварительно созданной базы данных и соответствующих этим референсным аудиосообщениям аффективных оценок, выведенных путем предварительного опроса большой группы респондентов и являющихся неотъемлемой частью базы данных. 2 з.п. ф-лы, 5 ил.
1. Способ определения реакции заданного слушателя на информационное воздействие заданного звукового сообщения, заключающийся в том, что:
для реакции, характеризующейся, по крайней мере, степенью вовлеченности в прослушивание или уровнем распределения внимания в процессе прослушивания;
формируют набор нормированных по громкости звуковых сообщений, каждое из которых характеризуется уникальным идентификатором, при просушивании которых у слушателей формируется определяемая реакция;
формируют обучающие наборы данных, где каждый из наборов содержит совокупность данных одного из сеансов прослушивания звуковых сообщений одним пользователем, включающую идентификаторы звуковых сообщений, прослушанных слушателем, для каждого из идентификаторов формальное описание параметров электроэнцефалограммы, зарегистрированной при прослушивании слушателем соответствующего сообщения, и значение уровня реакции слушателя на соответствующее звуковое сообщение, сформированное по результатам анкетирования слушателей,
используют обучающие наборы данных для обучения системы распознавания и
для заданного, нормированного по громкости звукового сообщения, формируют тестовую последовательность нормированных по громкости сообщений, содержащую заданное сообщение и сообщения из набора звуковых сообщений,
обеспечивают прослушивание заданным слушателем тестовой последовательности сообщений с обеспечением регистрации параметров электроэнцефалограммы заданного слушателя,
формируют тестовый набор данных, содержащий совокупность данных, включающую идентификаторы звуковых сообщений, прослушанных заданным слушателем, и, для каждого из идентификаторов, формальное описание параметров электроэнцефалограммы, зарегистрированной при прослушивании заданным слушателем соответствующего сообщения, и
определяют характеристики реакции заданного слушателя на заданное звуковое сообщение путем ранжирования, для каждой из характеристик, идентификаторов тестового набора данных совокупности данных тестового набора данных в соответствии с формальными описаниями энцефалограмм, соответствующим идентификаторам, и определения ранга идентификатора, соответствующего заданному звуковому сообщению.
2. Способ по п. 1, отличающийся тем, что в качестве системы распознавания используют систему распознавания с использованием решающих деревьев.
3. Способ по п. 1 или 2, отличающийся тем, что характеризуют тестовые сообщения рейтингом, средним по нескольким слушателям.
| US 20130266163 A1, 10.10.2013 | |||
| US 20150193688 A1, 09.07.2015 | |||
| US 6129681 A, 10.10.2000. |
