СИСТЕМА И СПОСОБ АВТОМАТИЧЕСКОЙ МОДЕРАЦИИ СООБЩЕНИЙ Российский патент 2018 года по МПК G06F17/21 G06F17/27 G06F21/00 

Область техники, к которой относится изобретение

Настоящее описание относится к области он-лайн связи в общем, и в частности - к системам, способам автоматической модерации сообщений с использованием иерархических вложенных белых списков.

Уровень техники

Электронные сообщения, например, сообщения в голосовых сервисах, сообщения на форумах, в разделе обратной связи и разделе комментариев веб-сайтов, сообщения в социальных сетях (например, Twitter, Facebook, Google+), сообщения в он-лайн чатах и любые другие электронные сообщения и обмен сообщениями стали неотъемлемой частью современного общения. Многие из этих сервисов обмена сообщениями, такие как он-лайн чаты (например, чаты с типом электронной передачи сообщений в Интернете, которые предоставляют передачу текстовых сообщений от отправителя получателю в реальном времени), предлагают тип обмена сообщениями, который в общем случае может состоять из обмена короткими сообщениями, что позволяет участникам быстро и легко передавать информацию и реагировать на нее.

Чтобы повысить уровень культуры и безопасности среди пользователей многих сервисов обмена сообщениями, поставщики услуг, размещающие на сервере он-лайн среду, могут проявить желание предотвратить использование обсценной лексики или другой неподобающей информации. Разнообразные системы, созданные для решения этой проблемы, используют морфологический анализ разнообразного контента сообщений или анализ разнообразного контента сообщений с использованием черного списка. Например, анализ сообщения с использованием черного списка может включать в себя процесс сверки слов сообщения с черным списком, который включает запрещенную лексику, включая бранные слова, лексику, носящую явный сексуальный характер и т.д., и может подвергать цензуре отдельные слова или все сообщение, если в процессе анализа определено, что подобная запрещенная лексика присутствует в сообщении. Этот вид анализа, однако, неэффективен, так как запрещенные слова могут быть искажены и таким образом пропущены и опубликованы, оставаясь при этом непристойными. Поэтому в области техники существует неудовлетворенная потребность в улучшении способов модерации сообщений.

Раскрытие изобретения

Предлагаются система и способы автоматической модерации сообщений с использованием иерархических вложенных белых списков.

Согласно независимому пункту заявляется способ автоматической модерации сообщений включает в себя: получение сервером сообщения, включающего в себя по меньшей мере одно слово; определение соответствия по меньшей мере одного слова сообщения первому набору слов первого белого списка; одобрение сообщения к публикации в случае, если было определено, что все слова в сообщении соответствуют словам из первого набора слов первого белого списка; определение соответствия по меньшей мере одного слова сообщения словам из второго набора слов второго белого списка, если определено, что не менее одного слова из всех слов сообщения не соответствует ни одному слову из первого набора слов первого белого списка, при этом второй белый список включает в себя первый набор слов и второй набор слов; расчет значения неприемлемости, если было определено, что все слова сообщения соответствуют словам из первого и второго наборов слов второго белого списка, причем значение неприемлемости рассчитывают на основе соотношения числа слов в сообщении, которые соответствуют словам во втором наборе слов, к числу слов в сообщении, которые соответствуют словам в первом наборе слов; одобрение сообщения к публикации в случае, если значение неприемлемости находится ниже заранее определенного порога; и запрет к публикации сообщения, значение неприемлемости которого равно или превышает заранее определенный порог.

Возможен вариант осуществления способа, в котором первый набор слов первого белого списка связан с самым высоким уровнем доверия, а второй набор слов второго белого списка связан с уровнем доверия, более низким по отношению к самому высокому уровню доверия.

Возможен вариант осуществления способа, в котором присваивают сообщению коэффициент доверия, соответствующий самому низкому уровню доверия по меньшей мере одного слова сообщения.

Возможен вариант осуществления способа, в котором дополнительно проводят анализ слов, из по меньшей мере одного слова сообщения, на принадлежность черному списку, если было определено, что слово не соответствует ни одному слову, входящему в белые списки.

Возможен вариант осуществления способа, в котором дополнительно передают сообщение для анализа человеком, выполняющим модераторские функции, если было определено, что по меньшей мере одно слово не соответствует ни одному слову, входящему в белые списки.

Возможен вариант осуществления способа, в котором сообщение является одним из следующего: он-лайн сообщение в чате, голосовое сообщение, переведенное в текстовый формат, текстовое сообщение SMS (службы коротких сообщений), сообщение на он-лайн форуме, сообщение из он-лайн раздела комментариев, сообщение, предоставленное он-лайн системой обратной связи, сообщение, предоставленное через сервис социальной сети.

Возможен вариант осуществления способа, в котором дополнительно определяют соотношение количества сообщений, значение неприемлемости которых равно или превышает пороговое, к количеству сообщений, значение неприемлемости которых ниже порогового.

Возможен вариант осуществления способа, в котором соотношение сообщений используют для определения порогового значения, используемого для определения неприемлемости полученного сообщения.

Возможен вариант осуществления способа, в котором зависимость между соотношением сообщений и значением неприемлемости в основном монотонна.

Согласно другому независимому пункту заявляется система автоматической модерации сообщений, включающая в себя базу данных, содержащую первый белый список, содержащий первый набор слов, и второй белый список, включающий в себя первый набор слов и второй набор слов; сервисный модуль, выполненный с возможностью получения сообщения, включающие в себя по меньшей мере одно слово; и модуль модерации, выполненный с возможностью: определения соответствует ли по меньшей мере одно слово сообщения первому набору слов первого белого списка; одобрения сообщения к публикации в случае, если было определено, что все слова в сообщении соответствуют словам из первого набора слов первого белого списка; определения, что по меньшей мере одно слово сообщения соответствует словам из второго набора слов второго белого списка, если было определено, что не менее одного слова из всех слов сообщения не соответствует ни одному слову из первого набора слов первого белого списка; расчета значения неприемлемости, если было определено, что все слова сообщения соответствуют словам из первого и второго наборов слов второго белого списка, причем значение неприемлемости рассчитывается на основе соотношения числа слов в сообщении, которые соответствуют словам во втором наборе слов, к числу слов в сообщении, которые соответствуют словам в первом наборе слов; одобрения сообщения к публикации в случае, если значение неприемлемости находится ниже заранее определенного порога; и запрещения к публикации сообщения, значение неприемлемости которого равно или превышает заранее определенный порог.

Возможен вариант осуществления системы, в которой первый набор слов первого белого списка связан с самым высоким уровнем доверия, а второй набор слов второго белого списка связан с уровнем доверия, более низким по отношению к самому высокому уровню доверия.

Возможен вариант осуществления системы, в котором модуль модерации дополнительно выполнен с возможностью присвоения сообщению коэффициента доверия, соответствующего самому низкому уровню доверия по меньшей мере одного слова сообщения.

Возможен вариант осуществления системы, в которой модуль модерации дополнительно выполнен с возможностью анализа слова, из по меньшей мере одного слова сообщения, на принадлежность к черному списку, если было определено, что слово не соответствует ни одному слову, входящему в белые списки.

Возможен вариант осуществления системы, в которой модуль модерации дополнительно выполнен с возможностью передачи сообщения для анализа человеку, выполняющему модераторские функции, если было определено, что по меньшей мере одно из слов не соответствует ни одному слову, входящему в белые списки.

Возможен вариант осуществления системы, в которой сообщение является одним из следующего: он-лайн сообщение в чате, голосовое сообщение, переведенное в текстовый формат, текстовое сообщение SMS (службы коротких сообщений), сообщение на он-лайн форуме, сообщение из он-лайн раздела комментариев, сообщение, предоставленное он-лайн системой обратной связи, сообщение, предоставленное через сервис социальной сети.

Возможен вариант осуществления системы, в которой модуль модерации дополнительно выполнен с возможностью определения соотношения количества сообщений, значение неприемлемости которых равно или превышает пороговое, к количеству сообщений, значение неприемлемости которых ниже порогового.

Возможен вариант осуществления системы, в котором система выполнена с возможностью определения порогового значения для определения неприемлемости полученного сообщения на основе соотношения сообщений.

Возможен вариант осуществления системы, в которой зависимость между соотношением сообщений и значением неприемлемости в основном монотонна. Согласно другому независимому пункту заявляется способ автоматической модерации сообщений, включающий в себя: получение сервером сообщения, включающего в себя по меньшей мере одно слово; определение соответствия по меньшей мере одного слова сообщения первому набору слов первого белого списка; выполнение действия одобрения сообщения в случае, если было определено, что все слова в сообщении соответствуют словам из первого набора слов первого белого списка; определение соответствия по меньшей мере одного слова сообщения словам из второго набора слов второго белого списка, если определено, что по меньшей мере одно слово из всех слов сообщения не соответствует ни одному слову из первого набора слов первого белого списка, при этом второй белый список включает в себя первый набор слов и второй набор слов; расчет значения неприемлемости, если было определено, что все слова сообщения соответствуют словам из первого и второго наборов слов второго белого списка, причем значение неприемлемости рассчитывается на основе соотношения числа слов в сообщении, которые соответствуют словам во втором наборе слов, к числу слов в сообщении, которые соответствуют словам в первом наборе слов; выполнение действия одобрения сообщения в случае, если значение неприемлемости находится ниже заранее определенного порога; и выполнение действие запрещения сообщений, значение неприемлемости которых равно или превышает заранее определенный порог.

Возможен вариант осуществления способа, в котором первый набор слов первого белого списка связан с самым высоким уровнем доверия, а второй набор слов второго белого списка связан с уровнем доверия, более низким по отношению к самому высокому уровню доверия.

Возможен вариант осуществления способа, в котором дополнительно присваивают сообщению коэффициент доверия, соответствующий самому низкому уровню доверия по меньшей мере одного слова сообщения.

Возможен вариант осуществления способа, в котором анализируют слова, из по меньшей мере одного слова сообщения, на принадлежность черному списку, если было определено, что слово не соответствует ни одному слову, входящему в белые списки.

Возможен вариант осуществления способа, в котором дополнительно передают сообщение для анализа человеку, выполняющему функции модератора, если было определено, что по меньшей мере одно слово не соответствует ни одному слову, входящему в белые списки.

Возможен вариант осуществления способа, в котором сообщение является одним из следующего: он-лайн сообщение в чате, голосовое сообщение, переведенное в текстовый формат, текстовое сообщение SMS (службы коротких сообщений), сообщение на он-лайн форуме, сообщение из он-лайн раздела комментариев, сообщение, предоставленное он-лайн системой обратной связи, сообщение, предоставленное через сервис социальной сети.

Возможен вариант осуществления способа, в котором при выполнении действия одобрения сообщения выполняют публикацию сообщения.

Возможен вариант осуществления способа, в котором при выполнении действия одобрения сообщения передают сообщение сервису с указанием того, что сообщение одобрено к публикации.

Возможен вариант осуществления способа, в котором дополнительно определяют соотношение количества сообщений, значение неприемлемости которых равно или превышает пороговое, к количеству сообщений, значение неприемлемости которых ниже порогового.

Возможен вариант осуществления способа, в котором соотношение сообщений используют для определения порогового значения, используемого для определения неприемлемости полученного сообщения.

Возможен вариант осуществления способа, в котором зависимость между соотношением сообщений и значением неприемлемости в основном монотонна.

Представленное выше описание упрощенных вариантов осуществления технологии служит для понимания основных ее вариантов. Это описание не является полным для всех рассматриваемых вариантов, и не предназначено для определения ключевых или важнейших элементов всех вариантов или для ограничения объема любого или всех вариантов технологии. Единственной его целью является представление одного или нескольких объектов в упрощенной форме перед более подробным описанием, которое следует ниже. Для выполнения вышеизложенной задачи один или несколько вариантов технологии включают в себя признаки, описанные и конкретно указанные в формуле изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Прилагаемые чертежи, которые включены в данное описание и составляют его часть, иллюстрируют один или несколько вариантов осуществления вместе с подробным описанием, служат для пояснения принципов и вариантов осуществления технологии.

На Фиг. 1 представлена диаграмма, иллюстрирующая вариант конфигурации системы автоматической модерации сообщений.

На Фиг. 2 представлена диаграмма, иллюстрирующая вариант конфигурации веб-браузера, отображающего веб-страницу запроса данных для отображения карты системы автоматической модерации сообщений.

На Фиг. 3, 4, 5 представлены диаграммы, иллюстрирующие варианты конфигурации веб-страницы карты системы автоматической модерации сообщений.

На Фиг. 6, 7, 8 представлены графики, иллюстрирующие зависимости алгоритмов, которые определяют неприемлемость сообщений при модерации сообщений.

На Фиг. 9 представлена блок-схема, иллюстрирующая вариант конфигурации системы автоматической модерации сообщений.

На Фиг. 10 представлена диаграмма, иллюстрирующая вариант компьютерной системы общего назначения, на которой реализованы системы и способы автоматической модерации сообщений.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Примеры вариантов осуществления настоящей технологии, описаны здесь в контексте систем, и способов автоматической модерации сообщений с использованием иерархических вложенных белых списков. Специалистам в данной области техники будет понятно, что следующее описание является исключительно иллюстративным и не предназначено для установления каких-либо ограничений. Другие варианты осуществления будут очевидны специалистам в данной области техники, обладающих преимуществами от прочтения настоящего описания. Далее будут подробнее описаны варианты осуществления, проиллюстрированные в прилагаемых чертежах.

На Фиг. 1 представлен пример системы 100 автоматической модерации сообщений в соответствии с одним объектом изобретения. Система 100 может включать в себя разнообразные электронные устройства 102 пользователя, такие как мобильный телефон, стационарный компьютер, ноутбук и т.д. В одном из вариантов осуществления устройство 102 может включать в себя модуль 112 приложения. Устройство 102 может быть соединено с сетью 110, например, с Интернетом через проводное или беспроводное соединение. Также соединенным с сетью 110 может быть сервер 104. В одном из вариантов осуществления на сервере 104 могут располагаться один или несколько сервисов, например, сервис карт, который предоставляет данные географических карт различным устройствам пользователя, например, устройству 102. В одном из вариантов осуществления сервер 104 может включать в себя модуль 114 сервиса, базу данных 116 белых списков, базу данных 118 сообщений и модуль 120 модерации. Функциональность каждого модуля устройства 102 и сервера 104 будет более подробно описана ниже.

Термин "модуль" в данном контексте означает физическое устройство, аппарат или множество модулей, выполненных с использованием аппаратного обеспечения, например, с помощью, например, интегральной схемы специального назначения (ASIC) или программируемой логической интегральной схемы (FPGA), или же комбинации аппаратного и программного обеспечения, например, с помощью микропроцессорной системы и набора инструкций, реализующих функционал модуля, которые (при выполнении) трансформируют микропроцессорную систему в устройство специального назначения. Модуль также может быть реализован в виде комбинации аппаратного и программного обеспечения, причем некоторые конфетные функций реализуются за счет аппаратного обеспечения, а другие функции реализуются комбинацией аппаратного и программного обеспечения. В некоторых вариантах осуществления технологии, по меньшей мере, частично, в некоторых случаях модуль может быть реализован на процессоре компьютера общего назначения (например, на таком, который показан на Фиг. 10 и описан подробнее ниже). Соответственно, каждый модуль может быть реализован в виде множества различных конфигураций и не ограничивается конкретным вариантом осуществления, приведенным здесь в качестве примера.

Модуль 112 приложения устройства 102, изображенный на Фиг. 1 может являться веб-браузером или любым приложением, которое позволяет пользователю получить доступ к сервису обмена сообщениями, например к он-лайн сервисам или, как показано в этом примере, сервису карт, предоставленному сервером 104, через сеть 110. Следует отметить, что сервис обмена сообщениями может быть сервисом любого типа, который предоставляет пользователям возможность передавать сообщения, содержащие текст, например, сервисы голосового управления, допускающим преобразование голоса в текстовую форму (например, для банковских систем, систем страхования, телефонных опросов, диспетчерских систем такси), сообщения службы коротких сообщений (SMS), сообщения на форумах, сообщения в разделе комментариев и в разделе обратной связи веб-сайта, сообщения в социальных сетях (например, Twitter, Facebook, Google+), сообщения в он-лайн чатах и любые другие электронные сообщения и переписки. Например, сервис обмена сообщениями может поддерживать обмен сообщениями в текстовой и голосовой формах на разных языках. В различных вариантах осуществления сервис обмена сообщениями может быть предоставлен сервером приложения, например, приложением для ПК, мобильным приложением, веб-сайтом или встроенным в сторонний веб-сайт скриптом. Например, на Фиг. 2 проиллюстрирован вариант конфигурации веб-браузера с пользовательским интерфейсом 200, отображающим веб-страницу 202 запроса данных для отображения карты системы автоматической модерации сообщений в соответствии с одним из объектов изобретения. Веб-страница 202 запроса данных для отображения карты может храниться и предоставляться модулем 114 сервиса. Как показано на Фиг. 2 веб-страница 202 запроса данных для отображения карты может включать в себя ряд текстовых полей для ввода конкретной информации о местоположении, например, адрес 204 улицы, город 206, страну 208 и почтовый индекс 210. После ввода необходимого для отображения местоположения пользователь может затем отправить запрос на получение карты от сервера 104 с помощью выбора кнопки 212 "отправить". После этого создается изображение карты на сервере 104, передается на устройство 102 пользователя и в результате отображается в пользовательском интерфейсе 200 веб-браузера на странице карты.

Фиг. 3 изображает пример веб-страницы 300 карты в пользовательском интерфейсе 200 веб-браузера. Как показано на Фиг. 3 веб-страница 300 карты может отображать результаты запроса на получение карты на Фиг. 2. Отображенная информация может включать в себя изображение 302 карты, которое отображает запрошенное место и его окрестности. Веб-страница карты может также реализовывать чат-систему, которая позволяет пользователю публиковать сообщения в чате, связанные с конкретными географическими пунктами (например, улицами). Например, изображение 302 карты может включать в себя значок 304 чата, указывающий, что пользователь опубликовал в чате сообщение, связанное с конкретным пунктом на дороге, который обозначен значком 304 чата. Сообщение в чате может быть просмотрено с помощью выбора значка 304 чата. Значок 304 чата может быть размещен любым пользователем сервиса карт и может быть виден всем и может допускать просмотр всеми. Или же он может быть виден и может допускать просмотр конкретным пользователем или группой пользователей, осуществляющих доступ к сервису карт. Например, как показано на Фиг. 4, пользователь может разместить значок 306 чата на конкретном месте на изображении 302 карты. В альтернативном варианте осуществления технологии сервис карт может автоматически определять географическое расположение пользователя (например, с помощью триангуляции, GPS, и так далее) и размещать значок чата по запросу пользователя на текущем месторасположении пользователя. После того, как значок 306 чата размещен, веб-страница 300 может отобразить окно 308 чата, что позволяет пользователю ввести текстовое сообщение. Пользователь может далее ввести текстовое сообщение в окно 308 чата и отправить его.

Когда пользователь отправляет текстовое сообщение, устройство 102 может передать сигнал, включающий текстовое сообщение и определенное месторасположение на карте модулю 114 сервиса сервера 104. Модуль 114 сервиса может получать сигнал и пересылать часть сигнала, содержащую текстовое сообщение, модулю 120 модерации на анализ. Модуль 120 модерации может модерировать текстовое сообщение, чтобы убедиться, что текстовое сообщение не носит оскорбительного характера, не содержит обсценной лексики или другой нежелательной информации. Модуль 120 модерации может получать текстовое сообщение и преобразовывать текстовое сообщение в машиночитаемое сообщение с помощью, например, удаления пунктуации, цифр, разделения сообщения на слова, изменения прописных букв на строчные, удаление повторных пробелов, объединение букв в регистры, и т.д. Модуль 120 модерации может далее получать доступ к базе данных 116 белых списков и проверять каждое слово машиночитаемого сообщения на соответствие набору слов белого списка, который хранится в базе данных 116 белых списков.

База данных 116 белых списков может включать ряд вложенных белых списков, сгруппированных в иерархическом порядке на основе уровня доверия. Каждый белый список может включать набор слов, связанный с конкретным уровнем доверия. Набор слов для каждого белого списка может быть создан на основе предыдущих сообщений, которые были модерированы человеком, выполняющим функции модератора. Например, база данных 116 белых списков может включать первый белый список 122, который включает первый набор слов, связанный с первым уровнем доверия. Первый уровень доверия может быть "самым высоким уровнем доверия", указывающим, что первый набор слов включает слова, допустимые к употреблению для всех возрастных категорий (например, слова, которые не включают в себя нежелательную лексику, такую как бранные слова или другие двусмысленные и нежелательные для определенных возрастных категорий слова). База данных 116 белых списков может включать второй белый список 124, который включает второй набор слов, связанный со вторым уровнем доверия. Второй уровень доверия может быть "средним уровнем доверия", указывающим, что второй набора слов включает недопустимые для конкретных возрастных категорий слова (например, слова, предназначенные для совершеннолетних). Следует отметить, что второй белый список 124 также включает первый набор слов первого белого списка 122, поэтому некоторые слова во втором белом списке 124 могут находиться в первом наборе слов, а другие слова могут находиться во втором наборе слов. База данных 116 белых списков может включать любое количество белых листов, причем каждый последующий белый список включает в себя набор слов, который связан с более низким уровнем доверия. Например, база данных 116 белых списков может включать в себя несколько белых списков, вплоть до n-ного списка 126, включающего в себя n наборов слов, связанных с n-ным уровнем доверия (например, с самым низким уровнем доверия). N-ный белый список 126 может также включать наборы слов всех предыдущих белых списков, таких как первый набор слов первого белого списка 122 и второй набор слов второго белого списка 124.

В соответствии с альтернативным вариантом осуществления, белые списки могут быть сгруппированы в иерархическом порядке, но могут не быть вложены, и вместо этого каждый из них может включать конкретный набор слов, связанный с конкретным уровнем доверия, причем каждый набор слов не включает в себя слова из других наборов слов.

В соответствии с вариантом осуществления, при котором модуль 120 модерации на начальном этапе совершает доступ к базе данных 116 белых списков, он совершает доступ к первому белому списку 122, чтобы сопоставить каждое слово машиночитаемого сообщения с первым набором слов первого белого списка 122.

Если модуль 120 модерации определяет, что слово в сообщении соответствует слову в первом наборе слов первого белого списка 122, то модуль 120 модерации может присвоить соответствующему слову коэффициент доверия. Коэффициент доверия указывает на уровень доверия слова и основан на уровне доверия белого списка, в котором было обнаружено соответствующее слово. Например, если слово в сообщении соответствует слову в первом наборе слов первого белого списка 122, то соответствующему слову присваивается коэффициент доверия X, указывающий на самый высокий уровень доверия. Если слово сообщения не соответствует ни одному слову из первого набора слов первого белого списка 122, но соответствует слову из второго набора слов второго белого списка 124, то соответствующему слову присваивается коэффициент доверия Y, указывающий на более низкий уровень доверия, чем коэффициент доверия X, и так далее. Если слово в сообщении не совпадает ни с одним словом ни в одном наборе слов белых списков, то модуль 120 модерации может пометить все сообщение, включающее это слово, как "неопределенное" и может приступить к передаче сообщения человеку, выполняющему модераторские функции, или другой дополнительной системе для дополнительного анализа (например, системе, которая анализирует несоответствующие слова на соответствие словам из черного списка). Дополнительный анализ может определить, что слово связано с конкретным уровнем доверия, и человек, выполняющий модераторские функции или другая система могут добавить слово в набор слов конкретного белого списка, на основании определенного уровня доверия слова.

Как только слова сообщения были сопоставлены, и им был присвоен соответствующий коэффициент доверия, модуль 120 модерации может пометить сообщение своим собственным коэффициентом доверия, который соответствует самому низкому коэффициенту доверия слов в сообщении. Например, если сообщение включает в себя шесть слов, из которых пяти присвоен коэффициент доверия X, а одному из слов присвоен коэффициент доверия Y, модуль 120 модерации пометит сообщение коэффициентом доверия Y, потому что слово с коэффициентом доверия Y (имеющее более низкий уровень доверия, чем остальные слова с коэффициентом доверия X) будет определять коэффициент доверия всего сообщения.

Если модуль 120 модерации определяет, что всем словам в сообщении присвоен коэффициент доверия X (например, все слова в сообщении соответствуют словам из первого набора слов первого белого списка 122), то модуль 120 модерации помечает сообщение коэффициентом доверия X и может дать команду модулю 114 сервиса опубликовать текстовое сообщение в он-лайн чате. Например, пользователь может ввести текст "Огромная пробка! За час не продвинулись ни на сантиметр!" Все слова в этом текстовом сообщении могут быть обнаружены в первом наборе слов первого белого списка 122, имеющего первый (т.е. самый высокий) уровень доверия, и после определения этого, модуль 120 модерации может присвоить всем словам коэффициент доверия X, пометить сообщение коэффициентом доверия X и разрешить публикацию текстового сообщения. Модуль 114 сервиса может затем сохранить текстовое сообщение в базе данных 118 сообщений и опубликовать текстовое сообщение с определенным на карте местоположением в систему чата.

Как только текстовое сообщение было опубликовано, значок 306 чата может стать видимым для других пользователей и может отобразить опубликованное текстовое сообщение, если значок 306 чата будет выбран. Например, как показано на Фиг. 5, если пользователь выбирает значок 306 чата, система чата может отображать окно чата 310, показывающее текст "Огромная пробка! За час не продвинулись ни на сантиметр!" Окно чата 310 также может показывать срок публикации текстового сообщения (например, текстовое сообщение было опубликовано "1 минуту назад").

Если модуль 120 модерации определяет, что не менее одного слова из машиночитаемого сообщения не соответствует ни одному слову из первого набора слов первого белого списка 122, то модуль 120 модерации может совершить доступ к базе данных 116 белого списка и сопоставить несоответствующее слово(а) со вторым набором слов второго белого списка 124.

Если модуль 120 модерации определяет, что все оставшиеся слова в машиночитаемом сообщении соответствуют словам из второго набора слов второго белого списка 124, то модуль 120 модерации может присвоить остающимся словам коэффициент доверия Y, например, пометить сообщение коэффициентом доверия Y. Модуль 120 модерации может также рассчитать значение неприемлемости сообщения, что может включать в себя расчет соотношения количества слов в сообщении, которым присвоен коэффициент доверия Y, к количеству слов в сообщении, которым присвоен коэффициент доверия X. Например, если машиночитаемое сообщение содержит два слова с коэффициентом доверия X и одно слово с коэффициентом доверия Y, модуль 120 модерации может рассчитать пороговое значение и определить, что в целом сообщение относится к коэффициенту доверия X. В этом случае модуль 120 модерации определяет количество слов с каждым коэффициентом доверия и математически сравнивает количество соответствующих коэффициентов доверия. Однако, если не менее одного слова соответствует набору слов "минимального уровня доверия" (например, нецензурные выражения), модуль 120 модерации может связать все сообщение с коэффициентом минимального уровня доверия. Далее, в другом примере, если модуль 120 модерации рассчитывает, что в сообщении есть два слова с коэффициентом доверия Y и два слова с коэффициентом доверия X, модуль 120 модерации может рассматривать сообщение как сообщение с минимальный уровнем доверия. Модуль 120 модерации может далее сравнить рассчитанное соотношение с заранее определенным порогом. Если соотношение (т.е., значение неприемлемости) меньше, чем пороговое, модуль 120 модерации может определить сообщение как "приемлемое" и дать команду модулю 114 сервиса на публикацию текстового сообщения. С другой стороны, если соотношение больше, чем пороговое значение, модуль 120 модерации может определить сообщение как "неприемлемое" и дать команду модулю 114 сервиса не публиковать текстовое сообщение (например, отклонить сообщение) и, например, отправить уведомление пользователю, который отправил текстовое сообщение, о том, что текстовое сообщение неприемлемо.

Если модуль 120 модерации определяет, что по меньшей мере одно слово из машиночитаемого сообщения не соответствует ни одному слову из второго набора слов второго белого списка 124, то модуль 120 модерации может совершить доступ к базе данных 116 белого списка и сопоставить несоответствующее слово(а) с набором слов следующего белого списка 124. Модуль 120 модерации может повторять процедуру, описанную выше, пока он не определит, что по меньшей мере одно слово из слов машиночитаемого сообщения не соответствует ни одному слову ни одного белого списка (например, по меньшей мере одно слово не соответствует ни одному слову в n-ном белом списке 126). Как объяснялось выше, если по меньшей мере одно слово в сообщении не совпадает ни с одним словом ни в одном наборе слов белых списков, то модуль 120 модерации может пометить все сообщение, включающее это слово, как "неопределенное" и может приступить к передаче сообщения человеку, выполняющему модераторские функции, или системе, которая анализирует несоответствующие слова на соответствие словам из черного списка. Дополнительный анализ может определить, что слово связано с конкретным уровнем доверия, и человек, выполняющий модераторские функции или другая система могут добавить слово в набор слов конкретного белого списка, на основании определенного уровня доверия слова. Затем на основе связи слова с конкретным белым списком модуль 120 модерации может приступить к анализу на приемлемость сообщения, который описан выше.

Например, в соответствии с одним вариантом осуществления, дополнительный анализ может включать расчет нового значения неприемлемости сообщения на основе следующей формулы: b новое= b (1 + наивысшая i неприемлемость(слово i))показатель. Где "b новое" - новое значение неприемлемости сообщения, а "слово i" относится ко всем словам сообщения. Термин "неприемлемость(слово i)" относится к комбинации значений неприемлемости "неприемлемость(слово)" всех слов в сообщении. Значение неприемлемости для значения неприемлемости "неприемлемость(слово)" может быть взято из черного списка или равняться 0, если в черном списке нет такого слова. Термин "показатель" относится к показателю, который может быть выбран экспериментально или произвольно определен как, например, 0,6 или 0,7. Если неприемлемость "b новое" сообщения меньше, чем пороговое значение, то сообщение помечается как приемлемое и может быть одобрено к публикации. Если, однако, неприемлемость "нового" сообщения равна пороговому значению или больше, чем пороговое значение, то сообщение помечается как неприемлемое и может быть отклонено. Соответственно, таким образом текстовое сообщение/сообщения в чате пользователя устройства 102 модерируются с использованием иерархических вложенных белых листов.

Фиг. 6 изображает графики, иллюстрирующие зависимости алгоритмов, которые определяют неприемлемость сообщений, реализованных с помощью приведенной в пример системы 100 для автоматической модерации сообщений в соответствии с одним объектом изобретения. График включает в себя вертикальную ось, представляющую "соотношение" "подходящих" сообщений к "неподходящим", которое будет описано в следующих параграфах, и горизонтальную ось, представляющую неприемлемость "b" сообщений. Соотношение подходящих сообщений к неподходящим далее будет синонимом выражениям "соотношение сообщений" или "соотношение данных".

Модуль 120 модерации может рассчитать константу "H", представляющую значение "неприемлемости" сообщения, которое включает слова, не найденные ни в одном из белых списков. В одном приведенном в варианте осуществления модуль 120 модерации может рассчитать "H" с использованием алгоритма итерации, который минимизирует пределы гистограммы, построенной в результате процесса модерации с текущим значением "H".

С использованием процесса модерации, описанного выше и способного рассчитать коэффициент доверия данных или сообщения (например, значение неприемлемости сообщения), модуль 120 модерации может определить значение "H", которое предоставит следующее: в процессе модерации большого количества сообщений из набора индивидуального обучения с текущим значением "H" соотношение между количеством истинно неподходящих сообщений (например, истинно неприемлемых) и истинно подходящих (например, истинно приемлемых) должно изменяться настолько монотонно, насколько это возможно, после повышения значения неприемлемости "b", рассчитанного в процессе модерации.

Можно заключить, что неприемлемость множества сообщений из набора индивидуального обучения была рассчитана для определенного конкретного значения "Hj". Далее модуль 120 модерации может поделить шкалу рассчитанной неприемлемости на равные отрезки с центрами в значениях "bi(i=1…N)". Это означает, что все сообщения с рассчитанной неприемлемостью "∈(bi-Δ; bi+Δ]" будут подразделяться по этим сегментам, где "2Δ" - ширина сегмента. Все сообщения могут быть либо истинно неприемлемыми, либо истинно приемлемыми. Также можно заключить, что в каждом сегменте "i" (с центром в "bi", как показано на Фиг. 6) могут быть среди истинно подходящих сообщений "подходящие i" и "неподходящие i" среди истинно неподходящих сообщений. В этом случае модуль 120 модерации может определить соотношение "неподходящих i" сообщений к "подходящим i" сообщениям (то есть, "соотношение i = неподходящие i / подходящие i").

Как показано на Фиг. 6, соотношение сообщений может повышаться с повышением "b", что является приемлемым сценарием. Чем больше рассчитанная неприемлемость (т.е. чем выше значение "b"), тем выше вероятность того, что сообщение является истинно неподходящим. Из-за того, что функция в основном является монотонной (т.е. у нее нет убывающих значений соотношения для последовательности значений неприемлемости "b"), процесс модерации работает должным образом. В некоторых случаях, однако, для определенных параметров "H" и значения соотношения сообщения функция может стать немонотонной.

На Фиг. 7 и Фиг. 8 изображены такие зависимости алгоритма, которые определяют неприемлемость сообщений, реализованных с помощью приведенной в пример системы 100 для автоматической модерации сообщений в соответствии с одним объектом изобретения. Как показано на Фиг. 7 и 8, функция может быть немонотонной (например, для последовательных значений неприемлемости b могут быть как возрастающие, так и понижающиеся значения соотношения), так что может возникнуть необходимость изменить параметры. Функция также может не быть полностью или в основном монотонной для любых параметров "H" и значения соотношения. Значение соотношения i может также показывать разную степень точности. Например, точность соотношения i может понижаться, когда значение "подходящее i + неподходящее i" понижается. Значение "соотношение i" с более низкой степенью точности может иметь меньше влияния на функцию и, следовательно, на качество монотонности. Точность "соотношения i" может быть особенно низкой для большого значения "I" из-за большого количества сообщений, которые включает в себя "соотношение i".

На Фиг. 9 представлена блок-схема, иллюстрирующая вариант 500 конфигурации системы автоматической модерации сообщений в соответствии с одним объектом изобретения. Процесс, описанный в этой блок-схеме, может быть реализован на сервере, предоставляющем он-лайн сервис, например, сервере 104. Как показано на Фиг. 9, процесс может начинаться на этапе 502, на котором сервер может получить сообщение, включающее по меньшей мере одно слово. Например, модуль 114 сервиса сервера 104 может получать сообщение и пересылать его модулю 120 модерации. На этапе 504 модуль 120 модерации может определять, соответствуют ли по меньшей мере одно слово первому списку слов первого белого списка 122. На этапе 506 если модуль 120 модерации определяет, что все слова в сообщении соответствуют словам в первом наборе слов первого белого списка 122, то процесс приступает к этапу 508, на котором модуль 114 сервиса публикует сообщение. Если, с другой стороны, модуль 120 модерации определяет, что по меньшей мере одно из слов сообщения не соответствуют словам в первом наборе слов первого белого списка 122, то процесс приступает к этапу 510.

На этапе 510 модуль 120 модерации может определять, соответствуют ли по меньшей мере одно слово сообщения второму списку слов второго белого списка 124. Следует отметить, что второй белый список 124 включает в себя как первый набор слов, так и второй набор слов. На этапе 512 если модуль 120 модерации определяет, что все слова в сообщении соответствуют словам в первом наборе слов и во втором наборе слов второго белого списка, то процесс приступает к этапу 514, в другом случае процесс приступает к этапу 520.

На этапе 520 модуль 120 модерации определяет, соответствуют ли по меньшей мере однослово сообщения набору слов последующего белого списка, например, n-ного набора слов n-ного белого списка 126. Следует отметить, что n-ный белый список 126 также включает в себя наборы слов предыдущих белых списков. На этапе 522, если модуль 120 модерации определяет, что все слова в сообщении соответствуют словам во всех наборах слов n-ного белого списка 126, то процесс приступает к этапу 514, в другом случае процесс приступает к этапу 524. На этапе 524, после того как было определено, что по меньшей мере одно слово в сообщении не совпадает ни с одним словом в n-ном белом списке 126, модуль 120 модерации может пометить все сообщение, включающее это слово, как "неопределенное" и может приступить к передаче сообщения человеку, выполняющему модераторские функции, или, например, системе, которая анализирует несоответствующие слова на соответствие словам из черного списка. Дополнительный анализ может определить, что слово связано с конкретным уровнем доверия, и человек, выполняющий модераторские функции или другая система могут добавить слово в набор слов конкретного белого списка, на основании определенного уровня доверия слова. Затем процесс может вернуться обратно к этапу 504.

На этапе 514 модуль 120 модерации может рассчитывать значение приемлемости на основе соотношения числа слов в сообщении, которые соответствуют словам во втором наборе слов, к числу слов в сообщении, которые соответствуют словам в наборе слов каждого последующего белого списка.

На этапе 516 модуль 120 модерации определяет, находится ли значение неприемлемости ниже заранее определенного порогового значения. Если это так, на этапе 518 модуль 114 сервиса публикует сообщение. Если это не так, на этапе 524 модуль сервиса отклоняет сообщение.

На Фиг. 10 представлен вариант осуществления компьютерной системы 5, которая может быть использована для реализации описанных систем и способов автоматической модерации сообщений, согласно одному варианту осуществления настоящей технологии. Компьютерная система 5 может включать в себя (но не ограничена ими) компьютер, ноутбук, планшет, смартфон, мобильное устройство, сетевой сервер, роутер или другой тип обрабатывающего устройства. Как показано, компьютерная система 5 может включать в себя один или несколько аппаратных процессоров 15, память 20, один или несколько жестких дисков 30, оптических приводов 35, последовательных портов 40, графическую карту 45, звуковую карту 50 и сетевую(ые) карту(ы) 55, соединенную с системной шиной 10. Системная шина 10 может представлять собой шинную структуру любого типа, который включает в себя шину памяти, контроллер памяти, периферическую шину и локальную шину, использующую любой из множества известных шинных архитектур. Процессор 15 может включать в себя одно или несколько процессоров Intel® Core 2 Quad 2.33 ГГц или другой тип микропроцессоров.

Системная память 20 может включать в себя постоянную память (ПЗУ) 21 и оперативную память (ОЗУ) 23. Память 20 может быть реализована как динамическое ОЗУ, стираемое программируемое ПЗУ, электрически стираемое программируемое ПЗУ, флэш-память или любая другая архитектура памяти. ПЗУ 21 хранит базовую систему ввода/вывода (BIOS), содержащую основные процедуры, которые помогают передавать информацию между модулями компьютерной системы 5, например, во время запуска. ОЗУ 23 хранит операционную систему 24 (ОС), например, Windows® 7 Professional или другой тип операционной системы, который отвечает за управление и координацию процессов и распределения аппаратных ресурсов в компьютерной системе 5. Память 20 также хранит приложения и программы 25. Память 20 также сохраняет различные данные 26 этапа исполнения, используемые программами 25.

Компьютерная система 5 может дополнительно включать в себя жесткий(е) диск(и) 30, например SATA HDD, и оптический(е) привод(ы) 35 для чтения или записи съемного оптического диска, например CD-ROM, DVD-ROM или другого оптического носителя. Диски 30 и 35 и связанные с ними машиночитаемые носители обеспечивают энергонезависимое хранение машиночитаемых инструкций, структур данных, приложений и программных модулей/субпроцедур, которые реализуют описанные здесь алгоритмы и способы. Несмотря на то, что примерная компьютерная система 5 использует магнитные и оптические диски, специалисты в данной области техники оценят, что в альтернативных аспектах компьютерной системы 5 также могут быть использованы другие типы машиночитаемых носителей, которые способные хранить данные, доступные компьютерной системе 5, например, магнитные кассеты, флэш-карты памяти, цифровые видеодиски, ОЗУ, ПЗУ, стираемое программируемое ПЗУ и другие типы памяти.

Компьютерная система 5 дополнительно включает в себя множество последовательных портов 40, например, универсальную последовательную шину (USB), для подключения устройств(а) 75 ввода данных, таких как клавиатура, мышь, сенсорная панель и прочие. Последовательные порты 40 также могут быть использованы для подключения устройств(а) 80 вывода данных, таких как принтер, сканер и другие, а также других периферийных устройств(а) 85, например, внешних устройств хранения данных и т.п.Система 5 также может включать в себя видеокарту 45, например nVidia® GeForce® GT 240М или другую видеокарту, для взаимодействия с экраном 60 или другим устройством воспроизведения видео, например, сенсорным экраном. Система 5 также может включать в себя звуковую карту 50 для воспроизведения звука через внутренние или внешние динамики 65. Кроме того, система 5 может включать в себя сетевую(ые) карту(ы) 55, такие как Ethernet, WiFi, GSM, Bluetooth или другой проводной, беспроводной или сотовый сетевой интерфейса для подключения компьютерной системы 5 к сети 70, например, к сети Интернет.

В различных вариантах осуществления, системы и способы, описанные здесь, могут быть реализованы на аппаратном обеспечении, прикладном программном обеспечении, системном программном обеспечении или любой из их комбинаций. При реализации в виде прикладного программного обеспечения, способы могут быть сохранены в виде одной или нескольких инструкций или кода на постоянном машиночитаемом носителе. Машиночитаемый носитель включает в себя хранилище данных. В качестве примера, а не ограничения, подобный машиночитаемый носитель может представлять собой ОЗУ, ПЗУ, электрически стираемое программируемое ПЗУ, флэш-память или любой другой тип электрического, магнитного или оптического носителя, или любой другой носитель, который может быть использован для переноса или хранения желаемого программного кода в форме инструкций или структур данных, к которым может обращаться процессор компьютера общего назначения.

Для ясности стоит отметить, что не все обычные признаки вариантов осуществления описаны здесь. Следует иметь в виду, что при модификации какого-либо фактического варианта осуществления технологии, необходимо принять ряд специфичных для варианта осуществления решений для достижения конкретных целей разработчика, и эти конкретные цели будут отличаться для различных вариантов осуществления и для различных разработчиков. Следует иметь в виду, что подобная разработка может быть сложной и затратной по времени, но, тем не менее, не будет представлять сложности для опытных специалистов в данной области техники, обладающих преимуществом от прочтения настоящего описания.

Кроме того, следует иметь в виду, что фразеология и терминология используется здесь в целях описания, а не ограничения, таким образом, терминология или фразеология настоящего описания должна интерпретироваться специалистами в данной области техники с учетом представленных здесь указаний и руководства в сочетании со знаниями специалистов в соответственной(ых) области(ях) техники. Более того, ни одному термину в описании или формуле не следует приписывать особого или специального смысла, если явно не указано иное.

Различные описанные здесь варианты осуществления охватывают нынешние и будущие известные эквиваленты известных модулей, указанных в данном описании в целях иллюстрации. Кроме того, несмотря на представленные и описанные аспекты и приложения, специалистам в данной области техники, обладающим преимуществом от прочтения настоящего описания, будет очевидно, что возможна реализация многих других вышеописанных модификаций без отступления от представленной здесь концепции технологии.

Изобретение относится к области связи, а именно к автоматической модерации сообщений. Технический результат – повышение эффективности автоматической модерации сообщений. Способ автоматической модерации сообщений включает получение сервером сообщения, определение соответствия по меньшей мере одного слова сообщения первому набору слов первого белого списка, передачу сообщения сервису с указанием возможности его публикации при определении соответствия всех слов в сообщении словам из первого набора слов первого белого списка, определение соответствия по меньшей мере одного слова сообщения второму набору слов второго белого списка, содержащего первый набор слов первого белого списка, при определении несоответствия по меньшей мере одного слова сообщения первому набору слов первого белого списка определение значения несоответствия, при определении соответствия всех слов сообщения словам первого и второго набора слов и несоответствия по меньшей мере одного слова сообщения первому набору слов, на основе соотношения количества слов в сообщении, соответствующих словам во втором наборе слов, к количеству слов в сообщении, соответствующих словам в первом наборе слов, передачу сообщения сервису с указанием возможности его публикации при значении несоответствия менее определенного порога. 2 н. и 14 з.п. ф-лы, 10 ил.

1. Способ автоматической модерации сообщений, включающий:

получение сервером сообщения, содержащего по меньшей мере одно слово;

определение соответствия по меньшей мере одного слова сообщения первому набору слов первого белого списка;

передачу сообщения сервису с указанием возможности его публикации при определении соответствия всех слов в сообщении словам из первого набора слов первого белого списка;

определение соответствия по меньшей мере одного слова сообщения второму набору слов второго белого списка, содержащего первый набор слов первого белого списка, при определении несоответствия по меньшей мере одного слова сообщения первому набору слов первого белого списка;

определение значения несоответствия, при определении соответствия всех слов сообщения словам первого и второго набора слов и несоответствия по меньшей мере одного слова сообщения первому набору слов, на основе соотношения количества слов в сообщении, соответствующих словам во втором наборе слов, к количеству слов в сообщении, соответствующих словам в первом наборе слов;

передачу сообщения сервису с указанием возможности его публикации при значении несоответствия менее определенного порога.

2. Способ по п. 1, в котором первому набору слов устанавливают самый высокий уровень доверия, а второму набору слов устанавливают уровень доверия, более низкий по отношению к самому высокому уровню доверия.

3. Способ по п. 2, в котором присваивают сообщению коэффициент доверия, соответствующий самому низкому уровню доверия по меньшей мере одного слова сообщения.

4. Способ по п. 1, в котором проводят анализ слов сообщения на принадлежность к черному списку слов при определении несоответствия по меньшей мере одного слова ни одному слову, входящему в белые списки.

5. Способ по п. 1, в котором передают сообщение для анализа модератору при определении несоответствия по меньшей мере одного слова ни одному слову, входящему в белые списки.

6. Способ по п. 1, в котором в качестве сообщения используют по меньшей мере одно из следующего: онлайн сообщение в чате, голосовое сообщение, переведенное в текстовый формат, текстовое сообщение службы коротких сообщений (SMS), сообщение на онлайн форуме, сообщение из онлайн раздела комментариев, сообщение, предоставленное онлайн системой обратной связи, сообщение, предоставленное через сервис социальной сети.

7. Способ по п. 1, в котором определяют соотношение количества сообщений, имеющих значение несоответствия, равное и/или превышающее определенный порог, к количеству сообщений, имеющих значение несоответствия менее определенного порога.

8. Способ по п. 7, в котором соотношение количества сообщений используют для определения порогового значения, используемого для определения неприемлемости полученного сообщения.

9. Система автоматической модерации сообщений, включающая в себя:

базу данных, содержащую первый белый список, содержащий первый набор слов, и второй белый список, содержащий первый и второй набор слов;

сервисный модуль, выполненный с возможностью получения сообщения, содержащего по меньшей мере одно слово; и

модуль модерации, выполненный с возможностью:

определения соответствия по меньшей мере одного слова сообщения первому набору слов первого белого списка;

передачи сообщения сервису с указанием возможности его публикации при определении соответствия всех слов в сообщении словам из первого набора слов первого белого списка;

определения соответствия по меньшей мере одного слова сообщения второму набору слов второго белого списка, содержащего первый набор слов первого белого списка, при определении несоответствия по меньшей мере одного слова сообщения первому набору слов первого белого списка;

определения значения несоответствия, при определении соответствия всех слов сообщения словам первого и второго набора слов и несоответствия по меньшей мере одного слова сообщения первому набору слов, на основе соотношения количества слов в сообщении, соответствующих словам во втором наборе слов, к количеству слов в сообщении, соответствующих словам в первом наборе слов;

передачи сообщения сервису с указанием возможности его публикации при значении несоответствия менее определенного порога.

10. Система по п. 9, в которой первый набор слов первого белого списка связан с самым высоким уровнем доверия, а второй набор слов второго белого списка связан с уровнем доверия, более низким по отношению к самому высокому уровню доверия.

11. Система по п. 10, в которой модуль модерации выполнен с возможностью присвоения сообщению коэффициента доверия, соответствующего самому низкому уровню доверия по меньшей мере одного слова сообщения.

12. Система по п. 9, в которой модуль модерации выполнен с возможностью анализа слов сообщения на принадлежность к черному списку слов при определении несоответствия по меньшей мере одного слова ни одному слову, входящему в белые списки.

13. Система по п. 9, в которой модуль модерации выполнен с возможностью передачи сообщения для анализа модератору при определении несоответствия по меньшей мере одного слова ни одному слову, входящему в белые списки.

14. Система по п. 9, в которой сервисный модуль выполнен с возможностью получения одного из следующих сообщений: онлайн сообщение в чате, голосовое сообщение, переведенное в текстовый формат, текстовое сообщение службы коротких сообщений (SMS), сообщение на онлайн форуме, сообщение из онлайн раздела комментариев, сообщение, предоставленное онлайн системой обратной связи, сообщение, предоставленное через сервис социальной сети.

15. Система по п. 9, в которой модуль модерации выполнен с возможностью определения соотношения количества сообщений, имеющих значение несоответствия, равное и/или превышающее определенный порог, к количеству сообщений, имеющих значение несоответствия менее определенного порога.

16. Система по п. 15, которая выполнена с возможностью определения порогового значения для определения значения несоответствия полученного сообщения на основе соотношения сообщений.