ИЗВЛЕЧЕНИЕ СУЩНОСТЕЙ ИЗ ТЕКСТОВ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ Российский патент 2017 года по МПК G06K9/00 

ОБЛАСТЬ ИЗОБРЕТЕНИЯ

[0001] Настоящее изобретение в целом относится к вычислительным системам, а точнее к системам и способам обработки естественного языка.

УРОВЕНЬ ТЕХНИКИ

[0002] Интерпретация неструктурированной информации, представленной текстом на естественном языке, может быть затруднена многозначностью, которая является неотъемлемой особенностью естественных языков. Задаче интерпретации текстов на естественном языке может способствовать поиск семантически подобных языковых конструкций, их сравнение и определение степени подобия.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0003] В соответствии с одним или несколькими аспектами настоящего изобретения, описанный в примере способ может включать: получение вычислительным устройством идентификаторов первого множества групп слов в тексте на естественном языке, причем каждая группа слов содержит одно или более слов естественного языка; ассоциацию объекта, представленного каждой группой слов, с некоторым концептом онтологии; определение в тексте на естественном языке второго множества групп слов, в которых каждая группа слов из второго множества групп слов ассоциирована с тем же концептом онтологии; в ответ на получение подтверждения того, что группа слов из второго множества групп слов представляет объект, ассоциированный с тем же концептом онтологии, изменение параметра модели классификации, которая дает значение, отражающего степень ассоциации заданного объекта с соответствующим концептом онтологии.

[0004] В соответствии с одним или несколькими аспектами настоящего изобретения, описанная в примере система может включать: память и процессор, соединенный с запоминающим устройством, в котором процессор выполнен с возможностью выполнения следующих действий: получение вычислительным устройством идентификаторов первого множества групп слов в тексте на естественном языке, причем каждая группа слов содержит одно или более слов естественного языка; ассоциацию объекта, представленного каждой группой слов, с некоторым концептом онтологии; определение в тексте на естественном языке второго множества групп слов, в которых каждая группа слов из второго множества групп слов ассоциирована с тем же концептом онтологии; в ответ на получение подтверждения того, что группа слов из второго множества групп слов представляет объект, ассоциированный с тем же концептом онтологии, изменение параметра модели классификации, которая дает значение, отражающего степень ассоциации заданного объекта с соответствующим концептом онтологии.

[0005] В соответствии с одним или несколькими аспектами настоящего изобретения, описанный в примере машиночитаемый постоянный носитель данных может содержать исполняемые команды, которые при выполнении на вычислительном устройстве приводят к следующим действиям вычислительного устройства: получение вычислительным устройством идентификаторов первого множества групп слов в тексте на естественном языке, причем каждая группа слов содержит одно или более слов естественного языка; ассоциацию объекта, представленного каждой группой слов, с некоторым концептом онтологии; определение в тексте на естественном языке второго множества групп слов, в которых каждая группа слов из второго множества групп слов ассоциирована с тем же концептом онтологии; в ответ на получение подтверждения того, что группа слов из второго множества групп слов представляет объект, ассоциированный с тем же концептом онтологии, изменение параметра модели классификации, которая дает значение, отражающего степень ассоциации заданного объекта с соответствующим концептом онтологии.

[0006] Технический результат от внедрения изобретения состоит в получении возможности конечному пользователю создавать онтологии в автоматическом режиме, используя простые средства пользовательского интерфейса и методы машинного обучения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0007] Настоящее изобретение иллюстрируется с помощью примеров, а не путем ограничения, его проще понять со ссылкой на приведенное ниже подробное описание при рассмотрении в связи с чертежами, на которых:

[0008] На Фиг. 1 приведена блок-схема одного иллюстративного примера способа для поиска и извлечения сущностей на основе анализа текстов на естественном языке в соответствии с одним или несколькими аспектами настоящего изобретения;

[0009] На Фиг. 2А-2С дан пример экрана графического интерфейса пользователя (GUI) для отображения текстов на естественном языке, в котором объекты, связанные с различными концептами онтологии, визуально выделены в соответствии с одним или несколькими аспектами настоящего изобретения;

[00010] На Фиг. 3А приведен пример размеченного текста, в котором сущности, соответствующие различным концептам онтологии, выделены разными цветами.

[00011] На Фиг. 3В приведен фрагмент графа, схематично изображающего информацию (сущности и связи между ними), извлеченную из текста, представленного на Фиг. 2А-2С в соответствии с одним или несколькими аспектами настоящего изобретения;

[00012] На Фиг. 4 показана блок-схема одного иллюстративного примера способа 400 семантико-синтаксического анализа предложения на естественном языке в соответствии с одним или несколькими аспектами настоящего изобретения;

[00013] На Фиг. 5 схематически показан пример лексико-морфологической структуры предложения в соответствии с одним или несколькими аспектами настоящего изобретения;

[00014] На Фиг. 6 схематически показаны языковые описания, представляющие модель естественного языка в соответствии с одним или несколькими аспектами настоящего изобретения;

[00015] На Фиг. 7 схематически показаны примеры морфологических описаний в соответствии с одним или несколькими аспектами настоящего изобретения;

[00016] На Фиг. 8 схематически показаны примеры синтаксических описаний в соответствии с одним или несколькими аспектами настоящего изобретения;

[00017] На Фиг. 9 схематически показаны примеры семантических описаний в соответствии с одним или несколькими аспектами настоящего изобретения;

[00018] На Фиг. 10 схематически показаны примеры лексических описаний в соответствии с одним или несколькими аспектами настоящего изобретения;

[00019] На Фиг. 11 схематически показаны примеры структур данных, которые могут использоваться одним или несколькими способами, реализованными в соответствии с одним или несколькими аспектами настоящего изобретения;

[00020] На Фиг. 12 схематически показан пример графа обобщенных составляющих в соответствии с одним или несколькими аспектами настоящего изобретения;

[00021] На Фиг. 13 показан пример синтаксической структуры, соответствующей предложению, приведенному на Фиг. 12;

[00022] На Фиг. 14 приведена семантическая структура, соответствующая синтаксической структуре, показанной на Фиг. 13;

[00023] На Фиг. 15 показана схема описанного в примере вычислительного устройства, в котором реализуются способы, описанные в этом документе.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ РЕАЛИЗАЦИИ

[00024] В настоящем документе описываются способы и системы извлечения сущностей для пополнения онтологий на основе анализа текстов на естественном языке. Способ основан на предположении, что различные сущности, принадлежащие одному и тому же классу, концепту онтологии, в некоторых семантических контекстах могут вести себя одинаково или схожим образом, и для выявления таких сущностей в текстах на естественном языке достаточно "обучить" вычислительное устройство обнаруживать аналогичные семантические контексты и выдвигать гипотезы.

[00025] «Онтология» в настоящем документе означает модель, которая представляет объекты, относящиеся к определенной области знаний (предметной области), и отношения между данными объектами. Онтология может включать определения некого множества классов, где каждый класс соответствует концепту предметной области. Каждое определение класса может включать определения одного или более отнесенных к данному классу объектов. Согласно общепринятой терминологии класс онтологии может также называться «концепт», а принадлежащий классу объект может означать экземпляр данного концепта.

[00026] Определение каждого класса может далее включать одно или несколько определений отношений одного или более отнесенных к данному классу объектов. Отношения определяют различные типы взаимодействия между связанными объектами. В некоторых реализациях изобретения различные отношения могут быть организованы во всеобщей таксономии, например, отношения «отцовства» и «материнства» могут быть включены в более общее отношение «быть родителем», которое, в свою очередь, может быть включено в более общее отношение «быть кровным родственником».

[00027] Каждое определение класса может дополнительно содержать одно или несколько ограничений, определяющих некоторые свойства объектов класса. В некоторых реализациях изобретения класс может быть предком или потомком другого класса.

[00028] Определение объекта может представлять собой материальный реальный объект (например, человека или предмет) или определенное понятие, связанное с одним или несколькими реальными объектами (например, число или слово). В иллюстративном примере класс «Person» (Персона) может быть связан с одним или более объектами, соответствующими определенным личностям.

[00029] В некоторых реализациях объект может быть ассоциирован с двумя или более классами. Онтология может являться предком или (и) потомком другой онтологии, в этом случае концепты и свойства онтологии-предка также относятся к онтологии-потомку.

[00030] В некоторых реализациях изобретения онтология может быть представлена графами Resource Definition Framework (Среды определения ресурса) или сокращенно RDF. RDF присваивает уникальный идентификатор каждому информационному объекту и сохраняет информацию о таком объекте в виде троек SPO, где S обозначает «субъект» и содержит идентификатор объекта, Р обозначает «предикат» и определяет некоторое свойство этого объекта, а О обозначает «объект» и хранит значение этого свойства данного объекта. Это значение может быть либо примитивным типом данных (строка, число, логическое значение) или идентификатором другого объекта. Граф RDF можно рассматривать как набор непротиворечивых утверждений об информационных объектах и их свойствах, следовательно, его можно использовать для представления отношения между концептом онтологии и связанными экземплярами. В различных альтернативных вариантах реализации изобретения онтологии могут быть представлены с помощью других средств с использованием подходящих структуры данных, таких как графики, связанные списки, массивы и т.д.

[00031] Настоящее изобретение обеспечивает систему и способы для выявления вычислительным устройством нескольких семантических структур, представляющих аналогичные или идентичные объекты, факты, особенности, или явления, а также для связывания выявленных сущностей с соответствующими классами и концептами онтологии.

[00032] В соответствии с одним или более аспектами настоящего изобретения, вычислительное устройство, в котором реализован этот способ, может получить текст на естественном языке (например, документ или совокупность документов), ассоциированный с определенным текстовым корпусом). Это вычислительное устройство может дополнительно получить идентификаторы групп из одного или более слов в тексте на естественном языке, при этом группы слов, представляют экземпляры объектов, связанные с определенным концептом онтологии. Концепт онтологии может представлять личность, организацию, событие и т.д. В некоторых реализациях изобретения идентификаторы групп слов можно получить с помощью графического интерфейса пользователя (GUI), который позволяет пользователю визуально выделить группы слов отображаемого текста. При альтернативном подходе идентификаторы групп слов можно получить в виде метаданных, сопровождающих текст на естественном языке. В иллюстративном примере идентификаторы групп слов могут присутствовать в определенной части текста на естественном языке (например, в некотором подмножестве страниц).

[00033] Затем вычислительное устройство может произвести семантико-синтаксический анализ текста на естественном языке. При синтактико-семантическом анализе может быть получено множество семантических структур, каждая из которых представляет предложение на естественном языке. Каждая семантическая структура может быть представлена ациклическим графом, который включает множество вершин, соответствующих семантическим классам, и множество дуг, соответствующих семантическим отношениям между составляющими предложения, что описано более подробно ниже со ссылкой на Фиг. 4. Из полученных при семантико-синтаксическом анализе нескольких семантических структур вычислительное устройство может определить одну или несколько схожих семантических структур, которые, по меньшей мере, с точки зрения определенной метрики сходства, соответствуют одной из семантических структур, которые представляют предложения, включающие выделенные слова.

[00034] В некоторых реализациях идентификацию схожих семантических структур можно произвести с использованием модели классификации, которая может, в свою очередь, включать набор правил классификации. Правило классификации может включать набор логических выражений, определенных на одном или нескольких шаблонах семантических структур. Эти логические выражения могут отражать один или несколько факторов подобия семантических структур, так что набор правил классификации может определять, действительно ли две заданные семантические структуры похожи при выбранной метрике подобия.

[00035] Вычислительное устройство может многократно применить модель классификации к множеству семантических структур, полученных при семантико-синтаксическом анализе текста на естественном языке для того, чтобы построить граф, представляющий множество сущностей, принадлежащих различным концептам и связи между ними.

[00036] В некоторых вариантах реализации при оценке степени ассоциации заданной семантической структуры с заданным концептом онтологии вычислительное устройство может использовать методы машинного обучения, которые используют уже существующий или динамически созданный набор обучающих данных. В иллюстративном примере такой набор обучающих данных можно создать, с помощью графического интерфейса пользователя, когда пользователь подтверждает, что группа слов, ассоциированная с соответствующей семантической структурой, выявленная с помощью модели классификации, как представляющая объект, связанный с определенным концептом онтологии, действительно представляет такой объект, который связан с выявленным концептом онтологии.

[00037] В иллюстративном примере устройство обработки может использовать подтверждающие данные, настроенные на создание или изменение одного или более правил классификации, которые дают значение, отражающее степень ассоциации объекта, представленного выделенной группой слов и принадлежащей данной семантической структуре, с определенным концептом онтологии. Вычислительное устройство может применить модель классификации для нескольких концептов, а затем связать семантическую структуру с концептом, соответствующим оптимальному (например, минимальному или максимальному) значению близости.

[00038] Онтологию, полученную системами и способами, работающими в соответствии с одним или несколькими аспектами настоящего изобретения, можно использовать для выполнения различных операций обработки естественного языка, таких как машинный перевод, семантический поиск, классификация и кластеризация объектов и т.д.

[00039] Различные аспекты упомянутых выше способов и систем подробно описаны ниже в этом документе с помощью примеров, а не способом ограничения.

[00040] В настоящем документе термин «вычислительное устройство» означает устройство обработки данных, имеющее универсальный процессор, память и по меньшей мере один коммуникационный интерфейс. Примерами вычислительных устройств, которые могут использовать описанные в этом документе способы, являются, помимо прочего, настольные компьютеры, портативные компьютеры, планшетные компьютеры и смартфоны.

[00041] На Фиг. 1 приведена блок-схема одного иллюстративного примера способа (100) извлечения сущностей на основе анализа текстов на естественном языке в соответствии с одним или несколькими аспектами настоящего изобретения. Способ 100 и (или) каждая из его отдельных функций, процедур, подпрограмм или операций может быть реализован с помощью одного или нескольких процессоров вычислительного устройства (например, вычислительного устройства 1000 на Фиг. 15), в котором реализован этот способ. В некоторых реализациях способ 100 может быть реализован в одном потоке обработки. При альтернативном подходе способ 100 может быть реализован с использованием двух или более потоков обработки, при этом в каждом потоке реализована одна или несколько отдельных функций, процедур, подпрограмм или операций этого способа. В иллюстративном примере потоки обработки, в которых реализован способ 100, могут быть синхронизированы (например, с помощью семафоров, критических секций и/или других механизмов синхронизации потоков). При альтернативном подходе потоки обработки, в которых реализован способ 100, могут выполняться асинхронно по отношению друг к другу.

[00042] В блоке 110 вычислительное устройство может получить текст на естественном языке (например, документ или совокупность документов), связанный с некоторым текстовым корпусом. В иллюстративном примере вычислительное устройство может получить текст на естественном языке в виде электронного документа, который может быть получен путем сканирования или за счет применения иного способа получения изображения с бумажного документа с последующим выполнением оптического распознавания символов (OCR), чтобы получить текст документа, связанный с этими документами. В иллюстративном примере вычислительное устройство может получить текст на естественном языке в виде одного или более форматированных файлов, например, файлов для системы электронной обработки текста, сообщений электронной почты, файлов цифровых данных и т.д.

[00043] В блоке 115 вычислительное устройство может получить идентификаторы в тексте на естественном языке в виде одной или более групп слов. Каждая группа слов может включать одно или более слов. Группа слов может ссылаться на экземпляр объекта, связанный с определенным концептом онтологии. Такой концепт может представлять персону, организацию или событие, например, Steve Jobs (Стив Джобе), United Nations (Организация Объединенных Наций) или the Olympics (Олимпийские игры). В некоторых реализациях изобретения идентификаторы групп слов можно получить через графический интерфейс пользователя (GUI). Такой графический интерфейс пользователя может включать различные элементы управления для выбора идентификатора в концепте онтологии и для выделения в тексте на естественном языке (что отображается в экране графического интерфейса пользователя) одного или нескольких слов, представляющих примеры объектов, связанные с выбранным концептом онтологии. При альтернативном подходе идентификаторы из одной или более групп слов, которые ссылаются на объект, представляющий определенный концепт онтологии, можно получить в виде метаданных, сопровождающих текст на естественном языке. В некоторых реализациях изобретения такие метаданные могут быть созданы другим приложением обработки естественного языка. В иллюстративном примере идентификаторы используемых в примере объектов могут располагаться лишь в некоторой части текста (например, на некотором подмножестве страниц). При альтернативном подходе идентификаторы объектов, например, могут быть регулярным или случайным образом распределены по всему тексту.

[00044] В блоке 120 вычислительное устройство может ассоциировать с концептом онтологии объект, представленный каждой выявленной группой слов. В иллюстративном примере концепт онтологии может быть выявлен с помощью интерфейса пользователя, предлагающего пользователю выбрать концепт онтологии, соответствующий выделенной группе слов. При альтернативном подходе концепт онтологии может быть выявлен по метаданным, сопровождающим текст на естественном языке.

[00045] В блоке 125 вычислительное устройство может выполнить семантико-синтаксический анализ текста на естественном языке. При синтаксическом и семантическом анализе может быть получено множество семантических структур, каждая из которых представляет предложение на естественном языке. Каждая семантическая структура может быть представлена ациклическим графом, который включает множество вершин, соответствующих семантическим классам, и множество дуг, соответствующих семантическим отношениям, что описано более подробно ниже со ссылкой на Фиг. 4. Для упрощения любое подмножество семантической структуры в этом документе мы будем называть «структурой» (а не «подструктурой»), если только не рассматривается отношение типа родитель-потомок между двумя семантическими структурами.

[00046] В блоке 130 вычислительное устройство может выявить среди нескольких полученных в результате семантико-синтаксического анализа семантических структур семантические структуры, представляющие предложения, которые содержат одну или несколько групп слов, определенных метаданными, на которые имеются ссылки в блоке 115.

[00047] В блоке 135 вычислительное устройство может выявить из нескольких семантических структур, полученных операциями, описанными со ссылкой на блок 125, одну или более семантических структур, которые являются схожими с точки зрения определенной метрики сходства, по меньшей мере, с одной семантической структурой, представляющей предложения, которые содержат одну или несколько групп слов, определенных полученными метаданными.

[00048] В зависимости от требований к точности и (или) сложности вычислений эта метрика схожести может учитывать различные факторы, в том числе: структурное подобие семантических структур; наличие идентичных глубинных позиций или позиций, соотнесенных с тем же семантическим классом; наличие идентичных лексических или семантических классов в узлах семантических структур; наличие отношений родитель-потомок в определенных узлах семантических структур, так чтобы родитель и потомок были разделены определенным числом уровней семантической структуры; наличие общего предка по определенным семантическим классам и расстояния между узлами, представляющими данные классы. Если обнаруживается, что определенные семантические классы являются эквивалентными или в основном схожими, то эта метрика может далее принять во внимание наличие или отсутствие определенных дифференцирующих семантем и (или) другие факторы.

[00049] В некоторых реализациях изобретения выявление подобных семантических структур может выполняться с использованием модели классификации, которая, в свою очередь, может включать набор правил классификации. Правило классификации может включать набор логических выражений, определенных на одном или нескольких шаблонах семантических структур. Логические выражения могут отражать один или более упомянутых выше факторов сходства, так что набор правил классификации может определить, действительно ли две заданные семантические структуры являются сходными в выбранной метрике сходства. В различных иллюстративных примерах правило классификации может констатировать структурное сходство семантических структур; другое правило классификации может констатировать наличие тех же глубинных позиций или позиций, связанных с тем же семантическим классом; другое правило классификации может констатировать наличие тех же лексических или семантических классов, связанных с узлами семантических структур; другое правило классификации может констатировать наличие отношений предок-потомок в некоторых узлах семантических структур, таких, что предок и потомок разделены определенным числом уровней семантической структуры; другое правило классификации может констатировать наличие общего предка для определенных семантических классов и расстояния между узлами, представляющими эти классы; другое правило классификации может констатировать наличие определенных отличительных семантем и (или) других факторов.

[00050] Вычислительное устройство может применить модель классификации к множеству семантических структур, полученных в результате семантико-синтаксического анализа текста на естественном языке для получения аннотированного RDF-графа, представляющего множество сущностей и отношения между ними.

[00051] В некоторых реализациях изобретения при оценке степени ассоциации данной семантической структуры с некоторым концептом онтологии вычислительное устройство может использовать машинные методы классификации, которые используют уже существующий или динамически созданный набор данных доказательств, которые коррелируют параметры семантической структуры и концепты онтологии. Такие методы могут включать методы дифференциальной эволюции, генетические алгоритмы, наивный классификатор Байеса, метод Random forest (случайный лес) и т.д.

[00052] Вычислительное устройство может создавать и (или) обновлять набор данных на основе обратной связи, полученной по отношению к семантическим структурам, которые были определены в блоке 130, как аналогичные, с учетом выбранной метрики сходства, по крайней мере, одной из множества семантических структур, представляющих предложения, которые содержат одну или несколько групп слов, выявленных полученными метаданными.

[00053] В иллюстративном примере такой набор обучающих данных может быть создан или обновлен через запрос пользователю через графический интерфейс пользователя подтвердить, что выявленная в блоке 130 семантическая структура, как схожая, по меньшей мере, с одной из множества семантических структур, представляющих предложения, которые содержат одну или несколько групп слов, определенных полученными метаданными, фактически похожа на одну или более из этих семантических структур. В другом иллюстративном примере такой набор обучающих данных можно дополнительно изменить через графический интерфейс пользователя, когда пользователь подтверждает, что данная семантическая структура, выявленная с помощью применения модели классификации, как представляющая объект, связанный с определенным концептом онтологии, на самом деле представляет такой объект, который связан с данным концептом онтологии.

[00054] В блоке 140 вычислительное устройство может выявлять группы слов, представляющие семантические структуры, определенные в блоке 135, как схожие с учетом выбранной метрики схожести, по меньшей мере одной из множества семантических структур, представляющих предложения, которые содержат одну или несколько групп слов, выявленных полученными метаданными.

[00055] В блоке 145 вычислительное устройство может отображать, через GUI выявленные группы слов. Для каждой отображаемой группы слов вычислительное устройство может предложить пользователю подтвердить группу слов, которая на самом деле представляют объект, ассоциированный с первоначально выбранным концептом онтологии.

[00056] В ответ на получение в блоке 150 такого подтверждения для конкретной семантической структуры, вычислительное устройство может в блоке 155 обновить данные, полученные подтверждением, и может дополнительно использовать обновленный набор параметров правил классификации в модели классификации, которые дают значение, отражающее степень ассоциации данной семантической структуры с определенным концептом онтологии. В иллюстративном примере вычислительное устройство может изменить один или более параметров модели классификации с учетом откликов, полученных в блоке 155. После изменения параметров модели классификации процесс 100 может быть повторен на том же или другом наборе текстов до тех пор, пока результат автоматического выделения сущностей не станет удовлетворительным.

[00057] Затем вычислительное устройство может использовать обновленный набор параметров модели классификации для обработки других текстов на естественном языке. В иллюстративном примере вычислительное устройство может получить такой текст на естественном языке в блоке 160.

[00058] В блоке 165 вычислительное устройство может произвести семантико-синтаксический анализ полученного текста на естественном языке. При синтаксическом и семантическом анализе могут быть получены множество семантических структур, представляющих каждое предложение на естественном языке, что описано более подробно ниже со ссылкой на Фиг. 5.

[00059] В блоке 170 вычислительное устройство может применить модель классификации к множеству семантических структур, полученных при семантико-синтаксическом анализе, с тем чтобы определить семантические структуры, которые представляют объекты, ассоциированные с изначально определенным концептом онтологии. В иллюстративном примере вычислительное устройство может применить одно или несколько правил классификации для нескольких концептов, а затем ассоциировать семантическую структуру с концептом, соответствующем оптимальному (например, минимальному или максимальному) значению близости, полученному правилами классификации.

[00060] Операции способа 100, описанного выше со ссылками на блоки 115-170 можно применить для других концептов онтологии либо использовать отличающиеся способы для выделения объектов различных концептов. Например, пользователь может использовать разные цвета для подсвечивания групп слов, ассоциированных с объектами разных концептов.

[00061] В блоке 175 полученную в результате онтологию можно использовать для выполнения различных операций обработки естественного языка, таких как машинный перевод, семантический поиск, классификация и кластеризация объектов и т.д.

[00062] В некоторых реализациях изобретения способ 100 можно применить к набору структурированных документов определенного типа. Такие документы могут иметь похожую структуру, и в различных иллюстративных примерах они могут быть представлены контрактами, сертификатами, приложениями и т.д. Например, в одних и тех же полях могут содержаться ФИО (персоны), в других - названия учреждений или компаний, в третьих - даты и т.п. Таким образом, семантико-синтаксическому анализу текста на естественном языке, описанному выше со ссылкой на блок 120 на Фиг. 1, может предшествовать одна или несколько операций предварительной обработки документов, которые выполняются для определения структуры этого документа. В одном иллюстративном примере структура документа может включать иерархическую многоуровневую структуру, в которой разделы документа разделяются заголовками и подзаголовками. В другом иллюстративном примере структура документа может включать одну или несколько таблиц, содержащих несколько строк и столбцов, по меньшей мере некоторые из которых могут быть связаны с заголовками, которые в свою очередь могут быть организованы в многоуровневую иерархию. В другом иллюстративном примере структура документа может включать определенные текстовые поля, связанные с заранее определенными типами информации, такими как поле подписи, поле даты, поле адреса, поле ими т.д. Вычислительное устройство 100, в котором реализован этот способ, может интерпретировать структуру документа для получения определенной информации о структуре документа, которая может использоваться для расширения текстовой информации, содержащейся в этом документе. В некоторых реализациях изобретения при анализе структурированных документов вычислительное устройство может использовать различные вспомогательные онтологии, содержащие классы и концепты, отражающие специфическую структуру документа. Классы вспомогательной онтологии могут быть ассоциированы с определенными правилами обработки, которые могут быть применены к множеству семантических структур, полученных при синтактико-семантическом анализе соответствующего документа.

[00063] Как уже отмечалось выше в настоящем изобретении, вычислительное устройство, в котором реализован способ 100, может предоставлять один или более дисплеев GUI, которые включают различные элементы управления для выбора идентификатора концепта онтологии и для выделения в тексте на естественном языке, который отображается на экране графического интерфейса пользователя, одного или нескольких слов или групп слов, представляющих экземпляры объектов, связанных с выбранным концептом онтологии. На Фиг. 2А-2С представлены примеры экрана графического интерфейса пользователя (GUI), отображающего текст на естественном языке, в котором визуально выделены объекты, связанные с определенными концептами онтологии.

[00064] На Фиг. 2А показан пример графического интерфейса пользователя, содержащий текст на естественном языке, в котором выделены объекты, ассоциированные с концептом «Person» (Персона). Графический интерфейс пользователя, реализованный с помощью устройства обработки, может включать текстовое окно 210, в котором пользователь может выделять слова и словосочетания, представляющие примеры объектов, ассоциированные с выбранным концептом онтологии (Person). Данный пример экрана дополнительно содержит таблицу 220, представляющую, небольшой фрагмент онтологии, полученный в результате разметки, ассоциированной с выбранным концептом онтологии. Онтология может хранить значения атрибутов для каждого объекта класса Person, включая атрибуты firstname (Имя), middlename (Отчество) и surname (фамилия), что схематично показано на фиг. 2А.

[00065] На Фиг. 2В показан пример графического интерфейса пользователя, содержащий текст на естественном языке, в котором выделены объекты, ассоциированные с концептом Inhabited Locality (Населенный пункт). Графический интерфейс пользователя, реализованный с помощью устройства обработки, может включать текстовое окно 230, в котором пользователь может выделять слова и словосочетания, представляющие примеры объектов, ассоциированные с выбранным концептом онтологии Inhabited Locality (Населенный пункт). В данном иллюстративном примере графический интерфейс пользователя может дополнительно содержать таблицу 240, представляющую, фрагмент онтологии, полученный в результате разметки, ассоциированной с выбранным концептом онтологии. Как схематично показано на Фиг. 2В, онтология может хранить одно или несколько значений атрибута для каждого объекта класса Inhabited Locality (Населенный пункт).

[00066] На Фиг. 2С пример графического интерфейса пользователя, содержащий текст на естественном языке, в котором выделены объекты, ассоциированные с концептом Occupation (Профессия). Графический интерфейс пользователя, может включать текстовое окно 250, в котором пользователь может выделять слова и словосочетания, представляющие примеры объектов, ассоциированные с выбранным концептом онтологии Occupation (Профессия). Графический интерфейс может дополнительно содержать таблицу 260, представляющую, полученный фрагмент онтологии, полученный в результате разметки, связанной с выбранным концептом онтологии. Эта онтология, схематично показанная на Фиг. 2С, отражает отношения employer-employee (работодатель-работник), а также определяет атрибут position (положение), связанный с объектом класса employee (работник).

[00067] В вычислительном устройстве, в котором реализован способ 100, может быть реализован интерфейс для визуального представляющий онтологии, полученной в результате анализа текстов на естественном языке в соответствии с одним или несколькими аспектами настоящего изобретения, что схематически показано на Фиг. 3А-3В. На Фиг. 3А показан пример экрана GUI, включающий текстовое окно 310, в котором подсвечены слова и (или) словосочетания, которые представляют собой различные объекты, которые идентифицированы вычислительным устройством как ассоциированные с определенными концептами онтологии. Экран графического интерфейса пользователя может дополнительно содержать таблицу 320, представляющую по меньшей мере фрагмент онтологии, связанной с выбранными концептами онтологии. На Фиг. 3В приведен экран GUI, отображающий по меньшей мере часть графа 350, который включает несколько узлов, соответствующих объектам онтологии и несколько дуг, соответствующих семантическим отношениям между узлами.

[00068] На Фиг. 4 приведена блок-схема одного иллюстративного примера реализации способа 400 для выполнения семантико-синтаксического анализа предложения на естественном языке 412 в соответствии с одним или несколькими аспектами настоящего изобретения. Способ 400 может быть применен к одной или более синтаксическим единицам (например, предложениям), включенным в определенный текстовый корпус, для формирования множества семантико-синтаксических деревьев, соответствующих синтаксическим единицам. В различных иллюстративных примерах подлежащие обработке способом 400 предложения на естественном языке могут извлекаться из одного или нескольких электронных документов, которые могут создаваться путем сканирования (или другим способом получения изображений бумажных документов) и оптического распознавания символов (OCR) для получения текстов, соответствующих этим документам. Предложения на естественном языке также могут извлекаться из других различных источников, включая сообщения, отправляемые по электронной почте, тексты из социальных сетей, файлы с цифровым содержимым, обработанные с использованием способов распознавания речи и т.д.

[00069] В блоке 214 вычислительное устройство, реализующее данный способ, может проводить лексико-морфологический анализ предложения 212 для установления морфологических значений слов, входящих в состав предложения. В настоящем документе "морфологическое значение" слова означает одну или несколько лемм (т.е. канонических или словарных форм), соответствующих слову, и соответствующий набор значений грамматических признаков, которые определяют грамматическое значение слова. В число таких грамматических признаков могут входить лексическая категория (часть речи) слова и один или более морфологических и грамматических признаков (например, падеж, род, число, спряжение и т.д.). Ввиду омонимии и (или) совпадающих грамматических форм, соответствующих разным лексико-морфологическим значениям определенного слова, для данного слова может быть установлено два или более морфологических значений. Более подробное описание иллюстративного примера проведения лексико-морфологического анализа предложения приведено ниже в настоящем документе со ссылкой на Фиг. 5.

[00070] В блоке 215 вычислительное устройство может проводить грубый синтаксический анализ предложения 212. Грубый синтаксический анализ может включать применение одной или нескольких синтаксических моделей, которые могут быть соотнесены с элементами предложения 212, с последующим установлением поверхностных (т.е. синтаксических) связей в рамках предложения 212 для получения графа обобщенных составляющих. В настоящем документе "составляющая" означает группу соседних слов исходного предложения, функционирующую как одна грамматическая сущность. Составляющая включает в себя ядро в виде одного или более слов и может также включать одну или несколько дочерних составляющих на более низких уровнях. Дочерняя составляющая является зависимой составляющей, которая может быть соотнесена с одной или несколькими родительскими составляющими.

[00071] В блоке 216 вычислительное устройство может проводить точный синтаксический анализ предложения 212 для формирования одного или более синтаксических деревьев предложения. Среди различных синтаксических деревьев на основе определенной функции оценки с учетом совместимости лексических значений слов исходного предложения, поверхностных отношений, глубинных отношений и т.д. может быть отобрано одно или несколько лучших синтаксических деревьев, соответствующих предложению 212.

[00072] В блоке 217 вычислительное устройство может обрабатывать синтаксические деревья для формирования семантической структуры 218, соответствующей предложению 212. Семантическая структура 218 может включать множество узлов, соответствующих семантическим классам и также может включать множество дуг, соответствующих семантическим отношениям (более подробное описание см. ниже в настоящем документе).

[00073] Фиг. 5 схематически иллюстрирует пример лексико-морфологической структуры предложения в соответствии с одним или более аспектами настоящего изобретения. Пример лексико-морфологической структуры 500 может включать множество пар "лексическое значение - грамматическое значение" для примера предложения. В качестве иллюстративного примера, "И" может быть соотнесено с лексическим значением "shall" 512 и "will" 514. Грамматическим значением, соотнесенным с лексическим значением 512, является <Verb, GTVerbModal, ZeroType, Present, Nonnegative, Composite II>. Грамматическим значением, соотнесенным с лексическим значением 514, является <Verb, GTVerbModal, ZeroType, Present, Nonnegative, Irregular, Composite II>.

[00074] Фиг. 6 схематически иллюстрирует используемые языковые описания 610, в том числе морфологические описания 201, лексические описания 203, синтаксические описания 202 и семантические описания 204, а также отношения между ними. Среди них морфологические описания 201, лексические описания 203 и синтаксические описания 02 зависят от языка. Набор языковых описаний 610 представляет собой модель определенного естественного языка.

[00075] В качестве иллюстративного примера определенное лексическое значение в лексических описаниях 203 может быть соотнесено с одной или несколькими поверхностными моделями синтаксических описаний 202, соответствующих данному лексическому значению. Определенная поверхностная модель синтаксических описаний 202 может быть соотнесена с глубинной моделью семантических описаний 204.

[00076] На Фиг. 7 схематически иллюстрируются несколько примеров морфологических описаний. В число компонентов морфологических описаний 201 могут входить: описания словоизменения 710, грамматическая система 720, описания словообразования 730 и другие. Грамматическая система 720 включает набор грамматических категорий, таких как часть речи, падеж, род, число, лицо, возвратность, время, вид и их значения (так называемые "граммемы"), в том числе, например, прилагательное, существительное или глагол; именительный, винительный или родительный падеж; женский, мужской или средний род и т.д. Соответствующие граммемы могут использоваться для составления описания словоизменения 710 и описания словообразования 730.

[00077] Описание словоизменения 710 определяет формы данного слова в зависимости от его грамматических категорий (например, падеж, род, число, время и т.д.) и в широком смысле включает в себя или описывает различные возможные формы слова. Описание словообразования 730 определяет, какие новые слова могут быть образованы от данного слова (например, сложные слова).

[00078] В соответствии с одним из аспектов настоящего изобретения при установлении синтаксических отношений между элементами исходного предложения могут использоваться модели составляющих. Составляющая представляет собой группу соседних слов в предложении, ведущих себя как единое целое. Ядром составляющей является слово, она также может содержать дочерние составляющие более низких уровней. Дочерняя составляющая является зависимой составляющей и может быть прикреплена к другим составляющим (родительским) для построения синтаксических описаний 202 исходного предложения.

[00079] На Фиг. 8 приведены примеры синтаксических описаний. В число компонентов синтаксических описаний 202 могут входить, среди прочего, поверхностные модели 410, описания поверхностных позиций 420, описание референциального и структурного контроля 456, описание управления и согласования 440, описание недревесного синтаксиса 450 и правила анализа 460. Синтаксические описания 202 могут использоваться для построения возможных синтаксических структур исходного предложения на заданном естественном языке с учетом свободного линейного порядка слов, не древесных синтаксических явлений (например, согласование, эллипсис и т.д.), референциальных отношений и других факторов.

[00080] Поверхностные модели 410 могут быть представлены в виде совокупностей одной или нескольких синтаксических форм («синтформ» 412) для описания возможных синтаксических структур предложений, входящих в состав синтаксического описания 202. В целом, лексическое значение слова на естественном языке может быть связано с поверхностными (синтаксическими) моделями 410. Поверхностная модель может представлять собой составляющие, которые возможны, если лексическое значение выступает в роли "ядра". Поверхностная модель может включать набор поверхностных позиций дочерних элементов, описание линейного порядка и (или) диатезу. В настоящем документе "диатеза" означает определенное отношение между поверхностными и глубинными позициями и их семантическими ролями, выражаемыми посредством глубинных позиций. Например, диатеза может быть выражаться залогом глагола: если субъект является агентом действия, глагол в активном залоге, а когда субъект является направлением действия, это выражается пассивным залогом глагола.

[00081] В модели составляющих может использоваться множество поверхностных позиций 415 дочерних составляющих и описаний их линейного порядка 416 для описания грамматических значений 414 возможных заполнителей этих поверхностных позиций. Диатезы 417 представляют собой соответствия между поверхностными позициями 415 и глубинными позициями 514 (как показано на Фиг. 9). Коммуникативные описания 480 описывают коммуникативный порядок в предложении.

[00082] Описание линейного порядка (416) может быть представлено в виде выражений линейного порядка, отражающих последовательность, в которой различные поверхностные позиции (415) могут встречаться в предложении. В число выражений линейного порядка могут входить наименования переменных, имена поверхностных позиций, круглые скобки, граммемы, оператор «or» (или) и т.д. В качестве иллюстративного примера описание линейного порядка простого предложения "Boys play football" можно представить в виде "Subject Core ObjectDirect" (Подлежащее - Ядро - Прямое дополнение), где Subject (Подлежащее), Core (Ядро) и Object Direct (Прямое дополнение) представляют собой имена поверхностных позиций 415, соответствующих порядку слов.

[00083] Коммуникативные описания 480 могут описывать порядок слов в синтформе 412 с точки зрения коммуникативных актов, представленных в виде коммуникативных выражений порядка, которые похожи на выражения линейного порядка. Описания управления и согласования 440 может включать правила и ограничения на грамматические значения присоединяемых составляющих, которые используются во время синтаксического анализа.

[00084] Описания недревесного синтаксиса 450 могут создаваться для отражения различных языковых явлений, таких как эллипсис и согласование, они используются при трансформациях синтаксических структур, которые создаются на различных этапах анализа в различных вариантах реализации изобретения. Описания недревесного синтаксиса 450 могут, среди прочего, включать описание эллипсиса 452, описания согласования 454, а также описания референциального и структурного контроля 430.

[00085] Правила анализа 460 могут описывать свойства конкретного языка и использоваться в рамках семантического анализа. Правила анализа 460 могут включать правила вычисления семантем 462 и правила нормализации 464. Правила нормализации 464 могут использоваться для описания трансформаций семантических структур, которые могут отличаться в разных языках.

[00086] На Фиг. 9 приведен пример семантических описаний. Компоненты семантических описаний 204 не зависят от языка и могут, среди прочего, включать семантическую иерархию 510, описания глубинных позиций 520, систему семантем 530 и прагматические описания 540.

[00087] Ядро семантических описаний может быть представлено семантической иерархией 510, в которую могут входить семантические понятия (семантические сущности), также называемые семантическими классами. Последние могут быть упорядочены в иерархическую структуру, отражающую отношения "родитель-потомок". В целом, дочерний семантический класс может унаследовать одно или более свойств своего прямого родителя и других семантических классов-предков. В качестве иллюстративного примера семантический класс SUBSTANCE (Вещество) является дочерним семантическим классом класса ENTITY (Сущность) и родительским семантическим классом для классов GAS, (Газ), LIQUID (Жидкость), METAL (Металл), WOOD MATERIAL (Древесина) и т.д.

[00088] Каждый семантический класс в семантической иерархии 510 может сопровождаться глубинной моделью 512. Глубинная модель 512 семантического класса может включать множество глубинных позиций 514, которые могут отражать семантические роли дочерних составляющих в различных предложениях с объектами данного семантического класса в качестве ядра родительской составляющей. Глубинная модель 512 также может включать возможные семантические классы, выступающие в роли заполнителей глубинных позиций. Глубинные позиции (514) могут выражать семантические отношения, в том числе, например, "agent" (агенс), "addressee" (адресат), "instrument" (инструмент), "quantity" (количество) и т.д. Дочерний семантический класс может наследовать и уточнять глубинную модель своего непосредственного родительского семантического класса.

[00089] Описания глубинных позиций 520 отражают семантические роли дочерних составляющих в глубинных моделях 512 и могут использоваться для описания общих свойств глубинных позиций 514. Описания глубинных позиций 520 также могут содержать грамматические и семантические ограничения в отношении заполнителей глубинных позиций 514. Свойства и ограничения, связанные с глубинными позициями 514 и их возможными заполнителями в различных языках, могут быть в значительной степени подобными и зачастую идентичными. Таким образом, глубинные позиции 514 не зависят от языка.

[00090] Система семантем 530 может представлять собой множество семантических категорий и семантем, которые представляют значения семантических категорий. В качестве иллюстративного примера семантическая категория "DegreeOfComparison" (Степень сравнения) может использоваться для описания степени сравнения прилагательных и включать следующие семантемы: "Positive" (Положительная), "ComparativeHigherDegree" (Сравнительная степень сравнения), "SuperlativeHighestDegree" (Превосходная степень сравнения) и другие. В качестве еще одного иллюстративного примера семантическая категория "RelationToReferencePoint" (Отношение к точке) может использоваться для описания порядка (пространственного или временного в широком смысле анализируемых слов), как, например, до или после точки или события, и включать семантемы "Previous" (Предыдущий) и "Subsequent" (Последующий). В качестве еще одного иллюстративного примера семантическая категория "EvaluationObjective" (Оценка) может использоваться для описания объективной оценки, как, например, "Bad" (Плохой), "Good" (Хороший) и т.д.

[00091] Система семантем 530 может включать независимые от языка семантические атрибуты, которые могут выражать не только семантические характеристики, но и стилистические, прагматические и коммуникативные характеристики. Некоторые семантемы могут использоваться для выражения атомарного значения, которое находит регулярное грамматическое и (или) лексическое выражение в естественном языке. По своему целевому назначению и использованию системы семантем могут разделяться на категории, например, грамматические семантемы 532, лексические семантемы 534 и классифицирующие грамматические (дифференцирующие) семантемы 536.

[00092] Грамматические семантемы 532 могут использоваться для описания грамматических свойств составляющих при преобразовании синтаксического дерева в семантическую структуру. Лексические семантемы 534 могут описывать конкретные свойства объектов (например, "being flat" (быть плоским) или "being liquid" (являться жидкостью)) и использоваться в описаниях глубинных позиций 520 как ограничение заполнителей глубинных позиций (например, для глаголов "face (with)" (облицовывать) и "flood" (заливать), соответственно). Классифицирующие грамматические (дифференцирующие) семантемы 536 могут выражать дифференциальные свойства объектов внутри одного семантического класса. В качестве иллюстративного примера в семантическом классе HAIRDRESSER (ПАРИКМАХЕР) семантема «RelatedToMen» (Относится к мужчинам) присваивается лексическому значению "barber" в отличие от других лексических значений, которые также относятся к этому классу, например, «hairdresser», «hairstylist» и т.д. Используя данные независимые от языка семантические свойства, которые могут быть выражены в виде элементов семантического описания, в том числе семантических классов, глубинных позиций и семантем, можно извлекать семантическую информацию в соответствии с одним или более аспектами настоящего изобретения.

[00093] Прагматические описания 540 позволяют назначать определенную тему, стиль или жанр текстам и объектам семантической иерархии 510 (например, «Экономическая политика», «Внешняя политика», «Юриспруденция», «Законодательство», «Торговля», «Финансы» и т.д.). Прагматические свойства также могут выражаться семантемами. В качестве иллюстративного примера прагматический контекст может приниматься во внимание при семантическом анализе.

[00094] На Фиг. 10 приведен пример лексических описаний. Лексические описания (203) представляют собой множество лексических значений 612 конкретного естественного языка. Для каждого лексического значения 612 имеется связь 602 с его независимым от языка семантическим родителем для того, чтобы указать положение какого-либо заданного лексического значения в семантической иерархии 510.

[00095] Лексическое значение 612 в лексико-семантической иерархии 510 может быть соотнесено с поверхностной моделью 410, которая в свою очередь через одну или несколько диатез 417 может быть соотнесена с соответствующей глубинной моделью 512. Лексическое значение 612 может наследовать семантический класс своего родителя и уточнять свою глубинную модель 512.

[00096] Поверхностная модель 410 лексического значения может включать одну или несколько синтаксических форм 412. Синтформа 412 поверхностной модели 410 может включать одну или несколько поверхностных позиций 415, в том числе соответствующие описания их линейного порядка 416, одно или несколько грамматических значений 414, выраженных в виде набора грамматических категорий (граммем), одно или несколько семантических ограничений, соотнесенных с заполнителями поверхностных позиций, и одну или несколько диатез 417. Семантические ограничения, соотнесенные с определенным заполнителем поверхностной позиции, могут быть представлены в виде одного или более семантических классов, объекты которых могут заполнить эту поверхностную позицию.

[00097] На Фиг. 11 схематически иллюстрируются примеры структур данных, которые могут быть использованы в рамках одного или более методов настоящего изобретения. Снова ссылаясь на Фиг. 4, в блоке 214 вычислительное устройство, реализующее данный способ, может проводить лексико-морфологический анализ предложения 212 для построения лексико-морфологической структуры 722 согласно Фиг. 11. Лексико-морфологическая структура 722 может включать множество соответствий лексического и грамматического значений для каждой лексической единицы (например, слова) исходного предложения. Фиг. 5 схематически иллюстрирует пример лексико-морфологической структуры.

[00098] В блоке 215 вычислительное устройство может проводить грубый синтаксический анализ исходного предложения 212 для построения графа обобщенных составляющих 732 согласно Фиг. 11. Грубый синтаксический анализ предполагает применение одной или нескольких возможных синтаксических моделей возможных лексических значений к каждому элементу множества элементов лексико-морфологической структуры 722, с тем чтобы установить множество потенциальных синтаксических отношений в составе исходного предложения 212, представленных графом обобщенных составляющих 732.

[00099] Граф обобщенных составляющих 732 может быть представлен ациклическим графом, включающим множество узлов, соответствующих обобщенным составляющим исходного предложения 212 и включающим множество дуг, соответствующих поверхностным (синтаксическим) позициям, которые могут выражать различные типы отношений между обобщенными лексическими значениями. В рамках данного способа может применяться множество потенциально применимых синтаксических моделей для каждого элемента множества элементов лексико-морфологических структур исходного предложения 212 для формирования набора составляющих исходного предложения 212. Затем в рамках способа может рассматриваться множество возможных составляющих исходного предложения 212 для построения графа обобщенных составляющих 732 на основе набора составляющих. Граф обобщенных составляющих 732 на уровне поверхностной модели может отражать множество потенциальных связей между словами исходного предложения 212. Поскольку количество возможных синтаксических структур может быть относительно большим, граф обобщенных составляющих 732 может, в общем случае, включать избыточную информацию, в том числе относительно большое число лексических значений по определенным узлам и (или) поверхностных позиций по определенным дугам графа.

[000100] Граф обобщенных составляющих 732 может изначально строиться в виде дерева, начиная с концевых узлов (листьев) и двигаясь далее к корню, путем добавления дочерних составляющих, заполняющих поверхностные позиции 415 множества родительских составляющих, с тем чтобы были охвачены все лексические единицы исходного предложения 212.

[000101] В некоторых вариантах осуществления корень графа обобщенных составляющих 732 представляет собой предикат. В ходе описанного выше процесса дерево может стать графом, так как определенные составляющие более низкого уровня могут быть включены в одну или несколько составляющих верхнего уровня. Множество составляющих, которые представляют определенные элементы лексико-морфологической структуры, затем может быть обобщено для получения обобщенных составляющих. Составляющие могут быть обобщены на основе их лексических значений или грамматических значений 414, например, на основе частей речи и отношений между ними. На Фиг. 12 схематически иллюстрируется пример графа обобщенных составляющих.

[000102] В блоке 216 вычислительное устройство может проводить точный синтаксический анализ предложения 212 для формирования одного или более синтаксических деревьев 742 согласно Фиг. 9 на основе графа обобщенных составляющих 732. Для каждого синтаксического дерева вычислительное устройство может определить интегральную оценку на основе априорных и вычисляемых оценок. Дерево с наилучшей оценкой может быть выбрано для построения наилучшей синтаксической структуры 746 исходного предложения 212.

[000103] В ходе построения синтаксической структуры 746 на основе выбранного синтаксического дерева вычислительное устройство может установить одну или несколько недревесных связей (например, путем создания дополнительной связи среди, как минимум, двух узлов графа). Если этот процесс заканчивается неудачей, вычислительное устройство может выбрать синтаксическое дерево с условно оптимальной оценкой, наиболее близкой к оптимальной, и производится попытка установить одну или несколько недревесных связей в дереве. Наконец, в результате точного синтаксического анализа создается синтаксическая структура 746, которая представляет собой лучшую синтаксическую структуру, соответствующую исходному предложению 212. Фактически в результате отбора лучшей синтаксической структуры 746 определяются лучшие лексические значения 240 для элементов исходного предложения 212.

[000104] В блоке 217 вычислительное устройство может обрабатывать синтаксические деревья для формирования семантической структуры 218, соответствующей предложению 212. Семантическая структура 218 может отражать передаваемую исходным предложением семантику в независимых от языка терминах. Семантическая структура 218 может быть представлена в виде ациклического графа (например, дерево, возможно, дополненное одной или более недревесной связью (дугой графа). Слова исходного предложения представлены узлами с соответствующими независимыми от языка семантическими классами семантической иерархии 510. Дуги графа представляют глубинные (семантические) отношения между элементами предложения. Переход к семантической структуре 218 может осуществляться с помощью правил анализа 460 и предполагает соотнесение одного или более атрибутов (отражающих лексические, синтаксические и (или) семантические свойства слов исходного предложения 212) с каждым семантическим классом.

[000105] На Фиг. 13 приводятся примеры синтаксической структуры предложения, сгенерированной из графа обобщенных составляющих, показанного на Фиг. 12. Узел 901 соответствует лексическому элементу "life" (жизнь) 906. Применяя способ описанного в настоящем документе синтактико-семантического анализа, вычислительное устройство может установить, что лексический элемент "life" (жизнь) 906 представляет одну из форм лексического значения, соотнесенного с семантическим классом "LIVE" (ЖИТЬ) 904 и заполняет поверхностную позицию $Adjunct_Locative 905) в родительской составляющей, представленной управляющим узлом Verb : succeed : succeed : TO_SUCCEED (907).

[000106] На Фиг. 14 приводится семантическая структура, соответствующая синтаксической структуре на Фиг. 13. В отношении вышеупомянутого лексического элемента "life" (жизнь) (906) на Фиг. 13 семантическая структура включает лексический класс 1010 и семантический класс 1030, соответствующие представленным на Фиг. 13, однако вместо поверхностной позиции (905) семантическая структура включает глубинную позицию "Sphere" (сфера деятельности) 1020.

[000107] Как отмечено выше в настоящем документе, в качестве "онтологии" может выступать модель, которая представляет собой объекты, относящиеся к определенной области знаний (предметной области), и отношения между данными объектами. Таким образом, онтология отличается от семантической иерархии, несмотря на то что она может быть соотнесена с элементами семантической иерархии через определенные отношения (также называемые "якоря"). Онтология может включать определения некого множества классов, где каждый класс соответствует концепту предметной области. Каждое определение класса может включать определения одного или более отнесенных к данному классу объектов. Согласно общепринятой терминологии класс онтологии может также означать концепт, а принадлежащий классу объект может означать экземпляр данного концепта.

[000108] В соответствии с одним или несколькими аспектами настоящего изобретения вычислительное устройство, в котором реализованы описанные в настоящем описании способы, может индексировать один или несколько параметров, полученных в результате семантико-синтаксического анализа. Таким образом, способы настоящего изобретения позволяют рассматривать не только множество слов в составе исходного текстового корпуса, но и множество лексических значений этих слов, сохраняя и индексируя всю синтаксическую и семантическую информацию, полученную в ходе синтаксического и семантического анализа каждого предложения исходного текстового корпуса. Такая информация может дополнительно включать данные, полученные в ходе промежуточных этапов анализа, а также результаты лексического выбора, в том числе результаты, полученные в ходе разрешения неоднозначностей, вызванных омонимией и (или) совпадающими грамматическими формами, соответствующими различным лексико-морфологическим значениям некоторых слов исходного языка.

[000109] Для каждой семантической структуры можно создать один или несколько индексов. Индекс можно представить в виде структуры данных в памяти, например, в виде таблицы, состоящей из нескольких записей. Каждая запись может представлять собой установление соответствия между определенным элементом семантической структуры {например, одно слово или несколько слов, синтаксическое отношение, морфологическое, синтаксическое или семантическое свойство или синтаксическая или семантическая структура) и одним или несколькими идентификаторами (или адресами) случаев употребления данного элемента семантической структуры в исходном тексте.

[000110] В некоторых вариантах осуществления индекс может включать одно или несколько значений морфологических, синтаксических, лексических и (или) семантических параметров. Эти значения могут создаваться в процессе двухэтапного семантического анализа (более подробное описание см. в настоящем документе). Индекс можно использовать для выполнения различных задач обработки естественного языка, в том числе для выполнения семантического поиска.

[000111] Вычислительное устройство, реализующее данный способ, может извлекать широкий спектр лексических, грамматических, синтаксических, прагматических и (или) семантических характеристик в ходе проведения синтактико-семантического анализа и создания семантических структур. В иллюстративном примере система может извлекать и сохранять определенную лексическую информацию, данные о принадлежности определенных лексических единиц семантическим классам, информацию о грамматических формах и линейном порядке, информацию об использовании определенных форм, аспектов, тональности (например, положительной или отрицательной), глубинных позиций, недревесных связей, семантем и т.д.

[000112] Вычислительное устройство, в котором реализованы описанные здесь способы, может производить анализ, используя один или несколько описанных в этом документе способов анализа текста, и индексировать любой один или несколько параметров описаний языка, включая лексические значения, семантические классы, граммемы, семантемы и т.д. Индексацию семантического класса можно использовать в различных задачах обработки естественного языка, включая семантический поиск, классификацию, кластеризацию, фильтрацию текста и т.д.. Индексация лексических значений (вместо индексации слов) позволяет искать не только слова и формы слов, но и лексические значения, т.е. слова, имеющие определенные лексические значения. Вычислительное устройство, реализующее способы настоящего изобретения, также может хранить и индексировать синтаксические и семантические структуры, созданные одним или несколькими описанными в настоящем документе способами анализа текста, для использования данных структур и (или) индексов при проведении семантического поиска, классификации, кластеризации и фильтрации документов.

[000113] На Фиг. 15 показан иллюстративный приме вычислительного устройства (1000), которое может исполнять набор команд, которые вызывают выполнение вычислительным устройством любого отдельно взятого или нескольких способов настоящего изобретения. Вычислительное устройство может подключаться к другому вычислительному устройству по локальной сети, корпоративной сети, сети экстранет или сети Интернет. Вычислительное устройство может работать в качестве сервера или клиентского вычислительного устройства в сетевой среде "клиент/сервер" либо в качестве однорангового вычислительного устройства в одноранговой (или распределенной) сетевой среде. Вычислительное устройство может быть представлено персональным компьютером (ПК), планшетным ПК, телевизионной приставкой (STB), карманным ПК (PDA), сотовым телефоном или любым вычислительным устройством, способным выполнять набор команд (последовательно или иным образом), определяющих операции, которые должны быть выполнены этим вычислительным устройством. Кроме того, в то время как показано только одно вычислительное устройство, следует принять, что термин «вычислительное устройство» также может включать любую совокупность вычислительных устройств, которые отдельно или совместно выполняют набор (или несколько наборов) команд для выполнения одной или нескольких методик, описанных в настоящем документе.

[000114] Пример вычислительного устройства (1000) включает процессор (502), основную память (504) (например, постоянное запоминающее устройство (ПЗУ) или динамическую оперативную память (DRAM)) и устройство хранения данных (518), которые взаимодействуют друг с другом по шине (530).

[000115] Процессор (502) может быть представлен одним или более универсальными вычислительными устройствами, например, микропроцессором, центральным процессором и т.д. В частности, процессор (502) может представлять собой микропроцессор с полным набором команд (CISC), микропроцессор с сокращенным набором команд (RISC), микропроцессор с командными словами сверхбольшой длины (VLIW), процессор, реализующий другой набор команд, или процессоры, реализующие комбинацию наборов команд. Процессор (502) также может представлять собой одно или несколько вычислительных устройств специального назначения, например, заказную интегральную микросхему (ASIC), программируемую пользователем вентильную матрицу (FPGA), процессор цифровых сигналов (DSP), сетевой процессор и т.п. Процессор (502) настроен на выполнение команд (526) для осуществления рассмотренных в настоящем документе операций и функций.

[000116] Вычислительное устройство (1000) может дополнительно включать устройство сетевого интерфейса (522), устройство визуального отображения (510), устройство ввода символов (512) (например, клавиатуру), и устройство ввода - сенсорный экран (514).

[000117] Устройство хранения данных (518) может содержать машиночитаемый носитель данных (524), в котором хранится один или более наборов команд (526), и в котором реализован один или более из методов или функций настоящего изобретения. Команды (526) также могут находиться полностью или по меньшей мере частично в основной памяти (504) и/или в процессоре (502) во время выполнения их в вычислительном устройстве (1000), при этом оперативная память (504) и процессор (502) также составляют машиночитаемый носитель данных. Команды (526) дополнительно могут передаваться или приниматься по сети (516) через устройство сетевого интерфейса (522).

[000118] В некоторых вариантах осуществления команды (526) могут включать в себя команды способа (800) на создание онтологий на основе анализа текстов на естественном языке. В то время как машиночитаемый носитель данных (524), показанный на примере на Фиг. 4, является единым носителем, термин «машиночитаемый носитель» должен включать один носитель или несколько носителей (например, централизованную или распределенную базу данных, и/или соответствующие кэши и серверы), в которых хранится один или более наборов команд. Термин "машиночитаемый носитель данных" также следует рассматривать как термин, включающий любой носитель, который способен хранить, кодировать или переносить набор команд для выполнения машиной, который заставляет эту машину выполнять любую одну или несколько из методик, описанных в настоящем раскрытии изобретения. Таким образом, термин «машиночитаемый носитель данных», помимо прочего, также относится к твердотельной памяти и оптическим и магнитным носителям.

[000119] Описанные в документе способы, компоненты и функции могут быть реализованы дискретными аппаратными компонентами, либо они могут быть интегрированы в функции других аппаратных компонентов, таких как ASICS, FPGA, DSP или подобных устройств. Кроме того, способы, компоненты и функции могут быть реализованы с помощью модулей встроенного программного обеспечения или функциональных схем аппаратных устройств. Способы, компоненты и функции также могут быть реализованы с помощью любой комбинации вычислительных средств и программных компонентов, либо исключительно с помощью программного обеспечения.

[000120] В приведенном выше описании изложены многочисленные детали. Однако специалисту в этой области техники благодаря этому описанию очевидно, что настоящее изобретение может быть реализовано на практике без этих конкретных деталей. В некоторых случаях хорошо известные структуры и устройства показаны в виде блок-схемы, а не детально, чтобы не усложнять описание настоящего изобретения.

[000121] Некоторые части описания предпочтительных вариантов реализации представлены в виде алгоритмов и символического представления операций с битами данных в памяти компьютера. Такие описания и представления алгоритмов представляют собой средства, используемые специалистами в области обработки данных, чтобы наиболее эффективно передавать сущность своей работы другим специалистам в данной области. В настоящем документе и в целом алгоритмом называется самосогласованная последовательность операций, приводящих к требуемому результату. Операции требуют физических манипуляций с физическими величинами. Обычно, хотя и не обязательно, эти величины принимают форму электрических или магнитных сигналов, которые можно хранить, передавать, комбинировать, сравнивать и подвергать другим манипуляциям. Оказалось, что прежде всего для обычного использования удобно описывать эти сигналы в виде битов, значений, элементов, символов, членов, цифр и т.д.

[000122] Однако следует иметь в виду, что все эти и подобные термины должны быть связаны с соответствующими физическими величинами, и что они представляют собой просто удобные метки, применяемые к этим величинам. Если иное специально и недвусмысленно не указано в нижеследующем обсуждении, следует принимать, что везде по тексту такие термины как "определение", "вычисление", "расчет", "вычисление", "получение", "установление", "изменение" и т.п., относятся к действиям и процессам вычислительного устройства или аналогичного электронного вычислительного устройства, которое работает с данными и преобразует данные, представленные в виде физических (например, электронных) величин в регистрах и памяти вычислительного устройства, в другие данные, аналогичным образом представленные в виде физических величин в памяти или регистрах вычислительного устройства, либо других подобных устройствах хранения, передачи или отображения информации.

[000123] Настоящее изобретение также относится к устройству для выполнения операций, описанных в настоящем документе. Такое устройство может быть специально сконструировано для требуемых целей или оно может содержать универсальный компьютер, который избирательно активируется или реконфигурируется с помощью компьютерной программы, хранящейся в компьютере. Такая компьютерная программа может храниться на машиночитаемом носителе данных, таком как, в числе прочих, диск любого рода, в том числе дискеты, оптические диски, компакт-диски, магнитно-оптические диски, постоянные запоминающие устройства (ПЗУ), оперативные запоминающие устройства (ОЗУ), СППЗУ, ЭППЗУ, магнитные или оптические карты и другие виды носителей данных, подходящие для хранения электронных команд.

[000124] Следует понимать, что вышеприведенное описание носит иллюстративный, а не ограничительный характер. Различные другие варианты осуществления станут очевидны специалистам в данной области техники после прочтения и понимания приведенного выше описания. Поэтому объем раскрытия должен определяться со ссылкой на прилагаемую формулу изобретения наряду с полным объемом эквивалентов, на которые такие требования предоставляют право.

Изобретение относится к системам и способам обработки естественного языка. Технический результат заключается в повышении степени близости семантических структур с определенным концептом онтологии. Способ поиска и извлечения сущностей в текстах на естественном языке включает получение вычислительным устройством посредством пользовательского интерфейса идентификаторов первого множества групп слов в тексте на естественном языке, ассоциацию объекта, выполнение семантико-синтаксического анализа текста на естественном языке для получения первого множества семантических структур, определение в тексте на естественном языке второго множества групп слов, в ответ на получение подтверждения того, что группа слов из второго множества групп слов представляет объект, ассоциированный с тем же концептом онтологии, изменение параметра модели классификации, используемой для классификации семантических структур, отражающего степень ассоциации данного объекта с соответствующим концептом онтологии. 3 н.п. и 15 з.п. ф-лы, 18 ил.

1. Способ поиска и извлечения сущностей в текстах на естественном языке, включающий

получение вычислительным устройством посредством пользовательского интерфейса идентификаторов первого множества групп слов в тексте на естественном языке, причем каждая группа слов содержит одно или более слов естественного языка;

ассоциацию объекта, представленного каждой группой слов, с некоторым концептом онтологии;

выполнение семантико-синтаксического анализа текста на естественном языке для получения первого множества семантических структур, ассоциированных с первым множеством групп слов;

определение в тексте на естественном языке второго множества групп слов, в которых каждая группа слов из второго множества групп слов представляет семантическую структуру и ассоциирована с тем же концептом онтологии;

в ответ на получение подтверждения того, что группа слов из второго множества групп слов представляет объект, ассоциированный с тем же концептом онтологии, изменение параметра модели классификации, используемой для классификации семантических структур, отражающего степень ассоциации данного объекта с соответствующим концептом онтологии.

2. Способ по п. 1, отличающийся тем, что определение второго множества групп слов дополнительно включает

определение второго множества семантических структур, причем каждая семантическая структура из второго множества представляет предложение, содержащее по меньшей мере одну группу слов из второго множества групп слов;

определение в первом множестве семантических структур семантической структуры, схожей по меньшей мере с одной семантической структурой из второго множества семантических структур для некоторой метрики сходства; и

определение группы слов, принадлежащей определенной семантической структуре из второго множества семантических структур, как ассоциированной со вторым множеством групп слов.

3. Способ по п. 1, дополнительно содержащий

использование модели классификации для извлечения информации из текстов на естественном языке.

4. Способ по п. 1, дополнительно включающий

использование онтологии для выполнения операций обработки естественного языка.

5. Способ по п. 1, дополнительно включающий

предварительный анализ структуры документа на естественном языке для получения вспомогательной онтологии, отражающей структуру документа.

6. Способ по п. 1, дополнительно включающий

получение второго текста на естественном языке;

выполнение семантико-синтаксического анализа второго текста на естественном языке для получения второго множества семантических структур;

использование модели классификации для определения второй семантической структуры, представляющей второй объект, связанный с данным концептом.

7. Способ по п. 6, отличающийся тем, что определение второй семантической структуры дополнительно включает

определение множества значений, полученных с помощью модели классификации, причем каждое значение отражает степень ассоциации второй семантической структуры с соответствующим концептом онтологии;

выбор оптимального значения из определенного множества значений; и

ассоциацию второй семантической структуры с концептом, соответствующим выбранному оптимальному значению.

8. Способ по п. 1, отличающийся тем, что семантическая структура является графом, включающим множество узлов, соответствующих семантическим классам, и множество дуг, соответствующих семантическим отношениям.

9. Система поиска и извлечения сущностей в текстах на естественном языке, содержащая

память;

процессор, связанный с этой памятью, причем этот процессор настроен на

получение вычислительным устройством посредством пользовательского интерфейса идентификаторов первого множества групп слов в тексте на естественном языке, причем каждая группа слов содержит одно или более слов естественного языка;

ассоциацию объекта, представленного каждой группой слов, с некоторым концептом онтологии;

выполнение семантико-синтаксического анализа текста на естественном языке для получения первого множества семантических структур, ассоциированных с первым множеством групп слов;

определение в тексте на естественном языке второго множества групп слов, в которых каждая группа слов из второго множества групп слов представляет семантическую структуру и ассоциирована с тем же концептом онтологии;

в ответ на получение подтверждения того, что группа слов из второго множества групп слов представляет объект, ассоциированный с тем же концептом онтологии, изменение параметра модели классификации, используемой для классификации семантических структур, отражающего степень ассоциации данного объекта с соответствующим концептом онтологии.

10. Система по п. 9, отличающаяся тем, что для определения второго множества групп слов процессор дополнительно выполнен с возможностью

определения второго множества семантических структур, причем каждая семантическая структура из второго множества представляет предложение, содержащее по меньшей мере одну группу слов из второго множества групп слов;

определения в первом множестве семантических структур семантической структуры, схожей по меньшей мере с одной семантической структурой из второго множества семантических структур для некоторой метрики сходства; и

определения группы слов, принадлежащей определенной семантической структуре из второго множества семантических структур, как ассоциированной со вторым множеством групп слов.

11. Система по п. 9, отличающаяся тем, что процессор дополнительно имеет возможность

использования модели классификации для извлечения информации из текстов на естественном языке.

12. Система по п. 9, отличающаяся тем, что процессор дополнительно имеет возможность

использовать онтологию для выполнения операций обработки естественного языка.

13. Система по п. 9, отличающаяся тем, что процессор дополнительно имеет возможность

получения второго текста на естественном языке;

выполнения семантико-синтаксического анализа второго текста на естественном языке для получения второго множества семантических структур;

использования модели классификации для определения второй семантической структуры, представляющей второй объект, связанный с данным концептом.

14. Система по п. 13, отличающаяся тем, что для определения второй семантической структуры процессор дополнительно выполнен с возможностью

определять множество значений, полученных с помощью модели классификации, причем каждое значение отражает степень ассоциации второй семантической структуры с соответствующим концептом онтологии;

выбирать оптимальное значение из определенного множества значений; и

ассоциировать вторую семантическую структуру с концептом, соответствующим выбранному оптимальному значению.

15. Энергонезависимый машиночитаемый носитель данных, содержащий исполняемые команды, которые при выполнении в вычислительном устройстве заставляют это вычислительное устройство выполнять операции, включающие

получение вычислительным устройством посредством пользовательского интерфейса идентификаторов первого множества групп слов в тексте на естественном языке, причем каждая группа слов содержит одно или более слов естественного языка;

ассоциацию объекта, представленного каждой группой слов, с некоторым концептом онтологии;

выполнение семантико-синтаксического анализа текста на естественном языке для получения первого множества семантических структур, ассоциированных с первым множеством групп слов;

определение в тексте на естественном языке второго множества групп слов, в которых каждая группа слов из второго множества групп слов представляет семантическую структуру и ассоциирована с тем же концептом онтологии;

в ответ на получение подтверждения того, что группа слов из второго множества групп слов представляет объект, ассоциированный с тем же концептом онтологии, изменение параметра модели классификации, используемой для классификации семантических структур, отражающего степень ассоциации данного объекта с соответствующим концептом онтологии.

16. Энергонезависимый машиночитаемый носитель данных по п. 15, отличающийся тем, что выполняемые команды для определения второго множества групп слов дополнительно содержат исполняемые команды, заставляющие это вычислительное устройство осуществлять

определение второго множества семантических структур, причем каждая семантическая структура из второго множества представляет предложение, содержащее по меньшей мере одну группу слов из второго множества групп слов;

определение в первом множестве семантических структур семантической структуры, схожей по меньшей мере с одной семантической структурой из второго множества семантических структур для некоторой метрики сходства; и

определение группы слов, принадлежащей определенной семантической структуре из второго множества семантических структур, как ассоциированной со вторым множеством групп слов.

17. Энергонезависимый машиночитаемый носитель данных по п. 15, дополнительно содержащий исполняемые команды для устройства обработки, обеспечивающие возможность

использования модели классификации для извлечения информации из текстов на естественном языке.

18. Энергонезависимый машиночитаемый носитель данных по п. 17, дополнительно содержащий исполняемые команды для устройства обработки, обеспечивающие возможность

использовать онтологию для выполнения операций обработки естественного языка.