Государственное образовательное учреждение

высшего профессионально образования

«Ижевский государственный технический университет»

На правах рукописи

Бледнов Андрей Михайлович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МОДЕЛЕЙ И ИНФОРМАЦИОННОЙ ТЕХНОЛОГИИ СЕМАНТИКО-СИНТАКСИЧЕСКОГО АНАЛИЗА РУССКОЯЗЫЧНОГО ТЕКСТА

Специальность:

05.13.18 – Математическое моделирование, численные методы и комплексы программ;

05.13.01 – Системный анализ, управление и обработка информации

(в машиностроении и вычислительной технике)

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель:

к.т.н., профессор

Моченов Станислав Васильевич

Ижевск – 2007

ОГЛАВЛЕНИЕ

УСЛОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ 3

ВВЕДЕНИЕ 4

1. ТЕОРЕТИЧЕСКИЙ ОБЗОР МЕТОДОВ АНАЛИЗА ТЕКСТА 12

1.1. Задачи обработки текстов 12

1. 2. Этапы анализа текста 19

1.2.1. Общая схема обработки текстов 19

1.2.2. Анализ отдельных слов (морфологический анализ) 21

1.2.3. Анализ отдельных предложений (синтаксический анализ) 22

1.2.4. Семантический анализ 24

1.3. Методы семантического анализа 25

1.4. Комплексные интеллектуальные программные системы для обработки текстов 30

1.5. Выводы и постановка задачи исследования 34

2. РАЗРАБОТКА И ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКОЙ МОДЕЛИ ТЕКСТА 37

2. 1. Статистическая модель текста 39

2.2. Информационный портрет текста 47

2.3. Выводы по второй главе 51

3. ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ АНАЛИЗА ТЕКСТА 53

3.1. Описание модели текста 54

3.2. Этапы анализа текста 62

3.3. Семантические анализ 67

3.4. Выводы по третьей главе 71

4. СИСТЕМА АНАЛИЗА ТЕКСТА 73

4.1. Архитектура системы и сценарий диалога 73

4.2. Эксперименты с текстом 76

4.2.1. Изучение статистических характеристик текста 76

4.2.1. Выделение векторов цели 81

4.3. Пополнение баз знаний на основе информационной технологии 87

4.4. Выводы по четвертой главе 90

ЗАКЛЮЧЕНИЕ 92

СПИСОК ЛИТЕРАТУРЫ 96

ПРИЛОЖЕНИЕ 1 105

ПРИЛОЖЕНИЕ 2 109

ПРИЛОЖЕНИЕ 3 110

ПРИЛОЖЕНИЕ 4 111

ПРИЛОЖЕНИЕ 5 119

УСЛОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

ВМТ-метод – векторный метод анализа текста;

ИГ - именованная группа;

ИжГТУ – Ижевский государственный технический университет;

ЕЯ – естественный язык;

ТПБЗ - технология пополнения базы знаний.

ЛП – лингвистический процессор

ETL-процессы (extract, transfer, load) – процессы выделения, преобразования и загрузки;

ILP (Inductive Logic Programming) - программирование на основе индуктивной логики;

NLP (Natural Language Processing) - обработка естественного языка;

OLAP (Online Analytical Processing) – оперативная аналитическая обработка данных;

SEL-словари (Sense Enumerative Lexicons) – семантические словари.

ВВЕДЕНИЕ

С развитием информационных технологий высокими темпами растут объемы информации по тем или направлениям развития науки и техники. В качестве источников могут выступать различные информационные ресурсы (Интернет, лекции, электронные книги, диссертации, статьи, журналы и др.), представленные в текстовом виде. Актуальность задачи компьютерного анализа текстовой информации связана с необходимостью обработки пользователем больших объемов неструктурированной информации по его профессиональной деятельности.

Среди задач обработки текстов можно выделить следующие: автоматическое реферирование, автоматический машинный перевод, определение принадлежности текста конкретному автору, создание профессиональных каталогов и др.

Особую актуальность приобретает разработка методов извлечения и формирования новых знаний, необходимых для решения конкретных задач в той или иной профессиональной деятельности специалиста. Одним из стратегических направлений решения данной проблемы является комплексное системное использование различных лингвистических подходов и методов искусственного интеллекта, направленных на сокращение объемов хранимой информации, выявление семантической составляющей текста, определяющей основную идею, заложенную автором.

Проблеме анализа текстовых документов посвящено значительное количество работ [1, 2, 7, 16, 18, 20, 21, 26, 37, 41 - 45, 60, 64, 66, 81-83, 88-90, 94-98]. В качестве широко используемых методов компьютерного анализа выделяют статистические и лингвистические методы [4, 31, 33, 48, 57, 66, 71, 80, 87].

Статистические методы достаточно хорошо зарекомендовали себя при построении поисковых систем, выделении ключевых слов и словосочетаний и т.п. В основном в них используются общие законы теории вероятности и математической статистики. Ряд алгоритмов основаны на использовании закона Зипфа [25].

В то же время, при решении задач анализа текстовой информации, возникающих при построении информационных систем, в частности, при формировании профессиональных баз знаний, требуется привлечение алгоритмически более сложных процедур проведения синтаксического и семантического анализа.

Основную часть знаний специалисты конкретной предметной области получают в результате сравнения, анализа и синтеза информации из разрозненных фактов, размещенных в текстах. При работе с большими потоками документов процесс автоматического структурирования текстовой информации заменяет экспертный процесс выделения фактографической информации и объектов, выполняемый вручную. В работе рассматривается использование новой технологии извлечения знаний из текстов на русском языке.

До 85% новых знаний пользователи получают, изучая тексты и в ближайшем будущем наиболее востребованными будут системы с максимально автоматизированными ETL-процессами (extract, transfer, load - сбор, выделение, преобразование, загрузка) структурирования контента [38]. Другой важной чертой современных технологий является наличие функции оперативного анализа информации, полученной по запросу для выбора дальнейшего направления исследования документов, выполняемой с помощью методов интеллектуального анализа текста.

Основные методы анализа текста достаточно подробно изложены в трудах Апресяна Ю.Д., Виноградова Д.В., Гладкого А.В., Клосса Б.М., Кожуновой О.С., Мельчука И.Д., Солтона Г., Селезнева К., Супруна А.Е., Тодда А., Трубецкого Н.С., Филмора Ч., Финна В.К., Фоменко А.Т., Харина Н. П., Шведовой Н.Ю. и др. Ряд современных усовершенствованных методов представлены в статьях Ермакова А.Е., Леонтьевой Н.Н., Мозгового М.В., Плешко В.В., Сокирко А., Толпегина П.В., Тузова В.А. и др. За последние 10 лет реализованы и специализированные программные средства для анализа и поиска информации, например, такие как Cros (Кронос-Информ), diskMETA (ЗАО “META”), Oracle Text, ODB-Text (НПЦ «ИНТЕЛТЕК ПЛЮС»), TextAnalyst, инструменты компании Smartware, XANALYS Link Explorer, «Аналитический курьер», инструменты компании Гарант-Парк-Интернет, «Медиалогия», «Система управления досье X-Files» и целый ряд других.

Анализ текста предполагает извлечение семантически связанной, полезной для пользователя информации, которая может быть использована им при построении различных онтологий, классификаторов, банков данных, баз данных, баз и систем знаний, в том числе, профессиональных [17, 19, 24, 27, 53, 69].

Однако можно отметить, что на текущий момент задачи автоматического проведения анализа русскоязычных текстов до конца не решены. Это связано, в первую очередь, с характерной особенностью русскоязычных текстов, отличающихся разнообразием и сложностью структуры предложений. Существующие методы компьютерного анализа текста показывают относительно невысокие результаты на уровне семантического анализа предложений сложной структуры.

Таким образом, существующие методы компьютерного анализа текста не полностью обеспечивают потребности конечных пользователей, связанные с обработкой русскоязычных текстов, автоматизацией процессов накопления и использования информационных ресурсов по различным направлениям профессиональной деятельности. Указанные обстоятельства и обусловили выбор темы диссертационного исследования.

Объектом исследования являются методы компьютерного анализа русскоязычного текста на естественном языке.

Предметом исследования являются методы синтаксического и семантического анализа русскоязычного текста.

Целью диссертационной работы является разработка и исследование моделей и информационной технологии семантико-синтаксического анализа русскоязычного текста, обеспечивающих эффективное решение экспертом задач, связанных со структуризацией текстовой информации и формированием информационных ресурсов.

Для достижения поставленной цели требуется решение следующих задач:

• проведение оценки современного состояния проблем анализа русскоязычных текстов и выявление направлений возможных вариантов совершенствования методов анализа текста;

• разработка процедуры нормализации сложных предложений русскоязычного текста;

• построение статистической и векторной моделей текста;

• исследование методов сокращения объема текстовой информации;

• разработка информационной технологии семантико-синтаксического анализа;

• экспериментальная проверка предложенных решений анализа русскоязычных текстов на базе специально созданной компьютерной программы.

Методы исследований. Теоретические исследования выполнены с применением методов системного анализа, метода аналогий, теории графов и математической логики, методов искусственного интеллекта.

Исследование базируется на всестороннем анализе отечественных и зарубежных источников, сравнительном анализе известных программных продуктов компьютерной обработки текстовой информации.

Экспериментальные исследования выполнены с помощью разработанного программного комплекса анализа текстовой информации.

На защиту выносятся предлагаемые модели анализа текстовой информации, а также результаты исследования предложенных методов:

• статистическая модель текста;

• векторная модель текста;

• векторная технология анализа текстовой информации;

• метод нормализации сложных предложений;

• структурная схема и IDEF0-диаграмма процессов анализа текстовой информации в программной системе, созданной на основе предложенных моделей и технологии;

• сравнительный анализ результатов работы известных компьютерных программ с результатами работы разработанного компьютерного комплекса «ТЕКСТАН».

Научная новизна полученных результатов заключается в следующем:

• разработана векторная модель представления текста, основанная на целевой функции структурной единицы текста;

• разработан метод нормализации сложных предложений русскоязычных текстов;

• разработана информационная технология анализа русскоязычного текста, включающая в себя этап предварительного анализа и этап семантико-синтаксического анализа текста, при этом, на этапе предварительного анализа текста осуществляется сокращение объема текстовой информации за счет направленной фильтрации с использованием статистических методов анализа, а на этапе семантико-синтаксического анализа проводится качественный разбор и осуществляется структуризация текста, представляемая в виде развернутого плана анализируемого текстового документа.

Практическая полезность. Разработанные модели и технология анализа русскоязычных текстов позволяют повысить эффективность систем анализа текста за счет:

• направленной фильтрации на этапе предварительной обработки и уменьшения за счет этого объема обрабатываемой информации;

• применения векторной технологии анализа текста, обеспечивающей высокий уровень структуризации текста и формирование развернутого плана анализируемого текстового документа для работы эксперта;

• применения процедуры нормализации сложного предложения, обеспечивающей однозначное разбиение сложного предложения на множество простых.

Полученные результаты могут быть применимы для дальнейшей научной разработки принципов и методов, связанных с разработкой профессионально-ориентированных информационных систем и формированием соответствующих информационных ресурсов.

Разработанная информационная технология может быть использована при решении следующих задач анализа и обработки русскоязычных текстов:

• классификации объектов;

• разработки систем информационного поиска;

• формирования информационных ресурсов;

• разработки технологий машинного перевода;

• разработки модулей проверки правописания;

• разработки диалоговых систем;

• определения авторства;

• создания spam – фильтров для электронной почты;

• синтеза текстовой информации и др.

Практические рекомендации по решению указанных выше задач могут быть использованы в деятельности образовательных учреждений, коммерческих и других предприятий при создании и использовании соответствующих информационных ресурсов.

Реализация результатов работы. Основные положения, модели и технология обработки русскоязычных текстов реализованы автором в виде программного комплекса «ТЕКСТАН». Данный программный комплекс разработан как часть программного обеспечения информационной системы ИжГТУ и применен при формировании «Фонда электронных изданий» (создание онтологий предметных областей, формирование рефератов, выделение метаинформации) по направлению «Информатика и вычислительная техника».

Программный комплекс «ТЕКСТАН» послужил прототипом создания АРМ преподавателя для подготовки к лекционным и практическим занятиям.

Апробация работы. Основные положения диссертационной работы докладывались на следующих конференциях: научно-техническая конференция с международным участием в рамках форума «Высокие технологии - 2004», ноябрь 2004, г. Ижевск; научная конференции «Технологии информатизации профессиональной деятельности (в науке, образовании и промышленности)», Ижевск, 23-26 ноября 2004 г.; международная научная конференции аспирантов «Управление экономикой в условиях интеграции хозяйственных систем», г. Ижевск, 18-20 апреля 2005 г.; межрегиональная научно-практическая конференция «Реализация стратегии устойчивого развития города Ижевска: опыт и проблемы, г. Ижевск, 28 сентября 2005 г.; международная научная конференция «Современные информационные технологии и письменное наследие: от древних рукописей к электронным текстам», г. Ижевск, 13-17 июля 2006 г.; на рабочих семинарах, проводимых Управлением информатизации и Центром телекоммуникаций и технологий Интернет ИжГТУ по вопросам создания «Фонда электронных изданий» и организации дистанционного обучения.

Публикации. По материалам диссертации опубликовано 6 статей.

Структура и объем работы определены целью и задачами исследования. Работа состоит из введения, четырех глав, заключения, библиографии и при­ложений. Основной текст изложен на 120 машинописных страницах с иллюстрациями. Список литературы включает 102 наименования.

Аннотация диссертационной работы по главам.

В первой главе диссертационной работы описаны существующие методы и подходы к анализу текстовой информации. Основное внимание уделено особенностям анализа русскоязычных текстов.

Во второй главе диссертационной работы описывается разработанная автором модель и метод статистического анализа текстовой информации.

В данной главе описываются некоторые результаты исследований, проведенных с целью определения статистических зависимостей, характеризующих текстовые документы из различных предметных областей.

В третьей главе рассматриваются вопросы, связанные с разработкой алгоритмов морфологического, синтаксического и семантического анализа текста.

Основное внимание в работе уделено разработке методов, связанных с семантико-синтаксическим анализом текста.

В четвертой главе описываются архитектура системы анализа текста, которая была разработана и использована для проведения экспериментальных исследований.

Экспериментальные исследования разработанных моделей, алгоритмов и методов проводились в основном на текстах следующих предметных областей: техническом, экономическом, экологическом и правовом.

В ходе проведения экспериментов решались такие задачи как проверка правильности выделения именованных групп, определения ключевых слов, выделение векторов цели предложений и абзацев, структуризация текста.

В заключении приведена общая характеристика работы, а также основные выводы и результаты диссертационного исследования.

1. ТЕОРЕТИЧЕСКИЙ ОБЗОР МЕТОДОВ АНАЛИЗА ТЕКСТА

1.1. Задачи обработки текстов

Области применения результатов анализа могут быть самыми разнообразными. Среди них можно выделить следующие основные области применения:

• классификаторы предметных областей;

• классификаторы объектов;

• рубрикаторы (каталогизация документов);

• системы информационного поиска;

• технология для машинного перевода;

• автореферирование;

• модули проверки правописания;

• диалоговые системы;

• определение авторства (поиск плагиата);

• spam – фильтры для электронной почты;

• база знаний для процедуры синтеза.

К наиболее актуальным средствам интеллектуального анализа текстов относят: технологии выделения фактографической информации об объектах с учетом анафорических ссылок (ссылочные местоимения на объект, ранее поименованный в тексте) на них; нечеткий поиск; тематическое и тональное (точность и полнота) рубрицирование; кластерный анализ хранилищ и подборок документов; выделение ключевых тем; построение аннотаций; построение многомерных частотных распределений документов и их исследование с помощью OLAP-технологии; использование методов интеллектуального анализа текста для определения направления исследования больших подборок документов и извлечения новых знаний.

Рассмотрим некоторые из задач обработки текста.

Реферат. Реферат представляет собой переработанный исходный текст, содержащий основные идеи и моменты источника [47].

При анализе коллекций электронных документов более наглядное и структурированное представление содержания одной или нескольких коллекций электронных документов дает интерактивная семантическая карта взаимосвязей тем документов. Современные системы аналитической обработки текстовой информации обладают средствами автоматического составления рефератов, при этом существует два подхода к этой задаче [69]:

1. Удаление из исходного текста не информативных предложений (предложений определенной структуры или предложений, имеющих определенные заданные характеристики) [47, 64];

2. Конструирование реферата исходного текста [52, 54, 67].

В первом подходе программа-аннотатор извлекает из первоисточника небольшое количество фрагментов, в которых наиболее полно представлено содержание документа. Это могут быть: предложения, содержащие термы запроса; фрагменты предложений с окружением термов несколькими словами и др. В более развитых системах выделяются предложения, прямо содержащие ключевые темы документа (но не кореферентные ссылки на них).

При втором подходе, реферат представляет собой синтезированный документ в виде краткого содержания. Второй подход включает в себя три этапа: анализ текста и построение его формального описания; выбор из этого описания ключевых моментов; формирование реферата. Реферат, сформированный в соответствии с первым подходом, качественно уступает реферату, получаемому при синтезе.

Основные сложности, связанные с первым подходом, заключаются в определении ключевых предложений текста и последующем увязывании этих предложений в единый, удобочитаемый текст. Для повышения качества реферирования необходимо решить проблему обработки кореферентных ссылок в русском языке.

Еще одной проблемой, возникающей при синтезе реферата, является отсутствие средств семантического анализа и синтеза текста на русском языке [69], поэтому сервисы реферирования ориентированы либо на узкую предметную область, либо требуют участия человека.

В описании к заявке на изобретение [101] представлен способ автоматического реферирования при помощи ЭВМ несегментированного текста на языке с идеографической системой письменности, включающий в себя частотный и дистрибутивный методы для определения наиболее значимых единиц текста, на основе которых составляют реферат текста. Полученный реферат отличается тем, что в качестве основных элементов анализа используют знаки системы письменности идеографических языков - иероглифы, при этом каждую единицу текста индексируют, для каждого иероглифа подсчитывают относительную частоту в данном тексте и сравнивают ее с частотой данного иероглифа в генеральной совокупности. Затем на основе отношения «относительная частота в тексте / относительная частота в генеральной совокупности» (семантический вес) определяют семантически наиболее значимые иероглифы для данного текста. При этом предложения, средний семантический вес иероглифов которых выше порогового значения (например, среднего значения для всех предложений), считают семантически значимыми и включают в реферат текста.

На сегодняшний день имеются как научные, так и коммерческие разработки систем реферирования и аннотирования, способные обрабатывать русскоязычные тексты [82].

Большинство программ-аннотаторов построены по принципу выделения фрагментов текста. Например, исследовательская система eXtragon [64] ориентирована на аннотирование Web-документов. Для каждого предложения документа вычисляется вес на основе информации о ключевых словах, значимых словосочетаниях, их месте в тексте и присутствии в запросе, после чего предложения ранжируются, и из нескольких фраз с максимальным весом составляется реферат. В системе «Аналитический курьер» [54] аннотация документа автоматически формируется из его фрагментов, а ее объём зависит от главных тем документа и настроек. В аннотацию по объектам или проблемам могут включаться предложения документа, содержащие анафорические ссылки. Кроме этого, имеется компонент создания общей аннотации на основе взаимосвязей тем в семантической сети этой подборки документов.

Контекстно-свободный поиск. Одна из наиболее изученных задач — контекстно-свободный поиск текстовой информации [24, 32]. Ее смысл заключается в следующем: имеется большой набор файлов, содержащих тексты на некотором естественном языке, и задана некоторая строка. Необходимо найти все файлы, в которых встречается данная строка или похожая текстовая информация. В подавляющем большинстве случаев необходим именно «нечеткий» поиск (т.е. поиск по смыслу слова с учетом специфики естественного языка). Большинство существующих систем основываются исключительно на морфологическом анализе слов и не задействуют более сложных схем анализа.

В современных системах используется двухфазная технология аналитической обработки [19, 22]. В первой фазе (ETL) производится автоматизированный анализ отдельных документов, структуризация их контента и формирование хранилищ исходной и аналитической информации. Во второй фазе (OLAP, Text Mining и Data Mining) – извлечение в оперативном режиме знаний из хранилища или из полученной по запросу подборки документов.

Среди перечисленных задач наиболее важной является задача извлечение информации из текстов и представление ее в виде формальной системы знаний (в частности, в виде семантической сети).

На данный момент имеется целый ряд программ автоматизированного компьютерного анализа текста для компьютеров IBM. Среди них можно выделить ARRAS, TACT, TextPack V, SYREX, SATO, Oracle Text, ODB-Text, «Аналитический курьер», инструменты компании Гарант-Парк-Интернет, «Медиалогия», «Система управления досье X-Files» и целый ряд других [12, 13, 17, 27, 33].

Другие системы поиска, в частности, ориентированные на Интернет-ресурсы, используют общий закон Зипфа, который выражается в следующем [38]. В каждом языке есть слова, которые встречаются чаще, чем остальные, но не имеют значения, а есть слова, которые встречаются реже, но имеют намного большее смысловое значение. Сущность этого закона заключается в том, что частота использования n-го, наиболее часто употребляемого в тексте слова, в естественных языках приблизительно обратно пропорциональна n.

В описании к заявке на изобретение [100] рассматривается способ поиска информации с использованием информационно-поисковой системы. Суть метода заключается в том, что терминам вектора запроса присваивают порядковые номера, затем поиск осуществляют с занесением в память компьютера номеров документов, в которых присутствует хотя бы один термин вектора запроса. В память компьютера заносят количество совпавших терминов с терминами запроса и порядковые номера совпавших терминов. После этого документы сортируют по классам с равным количеством совпавших терминов, отличающихся тем, что внутри каждого класса формируют подклассы индекса i класса индекса j, характеризующиеся полным совпадением номеров терминов. Затем определяют количество документов (n_ij) в подклассе индекса i класса индекса j и определяют количество документов (n_j) класса j, вероятность принадлежности документа к подклассу i, при условии его принадлежности к классу j.

Определение принадлежности документа к автору осуществляется по некоторым характеристикам, которые вычисляются с некоторой долей вероятности [6, 7]. Помимо авторства, данные технологии применимы также для установления жанра, времени и места создания произведения.

Первые методики опирались на количественные характеристики анализируемого произведения [32, 33, 72, 76, 78, 80]. Среди них можно выделить: словарный запас слов, частоту использования терминов, устойчивых выражений и фраз предполагаемого автора.

В настоящее время актуальным является анализ индивидуальных характеристик текста. При этом высказывается идея о существовании некоторых неизменных во времени количественных характеристик текста, определяющих индивидуальные особенности написания произведения данным автором. Эта область знаний получила название статистической стилистики [78].

Работа программ, использующих данный метод, зависит и от длины анализируемого фрагмента. Определить автора по одному абзацу программа не может - именно потому, что она вычисляет, а не «вспоминает» писателей. Объём текста должен быть больше 10 килобайт.

Вопросно-ответная система. Вопросно-ответная система — это особый тип информационных систем, являющиеся гибридом поисковых, справочных и интеллектуальных систем (часто они рассматриваются как интеллектуальные поисковые системы) [12, 28]. Вопросно-ответная система должна быть способна принимать вопросы на естественном языке, то есть это система с естественно-языковым интерфейсом.

В работе [13] вопросно-ответные системы характеризуются «уровнями понимания». На первом уровне ответы формируются на основе прямого содержания текста: система извлекает релевантные данные при условии, что в вопросе присутствуют те же синтаксические конструкции, которые уже присутствуют во входном тексте. На втором уровне к механизму системы добавляются средства логического вывода, позволяющие делать заключения о месте и времени происходящих событий, казуальной зависимости и т.п. Третий уровень вносит стереотипные знания о ситуациях реального мира, позволяющие «достраивать» базу фактов на основании «здравого смысла», то есть, знаний более общего вида.

В настоящее время вопросно-ответные системы, как правило, остаются на уровне экспериментальных разработок. Описанные выше «уровни понимания» к существующим проектам могут быть применены лишь условно: одни системы умеют делать умозаключения, другие систематизируют знания об окружающем мире. Однако о полноценных вопросно-ответных системах, реализующих полностью первый и, хотя бы в некоторой степени второй уровни понимания, говорить пока не приходится.

Автоматическая классификация документов. В описании к заявке на изобретение [99] представлен способ автоматической классификации документов, заключающийся в том, что осуществляют преобразование документа из специального формата хранения в текст на естественном зыке. Слова документа преобразуют в базовые словоформы, отбрасывают незначимые слова, осуществляют подсчет весов слов в документе в соответствии с частотами их появления и тем самым формируют вектор признаков документа. На этапе обучения по предъявленному набору классифицированных вручную документов формируют набор классификационных признаков и сохраняют их в базе данных. При необходимости классификации документа осуществляют преобразование его из специального формата хранения в текст на естественном языке, преобразуя слова документа в базовые словоформы, затем отбрасывают незначимые слова и осуществляют подсчет весов слов в документе, после чего формируют вектор признаков документа. После этого принимают решение о принадлежности либо не принадлежности документа каждой из категорий.

Автоматическое рубрицирование. Технология автоматического рубрицирования используется при наличии сложившейся иерархии понятий в прикладной области. Технология основана на использовании метода распознавания образов применительно к текстам. Направления развития модели тематического рубрицирования связаны как с методами классификации, так и с методами выделения характерной лексики в корпусе обучающих рубрикатор документов для ее последующей классификации. Например, в системах «Аналитический курьер» и компоненте рубрицирования компании «Гарант-Парк-Интернет» каждый рубрикатор представлен в виде вероятностной нейросети [46]. Эксперт предварительно создает типичные для рубрики коллекции документов, затем рубрикатор «обучается» на этих примерах. В литературе [54] отмечается, что для русского языка, потенциальная точность рубрицирования зависит от многих факторов. Например, от типа модели и максимальной размерности нейросети, репрезентативности лексики в тематике рубрики и др. В наибольшей степени точность рубрицирования зависит от качества лингвистического анализа, используемого для выделения словаря рубрик, в том числе, от наличия средств разрешения анафории.

Одной из задач классификации текста является задача рубрицирования тональности публикаций. В этом случае система классификации должна определять эмоциональную окраску текста, как общую, так и по отношению к его объектам. Нейросетевую модель в этом случае применить достаточно сложно из-за наличия инверсии смысла (тональности) слов и наличия анафорических ссылок на целевой объект, с которыми связана тональная лексика. С помощью семантического анализа выделяются те семантические роли слов, которые имеют отношение к эмоциональной окраске нужного объекта. Полнота определения тональности определяется качеством идентификации объектов в предложении. Правильное разрешение кореферентных ссылок на объект анализа повышает количество выделяемых упоминаний объекта и фактов, а, значит, полноту анализа [74].

1. 2. Этапы анализа текста

1.2.1. Общая схема обработки текстов

Одним из основных элементов анализатора текста является лингвистический процессор (ЛП), выполняющий роль посредника между пользователем и базой данных, в которой хранится интересующая его информация. Классическая структура лингвистического процессора содержит три последовательных блока - для морфологического, синтаксического и семантического анализа текста [1, 20, 30, 37].

Общая схема обработки текстов (рис. 1.1) инвариантна по отношению к выбору естественного языка.

Рис. 1.1. Структура лингвистического процессора

Первые две стадии (разбиение текста на отдельные предложения и на слова) практически одинаковы для большинства естественных языков. Единственное, где могут проявиться специфичные для выбранного языка черты, - это обработка сокращений слов и обработка знаков препинания.

В ряде прикладных случаев в ЛП включают и блок прагматического анализа. Здесь решаются такие вопросы как определение типа текста, определение авторства, эпохи написания и т.п.

1.2.2. Анализ отдельных слов (морфологический анализ)

В эту стадию обработки входят морфологический и морфемный анализы слов. Входным параметром является текстовое представление исходного слова. Целью и результатом морфологического анализа является определение морфологических характеристик слова и его основная словоформа. Перечень всех морфологических характеристик слов и допустимых значений каждой из них зависят от естественного языка (ЕЯ). Тем не менее, ряд характеристик (например, название части речи) присутствуют во многих языках.

Морфологический анализ определяется двумя факторами:

1. Типом ЕЯ, подвергаемого анализу;

2. Типом алгоритма автоматической обработки текста.

Существует три основных подхода к проведению морфологического анализа [64, 95, 98]. Первый подход часто называют «четкой» морфологией. Для русского языка он основан на словаре Зализняка [23]. Второй подход основывается на некоторой системе правил, по заданному слову определяющих его морфологические характеристики. В противоположность первому подходу его называют «нечеткой» морфологией [64]. Третий, вероятностный подход, основан на сочетаемости слов с конкретными морфологическими характеристиками [3]. Он широко применяется при обработке языков со строго фиксированным порядком слов в предложении и практически неприменим при обработке текстов на русском языке.

Способ, основанный на «четкой» морфологии предполагает использование словаря Зализняка, который содержит основные словоформы слов русского языка. Известна система правил, с помощью которой можно построить все формы данного слова, отталкиваясь от начальной словоформы и соответствующего ей кода. Помимо построения каждой словоформы, система правил автоматически ставит в соответствие ей морфологические характеристики.

При таком подходе для проведения морфологического анализа заданного слова необходимо найти его в словаре, где уже хранятся точные значения всех его морфологических характеристик. Следует отметить, что для одного и того же входного слова могут встретиться сразу несколько вариантов значений его морфологических характеристик.

Подобный способ применим не всегда, поскольку слова, поступающие на вход, могут не входить в словарь всех словоформ. Такая ситуация может возникнуть из-за ошибок ввода исходного текста, из-за наличия в тексте имен собственных и т.д. В случае, когда метод не дает нужного результата, применяется «нечеткая» морфология.

1.2.3. Анализ отдельных предложений (синтаксический анализ)

После того как произведен анализ каждого слова, начинается анализ отдельных предложений (синтаксический анализ), позволяющий определить взаимосвязи между отдельными словами и частями предложения. На рис. 1.2 представлен пример синтаксического анализа предложения. Результатом такого анализа является граф, узлами которого выступают слова предложения; при этом, если два слова связаны каким-либо образом, то соответствующие им вершины графа связаны дугой с определенной окраской. Возможные окраски дуг зависят от языка, на котором написано предложение, а также от выбранного способа представления синтаксической структуры предложения [2, 7, 14, 16, 29].

Рис. 1.2. Пример синтаксического анализа предложения

В соответствии с рис. 1.2 в качестве окрасок дуг используются вопросы, которые определяют взаимосвязь соседних слов. В вершинах графа слова пишутся не в том виде, в котором они встречаются в предложении, а в своей основной словоформе. Хотя некоторым словам (например, предлогам) не соответствует ни одна из вершин графа, но эти слова определяют вопросы, задаваемые от одного слова к другому.

Возможны и другие способы представления зависимостей между словами в предложении (например, разбор предложения по частям и выделение подлежащего, сказуемого и т.д.). На основе системы этих зависимостей могут быть разработаны иные способы представления синтаксической структуры предложения [62].

Рассмотрим методы синтаксического анализа предложений. Их разделяют на две группы [16, 18, 29]: методы с фиксированным, заранее заданным набором правил и самообучающиеся методы. Правила представляются не в виде классических продукций («если ..., то ...»), а в виде грамматик, задающих синтаксис языка. Исторически, первым способом описания синтаксиса языка были формальные грамматики [15, 63, 65]. Они задаются в виде четырех компонентов: множество терминальных символов, множество нетерминальных символов, правила вывода и начальный символ. Формальные грамматики хорошо изучены и широко применяются при описании формальных языков (например, языков программирования), но непригодны для описания синтаксиса естественных языков.

Трансформационные грамматики [15] разрабатывались уже специально для задания синтаксических правил построения предложений, написанных на естественном языке. Такие грамматики задаются в виде ориентированного графа состояний, всем дугам которого поставлены в соответствие определенные части речи. В начале работы алгоритм синтаксического анализа находится в некотором начальном состоянии, ему соответствует некоторая вершина графа. Алгоритм просматривает предложение слева направо, анализирует встречающиеся слова и делает переходы из одного состояния в другое в соответствии с выходящими из текущей вершины дугами и очередным словом предложения. Работа алгоритма заканчивается, когда предложение просмотрено полностью, либо когда невозможно сделать переход из текущего состояния (нет выходящей дуги с необходимой пометкой).

Следует отметить, что трансформационные грамматики не способны задавать рекурсивные синтаксические правила. Кроме того, построение таких грамматик даже для небольшого подмножества языка требует больших усилий.

Оба описанных подхода заключают в себе четко заданную систему правил, согласно которым производится синтаксический анализ предложения. Помимо уже указанных недостатков они имеют еще один большой минус, который состоит в их неспособности анализировать неправильно построенные предложения. Это привело к созданию новых методов синтаксического анализа, основанных на вероятностном подходе. К ним относятся вероятностные грамматики и вероятностный разбор [2, 14, 18].

Существующие методы синтаксического анализа применяются только на некотором подмножестве языка [29]. Решение задачи синтаксического анализа текста должно послужить основой, во-первых, для построения более совершенных синтаксических корректировщиков (программные средства, проверяющие правильность построения предложения) и, во-вторых, для построения алгоритмов более качественного семантического анализа текстов.

1.2.4. Семантический анализ

Семантический анализ – процесс выявления смыслового содержания слов и словосочетаний в предложении [4]. Семантический анализ обеспечивает нормализацию синтаксической структуры предложений, распознавание терминов, классификацию терминов по семантическим признакам, с учетом синонимических и гипонемических (общее – частное) классов, выявление определений терминов.

Тематику любого термина или текста можно представить комбинацией ассоциирующихся с ним базовых семантических категорий, число которых уже гораздо меньше, чем число слов. Таким образом, семантическое описание использует вместо слов укрупненные понятия - категории, каждая из которых характеризуется своим набором терминов. Поэтому семантическое представление содержания текстов сопровождается существенным сжатием информации. Сжатие информации при переходе от лексического к семантическому описанию документов происходит за счет использования некоторого знания о структуре языка.

Большинство методов семантического анализа, так или иначе, работают со смыслом слов [34, 35, 39]. Следовательно, должна быть какая-то общая для всех методов анализа база, позволяющая выявлять семантические отношения между словами. Такой базой является тезаурус языка. На математическом уровне он представляет собой ориентированный граф, узлами которого являются слова в их основной словоформе.

В настоящий момент создан тезаурус английского языка [9]. Имеются коммерческие продукты, включающие в себя тезаурус подмножества русского языка [42], отдельные словари синонимов и антонимов [41, 43].

Таким образом, на этапах морфологического и семантико-синтаксического анализа имеется ряд существенных проблем, связанных с характерной особенностью русскоязычных текстов, отличающихся разнообразием и сложностью структуры предложений и неоднозначностью выявления семантики отдельных слов.

1.3. Методы семантического анализа

Для семантического анализа может быть использован метод семантических падежей К. Филмора [94], получивший развитие в работе [82] для разбора русского ЕЯ. При таком подходе считается, что предложения выражают чаще всего действия, которые отображают в виде предиката в модели на основе логической функции. Под предикатом в данном случае понимается любой элемент или группа элементов, выполняющих функции сказуемого в предложении, а также атрибутивные формы глагола - причастие, деепричастие, инфинитив. Предикат имеет признаки (модальность, переходность, время, наклонение, возвратность, безличность и т.д.), которые являются необходимыми компонентами для правильной семантической интерпретации остальных членов предложения из внешней (грамматической) во внутреннюю (семантическую) структуру. Остальные члены предложения разбиваются на группы сильносвязанных слов, в которых выделяется главное слово (как правило, существительное). В группу его актантов включаются причастия, прилагательные, числительные, местоимения, неопределенно-количественные слова и т.д. Главные слова группы являются актантами предиката и выполняют различные семантические «роли», которые можно описать на основе семантических падежей К. Филмора [94]: агент, объект, цель и т.д., а также дополнительные падежи: адресат, добавочный предикат, инструмент, время, место, определитель, указатель, количество, пример, деталь и т.п.

В основе другого метода семантического анализа лежит подход, основанный на представление предложения в виде реляционного графа и носит название «графы с центром в глаголе» [64]. В данном методе глагол считается центральным звеном любого предложения. Маркеры времени и отношения пишутся прямо рядом с концептами, которые представляют глаголы.

Несмотря на то, что графы с центром в глаголе довольно гибкие по своей структуре, они обладают рядом ограничений. Одно из них заключается в том, что они не проводят разграничение между определителями, которые относятся только к глаголу, и определителями, относящимися к предложению целиком.

Эти графы также плохо справляются с предложениями, находящимися внутри других предложений.

При работе с реляционными графами возникают ряд проблем, связанных с передачей всего многообразия временных отношений и отношений модальности.

Практически любая автоматическая интерпретация текста, требует привлечения словарей, которые соотносили бы единицы текста как символьные объекты со смысловыми эквивалентами. В число словарей, способных выполнять такую функцию, входит машинный семантический словарь.

Синтаксические отношения в пределах именных групп могут быть описаны десятком правил бесконтекстной грамматики, которые учитывают лишь согласование грамматических форм.

После выбора наилучшего варианта разбора фразы выполняется обратный алгоритм синтеза, который проходит по дереву зависимостей и собирает все именные группы. Одновременно входящие в них слова ставятся в согласованные грамматические формы.

На различных этапах анализа предложения возникают ряд проблем, связанных с неоднозначностью отнесения слов к той или иной части речи или синтаксической группе. Это явление носит название омонимии, разрешение которой невозможно без привлечения семантически словарей.

С точки зрения омонимии/полисемии большинство словарей устроено следующим образом: каждому омониму слова приписывается отдельный вход, а все полисемичные слова содержатся в одном входе, где внутри явно прописано отношение, которое связывает полисемичные элементы. Такие словари называются SEL-словарями (Sense Enumerative Lexicons), и единственное их достоинство в том, что можно отделить словарь от его обрабатывающего программного кода, разделив таким образом данные и программу. Но SEL-словари не могут:

1. Объяснить, как слова принимают новые значения в разных контекстах;

2. Смоделировать достаточно точно отношения между полисемичными входами;

3. Отнести разные синтаксические модели управления одному значению слова.

Падежный фрейм состоит из заголовка и набора ролей (падежей), связанных определенным образом с заголовком [66]. Фрейм для компьютерного анализа отличается от обычного фрейма тем, что отношения между заголовком и ролями определяется семантически, а не синтаксически, т.к. в принципе одному и то же слово может приписываться разные роли, например, существительное может быть как инструментом действия, так и его объектом.

Общая структура фрейма такова:

[Заголовочный глагол

[падежный фрейм

агент: <активный агент, совершающий действие>

объект: <объект, над которым совершается действие>

инструмент: <инструмент, используемый при совершении действия>

реципиент: <получатель действия - часто косвенное дополнение>

направление: <цель (обычно физического) действия>

место: <место, где совершается действие>

бенефициант: <сущность, в интересах которой совершается действие>

коагент: <второй агент, помогающий совершать действие>

]

]

Существуют обязательные, необязательные и запрещенные падежи. Так, для глагола разбить обязательным будет падеж объект - без него высказывание будет незаконченным. Место и коагент будут в данном примере необязательными падежами, а направление и реципиент - запрещенными.

Часто в NLP используют семантическое представление в канонической форме. Наиболее известным способом такой репрезентации являются метод концептуальных зависимостей, разработанный Шенком для глаголов действия. Он заключается в том, что каждое действие представлено в виде одного или более простейших действий.

Для облегчения анализа также используется деление роли на лексический маркер и заполнитель. Так, для роли объект может быть установлен маркер прямое дополнение, для роли источник - маркер вида <маркер-из>=из|от|...

В общем анализ текста с помощью падежных фреймов состоит из следующих шагов [27]:

1. Используя существующие фреймы, подбирается подходящий глагол для заголовка. Если такого нет, текст не может быть проанализирован.

2. В систему возвращается подходящий фрейм с соответствующим заголовком-глаголом.

3. Проводится анализ по всем обязательным падежам. Если один или более обязательных заполнителей падежей не найдены, в систему возвращается код ошибки. Такой случай может означать наличие эллипсиса, неверный выбор фрейма, неверно введенный текст или недостаток грамматики. Следующие шаги используются уже для анализа и исправления таких ситуаций.

4. Проводится анализ по всем необязательным падежам.

5. Если после этого во введенном тексте остались непроанализированные элементы, выдается сообщение об ошибке, связанной с неправильным вводом, недостаточностью данного анализа или необходимостью провести другой, более гибкий анализ.

Выделяют следующие преимущества использования падежных фреймов [68]:

• совмещение двух стратегий анализа (сверху вниз и снизу вверх);

• комбинирование синтаксиса и семантики;

• удобство при использовании модульных программ.

Другой метод семантического анализа основывается на модели В. Тузова. Данный подход изначально был связан с попытками практического решения задачи формализации русского языка. В литературе [87] указывается, что формализация может считаться осуществлённой лишь тогда, когда разработаны следующие компоненты модели:

• формальный («семантический») язык, позволяющий в строгом однозначном виде записать любое предложение естественного языка;

• семантический словарь, содержащий формальные представления слов естественного языка;

• анализатор, преобразующий текст на естественном языке к формальному виду.

Основное отличие модели Тузова заключается в изучении текста на естественном языке как выполняемой структуры. Проводится чёткая аналогия между обычным текстом и компьютерной программой. Разница лишь в том, что семантика в предложениях естественного языка спрятана гораздо глубже [87].

1.4. Комплексные интеллектуальные программные системы для обработки текстов

В области обработки текстовой информации успешно работает ряд систем, отвечающих современным требованиям как по архитектуре, так и по функциональным возможностям. На наш взгляд к ним можно отнести: инструменты компании ClearForest, Convera RetrievalWare, Hummingbird KM, IBM Text Miner, инструменты компании IQMen, Inxight Smart Discovery Extraction Server, Ontos Miner, Oracle Text, ODB-Text, TextAnalyst, инструменты компании Smartware, XANALYS Link Explorer, «Аналитический курьер», инструменты компании Гарант-Парк-Интернет, «Медиалогия», «Система управления досье X-Files», и целый ряд других. Каждый из представленных программных продуктов имеет свои преимущества и недостатки.

В настоящее время существуют программные средства анализа текста, в которые заложены словари практически любого объема. К их числу относится Intelligent Essay Assessor и программа Latent Semantic Analysis, созданная компанией Knowledge Analysis Technologies [98]. В России создана аналогичная экспертная компьютерная психолингвистическая программа ВААЛ [12].

Программа ВААЛ позволяет создать словарь текста, привести его в нормализованный вид (придать словам начальные формы) и разнести имеющиеся в тексте слова по разным классам. Помимо этого программа позволяет производить количественный подсчет лексики как в абсолютных (количество слов того или иного класса), так и в относительных величинах (процентное отношение к общему числу слов и относительно нормы русского языка).

Адаптацией технологий Oracle к русскоязычным полнотекстовым базам данных занимаются специалисты компании «Гарант-Парк-Интернет». Продукт этой компании под названием Russian Context Optimizer (RCO) предназначен для совместного использования с картриджем interMedia Text [64].

В основе технологий Oracle лежит использование семантического словаря английского языка — тезауруса, содержащего около полумиллиона слов, классифицированных по тематическим категориям и синонимическим рядам: для каждого слова установлены его синонимы, более общие и более частные понятия, а также «родственные» слова, часто имеющие с ним смысловую связь в тексте.

В целом алгоритм тематического анализа работает следующим образом. После выполнения комплекса процедур лингвистической обработки из текста извлекаются основные единицы смысла — понятия, выраженные словами и устойчивыми словосочетаниями, а также устанавливаются смысловые (ассоциативные) связи между ними. Критерий наличия связи между парой понятий учитывает их совместное употребление в предложениях текста. Применение статистических алгоритмов на последующих уровнях обработки позволяет ранжировать понятия по значимости в тексте и выделить основные, которые и выступят в качестве ключевых тем документа.

Другой способностью RCO является автоматическое реферирование текста, которое происходит в ходе тематического анализа. При этом по каждой из выделенных тем выстраивается тематическое резюме. Резюме формируются из фрагментов текста, причем если interMedia Text опирается на формальную разметку (наподобие html-тегов), то алгоритмы RCO способны самостоятельно членить текст на группы предложений, связанных общностью содержания, — сверхфразовые единства. В тематические резюме включаются лишь наиболее представительные, информативные фрагменты по соответствующим темам, в то время как общий реферат строится из фрагментов по всем главным темам документа. Визуализация списка ключевых тем и резюме при просмотре найденных документов ускоряют выбор требуемой информации.

Отсутствие тезауруса в RCO пока не позволяет в полной задействовать все возможности расширения запроса при контекстном поиске документов аналогично тем, которые доступны для английского языка при работе с interMedia Text.

TextAnalyst [64] был разработан в качестве инструмента для анализа содержания текстов, смыслового поиска информации, формирования электронных архивов, и предоставляет пользователю следующие основные возможности: 

• анализа содержания текста с автоматическим формированием семантической сети с гиперссылками - получения смыслового портрета текста в терминах основных понятий и их смысловых связей; 

• анализа содержания текста с автоматическим формированием тематического древа с гиперссылками - выявления семантической структуры текста в виде иерархии тем и подтем; 

• смыслового поиска с учетом скрытых смысловых связей слов запроса со словами текста; 

• автоматического реферирования текста - формирования его смыслового портрета в терминах наиболее информативных фраз; 

• кластеризации информации - анализа распределения материала текстов по тематическим классам;

• автоматической индексации текста с преобразованием в гипертекст; 

• ранжирования всех видов информации о семантике текста по «степени значимости» с возможностью варьирования детальности ее исследования; 

• автоматического/автоматизированного формирования полнотекстовой базы знаний с гипертекстовой структурой и возможностями ассоциативного доступа к информации.

В таблице 1.1 представлена сравнительная характеристика некоторых программных продуктов.

Таблица 1.1

Сравнительная характеристика программных продуктов

1.5. Выводы и постановка задачи исследования

На основе проведенного обзора можно сделать следующие выводы.

Задачи обработки текстов появились практически сразу за развитием вычислительной техники. Однако можно отметить, что на текущий момент задачи автоматического проведения анализа русскоязычных текстов до конца не решены. Это связано, в первую очередь, с характерной особенностью русскоязычных текстов, отличающихся разнообразием и сложностью структуры предложений. Существующие методы компьютерного анализа текста показывают относительно невысокие результаты на уровне семантического анализа предложений сложной структуры.

Понимание текстов на естественном языке включает четыре уровня интерпретации: морфологический, синтаксический, семантический и прагматиче­ский.

Целью и результатом морфологического анализа является определение морфологических характеристик слова и его основных словоформ.

В процессе синтаксического анализа определяются взаимосвязи между отдельными словами и частями предложения.

Семантический анализ текста направлен в основном на выявление смысла слов и именованных групп.

Прагматический анализ направлен на раскрытие взаимодействия автора и читателя, устанавливает меру полезной информации в тексте, ориентируясь на типологию читателя текста. Здесь решаются такие вопросы как определение типа текста, определение авторства, эпохи написания и т.п.

На сегодняшний день задачи морфологического и некоторые процедуры решения задач синтаксического уровня достаточно хорошо разработаны. Основная проблема, связанная с качественным анализом текста, заключается в сложности выделении семантики того или иного текста или его структурных единиц, а также большими объемами перерабатываемой информации. Объем анализируемой информации можно существенно сократить за счет применения направленной фильтрации, основанной на использовании статистических характеристик текста. В то же время, решение задачи выявления семантики является сложным и трудоемким процессом и требует использования специальных семантических словарей (в частности для разрешения проблем анафорических и кореферентных ссылок), создание которых также требует разработки специальных процедур и связано со значительными затратами времени.

На основе изучения известных методов анализа текста в данной работе делается вывод о перспективности подхода, основанного на «авторском» понимании текста. Предполагается, что при написании конкретного текста, автор руководствуется некоторой глобальной целью. При раскрытии этой цели он строит соответствующие предложения, назначением которых является достижение некоторых промежуточных целей. При этом четко фиксируются некоторые исходные данные, предпосылки, т.е. некоторые начальные координаты цели и направление, по которому обеспечивается переход от одной цели к другой. Таким образом, можно говорить о некотором векторе цели текста, в частности о векторе цели предложения, абзаца или главы.

Таким образом, основной целью диссертационной работы является разработка и исследование моделей и информационной технологии семантико-синтаксического анализа русскоязычного текста, обеспечивающих эффективное решение экспертом задач, связанных со структуризацией текстовой информации и формированием информационных ресурсов.

Для достижения поставленной цели требуется решение следующих задач:

• построение статистической и векторной моделей текста;

• исследование методов сокращения объема текстовой информации;

• разработка информационной технологии семантико-синтаксического анализа;

• экспериментальная проверка предложенных решений анализа русскоязычных текстов на базе специально созданной компьютерной программы.

2. РАЗРАБОТКА И ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКОЙ МОДЕЛИ ТЕКСТА

В первой главе описаны существующие методы и подходы к анализу текстовой информации. Был сделан вывод, что статистические методы используются для анализа текста не в полном объеме. Поэтому для дальнейших исследований необходимо разработать статистическую модель текста, определить круг задач, которые будут решаться при ее помощи.

Широкое распространение статистические методы нашли в гуманитарных областях знаний, в частности, в истории и литературе [32, 33]. Например, метод статистического исследования текста был применен для выявления авторства литературного произведения «Тихий Дон» М.В.Шолохова [57]. Большинство этих методов используют одни и те же статистические характеристики текста и основываются на понятии «авторского инварианта» [71-73].

При этом, под авторским инвариантом понимается некоторое множество статистических количественных показателей, с помощью которых можно однозначно охарактеризовать произведения одного автора или небольшого числа «близких авторов». В то же время, предполагается, что количественные показатели могут принимать существенно разные значения для произведений разных групп авторов.

Однако многообразие грамматических структур, участвующих в формировании литературных текстов, сильно затрудняет поиски таких инвариантов. Установлено, при написании литературного произведения существенную роль играют как сознательные, так подсознательные факторы, которые определяют общий стиль произведения. Например, частота употребления редких и иностранных слов может служить некоторым показателем стиля автора и его эрудиции.

Очевидно, что количественная оценка индивидуальных отличительных особенностей произведения того или иного автора, весьма нетривиальная задача.

При выборе тех или иных статистических характеристик, используемых в качестве инвариантных, необходимо, чтобы они удовлетворяли следующим требованиям:

• интегральности (обобщение по совокупности группы показателей);

• постоянству (для определенного автора на группе произведений);

• диапазону изменений (для групп авторов).

Такое сочетание всех трех перечисленных условий позволяет говорить о наличии некоторого авторского инварианта.

В качестве количественных характеристик текстов предлагаются следующие:

1. длина предложений (среднее число слов в предложении, подсчитанное для каждой выборки);

2. длина слов (среднее количество слогов в слове, подсчитанное для каждой выборки).

3. частота употребления служебных слов - предлогов, союзов, частиц;

4. частота употребления существительных, глаголов, прилагательных, предлогов, частиц;

Следует отметить, что в указанных работах [71-73] приведенные статистические характеристики использовались лишь для оценки принадлежности того или иного литературного произведения конкретному автору и для выявления интегральных числовых особенностей различных групп авторов. В то же время, при решении задач анализа важным является сокращение объема исходной текстовой информации без потери ее семантической составляющей.

В данной главе описываются результаты исследований, проведенных с целью определения статистических зависимостей, характеризующих текстовые документы из различных предметных областей.

Дается интерпретация результатов исследования статистической модели текста на основе различных характеристик распределений единиц текстовой информации (предложений и абзацев).

2. 1. Статистическая модель текста

В работе предлагается следующая математическая модель текста, используемая для проведения направленной фильтрации и решения выше перечисленных задач.

Модель текста Т представляется в виде набора абзацев А и соответствующих атрибутов [10]:

Т = {A_i(k_а,L_а,s_а)}, (2.1)

где A_i(k_а,L_а,s_а) – i-ый абзац, i = 1..n

k_а – количество абзацев в i-ом тексте;

L_а – средняя длина абзацев, выражаемая числом предложений в абзаце;

s_а – среднеквадратическое отклонение длины абзацев;

В свою очередь, каждый абзац A представляется в виде:

А = {P_j(k_р,L_р,s_р)}, (2.2)

где Р_j(k_р,L_р,s_р) – j-ое предложение i-го абзаца, i = 1..k

k_р – количество слов в j-ом предложении;

L_р – средняя длина предложений, выражаемая через число слов в предложении;

s_р – среднеквадратическое отклонение длины предложений;

На основе разработанной модели предложен метод статического анализа текста.

Сущность метода статического анализа текста заключается в выделении абзацев, предложений и слов, вычислении количественных статистических характеристик текста и применения их для организации направленной фильтрации.

Задача направленной фильтрации состоит в том, чтобы выбрать только те абзацы или предложения, которые удовлетворяют заданным условиям:

R = Т / У(k,L,s), (2.3)

где У(k,L,s) – заданные условия.

k – заданное максимальное число слов в предложении;

L – заданная в словах средняя длина предложения;

s – заданное в словах среднеквадратическое отклонение длин предложений.

В качестве параметров в задаче направленной фильтрации могут быть использованы статистические характеристики уровня абзаца, такие как:

k' – число предложений в абзаце;

L’ – средняя длина абзаца, выраженная в количестве предложений;

s' – среднеквадратическое отклонение длин абзацев,.

За счет проведения направленной фильтрации, рассматриваемой как предварительный этап анализа текста, обеспечивается уменьшение объема анализируемой информации при выполнении последующих этапов анализа.

Для уточнения некоторых положений описываемого статистического подхода рассмотрим некоторые аспекты применения статистической модели на примерах анализа трех типов текста: экономического, экологического и правового.

Целью исследований являлось изучение статистических зависимостей в тексте, связанных с особенностями построения отдельных предложений, абзацев, с возможностью проведения направленной фильтрации для сокращения объема информации, с формированием рефератов, с решением других задач.

На рис. 2.1 – 2.3 приводятся статистические зависимости распределения частей речи соответственно для экономического, экологического и правового текста.

Рис. 2.1. Распределение частей речи в экономическом тексте

Рис. 2.2. Распределение частей речи в экологическом тексте

Рис. 2.3. Распределение частей речи в правовом тексте

В главе первой упоминалось о законе Зипфа [38]. Согласно закону Зипфа, частота использования n-го наиболее часто используемого слова в естественных языках приблизительно обратно пропорциональна n.

В приведенных примерах, если рассматривать ту или иную часть речи как группу слов, употребляемых в тексте с определенной частотой, то можно отметить, что форма кривой распределения частей речи хорошо согласуется с общим законом Зипфа.

Следует отметить, что зависимости, приведенные на рис. 4 – 6, отражают характерные особенности конкретного текста, что может быть использовано при решении задач синтеза текста, в частности, при построении рефератов соответствующих текстов.

Основной целью выполнения статической обработки текста является определение статистических характеристик текста, которые могут быть использованы для уменьшения объема информации путем применения направленной фильтрации [9].

Для фильтрации текстов использовались статистические количественные характеристики распределения длин предложений. Примеры распределения количества слов в предложениях для различных текстов представлены на рис. 2.4 – 2.5. Статистические характеристики распределений использовались для выделения заголовков, отдельных тем, основного содержания текста, формирования реферата, сокращения объема текста при сохранении смыслового содержания.

Рис. 2.4. Распределение количества слов в предложениях экономического текста

Рис. 2.5. Распределение количества слов в предложениях экологического текста

Рис. 2.6. Распределение количества слов в предложениях правового текста

Основные экспериментальные исследования, связанные с направленной фильтрацией, представлены в четвертой главе.

Суть метода направленной фильтрации заключается в отборе только тех предложений или абзацев, которые удовлетворяют заданным условиям. Для этого сначала определяются статистические характеристики текста: количество абзацев k_а, средняя длина абзацев L_а, среднеквадратическое отклонение длины абзацев s_а. В ходе фильтрации выбираются только те предложения или абзацы, характеристики которых попадают в заданный интервал отбора. Например, если задача заключается в отборе предложений, длина, которых лежит в интервале (8; 14), то результирующий текст будет состоять из предложений, количество слов в которых не будет меньше 8 и не больше 14. Аналогичная процедура фильтрации проводится и для абзацев.

Алгоритм реализации данного метода будет заключаться в выполнении следующих шагов:

1. выделение предложений p;

2. выделение слов w и определение морфологических характеристик;

3. выделение абзацев a;

4. подсчет количества слов w в каждом предложении p;

5. подсчет количества предложений в каждом абзаце;

6. подсчет количества абзацев;

Далее производится группировка на соответствующем уровне представления текста – на уровне абзацев или предложений.

Статистические характеристики определяются по следующим формулам.

Взвешенная средняя считается по сгруппированным данным и имеет вид:

$\overline{X} = \frac{\sum_{i = 1}^{m}{x_{i}f_{i}}}{\sum_{i = 1}^{m}f_{i}}$ (2.4)

где — количество слов или предложений;

— частота, показывающая, сколько раз встречается i-е значение усредняемого признака.

Формула дисперсии:

, (2.5)

Среднее квадратическое отклонение равно квадратному корню из дисперсии:

, (2.6)

Выяснение общего характера распределения предполагает оценку степени его однородности, а также вычисление показателей асимметрии и эксцесса.

Для сравнительного анализа степени асимметрии рассчитывают относительный показатель As:

$\text{As} = \frac{\sum_{i = 1}^{n}{\left( x_{i} - \overline{X} \right)^{3}f_{i}}}{\sigma^{3}\sum_{i = 1}^{n}f_{i}}$, (2.7)

Положительная величина указывает на наличие правосторонней асимметрии. Отрицательный знак свидетельствует о наличии левосторонней асимметрии.

Эксцесс представляет собой выпад вершины эмпирического распределения вверх или вниз от вершины кривой нормального распределения.

$\text{Ex} = \frac{\sum_{i = 1}^{n}{\left( x_{i} - \overline{X} \right)^{4}f_{i}}}{\sigma^{4}\sum_{i = 1}^{n}f_{i}} - 3$, (2.8)

Значения эксцесса могут быть положительными (для островершинных распределений) и отрицательными (для плосковершинных).

Возможности статистической модели и связанного с ним статистического метода анализа текста проверялись на текстах по экономической, экологической и правовой тематике.

В табл. 2.1 приведены значения статистических характеристик распределений количества слов в предложениях для трех типов текстов.

Таблица 2.1

Статистические характеристики распределения количества слов в предложениях

Продолжение табл 2.1.

Анализируя данные табл. 2.1, можно предположить, что для всех остальных текстов данные зависимости будут сохраняться, т.е. среднее значение х и среднеквадратическое отклонение σ различных текстовых документов не будут сильно отличаться, а моменты высших порядков (эксцесс Ex и асимметрия As) будут определять характерную индивидуальную особенность авторского теткста.

2.2. Информационный портрет текста

Автор текста, как правило, оперирует предложениями определенной длины, со среднестатистическими характеристиками, которые представлены табл. 2.1. Данные ограничения возможно связанны с общим количеством информации, которое может быть переработано человеком в течение определенного промежутка времени. А это, в свою очередь, также может быть связанно с предельным количеством информационных понятий, с которыми автор может оперативно работать в пределах одного предложения. При этом возникает вопрос о роли остальных предложений, расположенных по соседству с рассматриваемыми, в пределах некоторого выбранного участка текста (абзаца).

Для изучения этого вопроса было высказано предположение о том, что не только рядом лежащие предложения, но и рядом расположенные абзацы могут иметь высокую степень семантической корреляции. Для проверки этого предположения были выполнены следующие исследования.

На рис. 2.7 – 2.8 приводятся распределения абзацев по числу предложений соответственно для экономического, экологического и правового текстов.

Рис. 2.7. Распределение абзацев по числу предложений для экономического текста

Рис. 2.8. Распределение абзацев по числу предложений для экологического текста

Рис. 2.9. Распределение абзацев по числу предложений для правового текста

На рис. 2.10 – 2.12 представлены информационные картины соответствующих текстов

Рис. 2.10. Информационная картина экономического текста

Рис. 2.11. Информационная картина экологического текста

Рис. 2.12. Информационная картина правового текста

Анализируя рис. 2.10 – 2.12 можно сделать следующие выводы и выдвинуть следующие гипотезы:

• количество информационных областей текста определяется количеством максимальных локальных пиковых значений;

• значимость (весомость) ключевых слов в информативных зонах приходится на информационные зоны с большей пиковой составляющей;

• количество информативных зон определяет количество глобальных целей, раскрываемых автором;

Дальнейшие эксперименты, подтверждающие выдвинутую гипотезу приводятся в четвертой главе.

2.3. Выводы по второй главе

В описанных экспериментах рассматривались только такие структурные элементы текста как предложение и абзац. Все другие объекты (рисунки, таблицы, формулы, сноски) не анализировались.

При анализе использовалась двухуровневая статистическая модель текста. Первый уровень текста представляется абзацами, второй уровень – предложениями.

В процессе исследований рассчитывались обобщенные статистические характеристики распределения количества слов в предложениях на данной выборке, которые использовались в дальнейшем при проведении направленной фильтрации по всему объему текста. Направленная фильтрация предполагает решение следующих задач:

• уменьшение общего объема анализируемого текста при сохранении его семантической составляющей;

• автоматическое реферирование;

• выявление специфических фрагментов текста, удовлетворяющих заданным критериям;

• подготовка текста для дальнейших этапов анализа.

Выявленные статистические характеристики могут быть использованы и при решении задач синтеза текста.

В результате проведенных экспериментов было подтверждено, что структура русского предложения базируется на существительных (объект и субъект действия) и глаголах (действие и связка). В качестве «окраски» используются прилагательные, и в меньшей степени наречия. Поэтому для построения семантического уровня анализатора в качестве основных узлов семантического графа целесообразно использовать именно данные части речи. Данные результаты согласуются с законом Зипфа.

Результаты исследований могут быть использованы для практического построения поисковых систем, направленной фильтрации текстовой информации с целью извлечения из нее определенных сведений.

Данные исследования позволили расширить применимость статистических методов при анализе текстовой информации и определить пути дальнейших исследований.

Однако дальнейшее усложнение математики без привлечения серьезной лингвистики не позволит заметно повысить качество подобных систем.

Таким образом, статистические методы могут быть использованы на этапе предварительного анализа текста с целью сокращения объема перерабатываемой информации.

В то же время, использование анализаторов текста, работающих только на основе статистических методов, не обеспечивает в полной мере решение таких задач как структуризация текста, выявление семантики текста, машинный перевод и др.

В следующей главе рассматриваются вопросы, связанные с разработкой алгоритмов морфологического, синтаксического и семантического анализа текста. Основное внимание уделено разработке методов, связанных с семантико-синтаксическим анализом текста.

3. ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ АНАЛИЗА ТЕКСТА

Во второй главе работы была построена двухуровневая статистическая модель текста. На ее основе выполнен ряд исследований, которые позволили выдвинуть гипотезу о соответствии количества информативных зон количеству глобальных целей, раскрываемых автором анализируемого текста. В первой главе отмечалось, что при раскрытии этих целей автор исходит из некоторого набора фиксированных данных (начальных координат) и направления, по которому будет раскрыта цель. Таким образом, можно говорить о некотором векторе цели текста.

В работах [29, 32] тексты для последующего анализа представляются в виде векторов значений признаков. В качестве значений признаков, включенных в векторы, чаще всего выступают частоты появления определенных слов (или их нормальных форм) в текстах. Альтернативой частотам слов могут быть индикаторы появления слов (0 и 1) или значения, учитывающие среднюю встречаемость слова во всех текстах. В качестве меры близости текстов, представленных векторами значений признаков, обычно используется скалярное произведение векторов.

Особенностью предлагаемой модели является то, что текст рассматривается как совокупность отдельных взаимосвязанных предложений, объединенных в некоторую иерархию подмножеств структурных единиц текста. Эта структура обеспечивает выражение основной идеи анализируемого текста путем раскрытия множества целей разного ранга, определяемых отдельными предложениями, абзацами, параграфами, главами и т.п. Слово «вектор» здесь используется как некоторая математическая интерпретация.

В данной главе рассматриваются вопросы, связанные с разработкой алгоритмов морфологического, синтаксического и семантического анализа текста.

Основное внимание в работе уделено разработке методов, связанных с семантико-синтаксическим анализом текста.

3.1. Описание модели текста

Особенностью предлагаемой модели является то, что текст рассматривается как совокупность отдельных взаимосвязанных предложений, объединенных в некоторую иерархию подмножеств структурных единиц текста. Эта структура обеспечивает выражение основной идеи анализируемого текста путем раскрытия множества целей разного ранга, определяемых отдельными предложениями, абзацами, параграфами, главами и т.п. [8]

Как отмечалось выше, задачи морфологического анализа текста достаточно хорошо решены. Поэтому основное внимание в работе уделено разработке методов, связанных с семантико-синтаксическим анализом текста.

В работе рассматривается трехуровневая модель текста.

Первый уровень – уровень абзаца:

Т’ = {А_m}, (3.1)

где T’ – текст;

А_m – m-ый абзац текста, m = 1 .. k_a;

На этом уровне определяются такие характеристики как объем текста Q_t (измеряемый количеством слов), количество абзацев k_a и длина абзацев L’a (выражаемая числом предложений).

Второй уровень – уровень предложения:

А’ = {P_k}, (3.2)

где А’ – абзац текста;

P_k – k-ое предложение абзаца, k = 1 .. L’a.

На этом уровне вычисляется длина предложений L’p (измеряемая количеством слов), тип предложений t_p, вид предложений v_p и класс предложений c_p.

Третий уровень – уровень слова:

Р’ = {W_v}, (3.3)

где Р’ – предложение;

W_v – слово предложения, v = 1 .. L’p.

На этом уровне определяются морфологические характеристики Fm (части речи, род, одушевленность, число, падеж, грамматические особенности) и синтаксические характеристики Fs (переходность глагола, вид глагола, залог, форма глагола, время, лицо, принадлежность к концепту (именной группе) и др.) характеристики каждого слова.

Тип предложений Tp определяется в зависимости от положенного в основу деления признака [71, 72]. Различаются предложения: 1) повествовательные, вопросительные, побудительные, восклицательные предложения»- по цели высказывания; 2) односоставные предложения и двусоставные предложения - в зависимости от наличия одного или двух главных членов в качестве организующих центров предложения; 3) нераспространенные и распространенные предложения - по наличию или отсутствию второстепенных членов; 4) полные предложения, если налицо все необходимые члены данной структуры предложения и неполные предложения, если один или несколько необходимых членов данной структуры предложения опущены по условиям контекста или обстановки; 5) простые и сложные предложения - в зависимости от количества предикативных единиц. 

Слова w в предложении разделяются разделительными знаками rw. Таким образом, предложение можно представить в виде функции:

w_i = f(RW,G), (3.4)

где w_i –слово, i = 1..n, n – количество слов в предложении;

RW – множество разделителей слов, RW = {rw_i}, i = 1… m , m – количество разделителей слов;

G - графематическая характеристика.

Графематическая таблица состоит из двух столбцов. В первом столбце  стоит некоторый фрагмент входного текста (выделенный по правилам), во втором столбце стоят графематические дескрипторы, характеризующие этот текст.

Главные графематические дескрипторы представлены в приложении А.

Морфологическая часть речи определяется традиционным образом за исключением того, что некоторые специфические морфологические формы также получают статус части речи. Индексы в названии части речи обозначают тип морфологического словаря (n – словарь имен, g – словарь  географических имен).

Граммема – это элементарный морфологический описатель, относящий словоформу к какому-то морфологическому классу. Перечень граммем также представлен в приложении 1.

Одной словоформе может соответствовать много морфологических интерпретаций. Например, у словоформы стали две интерпретации:

• (СТАЛЬ, NOUN, ("жр,ед, рд,но","жр,ед, дт,но", "жр,мн, им,но", "жр,мн, вн,но");

• (СТАТЬ, VERB, {"мн,св,нп,дст,прш"}).

Для проверки работоспособности предложенных алгоритмов был использован собственный морфологический словарь. Однако может быть использован и сторонний словарь различных фирм (Промт, RCO).

Контекстные дескрипторы представлены в табл. 3.1.

Таблица 3.1

Контекстные дескрипторы

Как было показано во второй главе количественные характеристики текста (длина абзацев, длина предложений и их статистические характеристики) характеризуют тип предложения или тип текста, но не позволяют определить их семантику.

В данной главе, для понимания роли предложений в структуре текста были проанализированы группы предложений информативных зон, выбираемых из текстов по различной тематике с использованием направленной фильтрации. Проведенные исследования позволили выделить следующие ролевые функции предложения:

• связующую f₁ (определяющую тип связи Sp между предложениями в тексте);

• структурную f₂ (определяющую предложение как базовую структуру для формирования ключевых слов и именных групп);

• семантическую f₃ (определяющую значимость предложения в структуре абзаца или текста).

Ключевой проблемой анализа текста является построение действующей модели предложения как формализованной структуры, которая обеспечивает его интерпретацию. При этом ролевые функции являются основными атрибутами модели предложения.

В работе с целью формализации и обеспечении возможности последующего автоматического анализа текста предложена векторная модель текста, основанная на использовании ролевых функций предложений.

Математическая интерпретация векторной модели текста (ВМТ-метод) [50] некоторого законченного фрагмента, состоящего, например, из глав, содержащих абзацы, которые, в свою очередь, состоят из предложений, выражается следующим образом:

G = {G₁, G_{2 ,} …, G_i, …, G_h},

Vg = {Vg₁, Vg_{2 ,…. ,}Vg_i,, …, Vg_h}, (3.5)

где G – множество глав;

G_i – i-ая глава, i = 1… h;

Vg – множество векторов целей глав;

Vg_i – вектор цели i-ой главы.

В свою очередь,

A_i = {A_i1, A_i2 ,…, A_{ij ,}…, A_m},

Vа_i = {Vа_i1, Vа_i2, …, Vа_ij ,…, Vа_im}, (3.6)

где А_i – множество абзацев i-ой главы;

А_ij – j-ый абзац i-ой главы, j = 1 … n;

Vа_i – множество векторов целей абзацев;

Va_ij – вектор цели j-ого абзаца i-ой главы.

Математическая интерпретация векторной модели для предложений выражается в следующем виде:

P_ij = {P_ij1, P_ij2 ,…, P_{ijd ,}…, P_k},

Vр_ij = {Vр_ij1, Vр_ij2, …, Vр_ijd,..., Vр_ijk}, (3.7)

где Р_ij – множество предложений i-ой главы j-го абзаца;

Р_ijh – d-ое предложение i-ой главы j-го абзаца, d = 1 … k;

Vр_ij – множество векторов целей предложений i-ой главы j-го абзаца;

Vp_ijh – вектор цели h-ого предложения i-ой главы j-го абзаца.

Таким образом, каждому структурному элементу текста ставится в соответствие некоторый вектор цели. При этом вектор цели предложения выделяется на семантическом уровне, а векторы цели абзацев, глав и текста формируются по результатам выделения векторов целей предложений.

Модель вектора цели представляется в виде трех компонент:

Vbegin – начальная цель, выражаемая через начальный вектор $\overline{X}$ с заданными координатами;

Vend - конечная цель, выражаемая через конечный вектор $\overline{Y}$ с заданными координатами;

Z - вид связи между начальным вектором $\overline{X}$ и конечным вектором $\overline{Y}$.

В качестве координат вектора могут выступать отдельные слова, именные группы, отдельные предложения или абзацы.

Для ВМТ-метода выделены следующие типы векторов:

1. простой вектор: $\overline{V}$ = ($\overline{X}$) или V = ($\overline{Y}$) со связью Z;

2. нулевой вектор: $\overline{V}$ = (Ø);

3. полный вектор: $\overline{V}$ = ($\overline{X}$, $\overline{Y}$) со связью Z;

4. пустой вектор: $\overline{V}$ = ($\overline{X}$, $\overline{Y}$) без связи Z;

5. левый вектор: $\overline{V}$ = ($\overline{X}$);

6. правый вектор: $\overline{V}$ = ($\overline{Y}$).

В свою очередь вектора $\overline{X}$ и $\overline{Y}$ могут состоять из подвекторов.

Каждая координата вектора цели имеет свои атрибуты atr, которые могут выражаться через временные или пространственные характеристики.

В пространстве координат данный механизм можно представить в следующем виде (см. рис.3.1).

Рис. 3.1. Интерпретация векторного представления текста

Атрибуты могут иметь временные, пространственные и измерительные характеристики.

Состав координат вектора цели предложения или абзаца определяется, в общем случае, сложностью их построения. Соподчиненность отдельных частей сложного предложения может быть устранена путем разбиения его на множество простых предложений.

Для приведения всех типов предложений к стандартной форме в ВМТ-методе предусматривается этап нормализация предложений.

Процедура нормализация предложения включает в себя, в общем случае, следующие этапы:

1. определение типа и вида предложения;

2. удаление неинформативных слов;

3. разбиение сложного предложения на части;

4. устранение отрицания.

Тип предложения t_p определяется исходя из принятой классификации предложений. Особые трудности при автоматизации процессов анализа возникают в связи с наличием в тексте сложных предложений типа сложносочиненных, сложноподчиненных, бессоюзных, которые определяют класс предложений с_p. с многоуровневой семантикой. Описываемая далее информационная технология анализа текста базируется на ВМТ-методе и позволяет выявить эту семантику.

В процессе выявления понятий и определения однородных членов предложения определяются именные группы, являющиеся множествами текущих координат вектора Vp.

Устранение отрицания направлено на упрощение структуры вектора цели предложения при сохранении семантики исходного предложения.

После процедуры нормализации осуществляется выявление связей Z векторов целей полученных предложений.

Под семантикой в рассматриваемой информационной технологии анализа текста понимается «значение» единиц языка (слов и предложений) и отношения, характеризующие связи между соответствующими уровнями представления этих единиц. При этом под понятием «значение единиц языка» здесь понимается их принадлежность к морфологическим и семантико-синтаксическим группам. На уровне слов это означает отнесение их к частям речи, падежам и т.д., на уровне предложений – отнесение к типу, виду и классу предложений. Таким образом, через значения единиц языка формируются векторы цели. Смысл же того или иного предложения, абзаца или текста определяется экспертом.

В соответствии с описываемой в данной главе информационной технологией анализа текста вектора целей абзацев и последующих более высоких уровней представления текста формируются на основе векторов целей предложений. Итерационная процедура формирования таких векторов цели включает в себя следующие этапы:

• формирование вектора цели предложения на данном уровне итерации;

• выделение именованных групп;

• сопоставление именованных групп другим именованным группам в структуре всего текста;

• выявление уровней подчиненности именованных групп;

3.2. Этапы анализа текста

Морфологический анализ

В системе анализа используются три типа морфологических словарей:

• большой словарь, который базируется на грамматическом  словаре А.А.Зализняка [23];

• словарь имен собственных (например: Андрей, Сергеевич, Иванов);

• словарь географических слов (например: Ижевск, Россия).

При лемматизации для каждого слова входного текста морфологический процессор выдает множество морфологических интерпретаций следующего вида:

• лемма (всегда пишется большими буквами);

• морфологическая часть речи;

• множество наборов граммем.

Лемма – это нормальная форма слова.  Например,  для существительных – это единственное число (если оно есть у существительного), именительный  падеж. 

В реальном тексте на последующих шагах анализа выбор  одной морфологической интерпретации одного слова может повлиять  на выбор морфологической интерпретации соседнего слова,  поэтому модуль работает с вариантами морфологических интерпретаций. Морфологическим вариантом  набора словоформ W₁, ..., W_i, ..., W_n назовем набор морфологических интерпретаций I₁, ..., I_i, ..., I_n, где I_i – одна из возможных морфологических интерпретация словоформы W_i.

Морфологический словарь не включает информацию об активном  словообразовании.

Семантико-синтаксический анализ

Алгоритм анализа задает порядок анализа предложений с целью выделения словосочетаний, именных групп, которым соответствуют синтаксические отношения. В основе принятого порядка анализа словосочетаний лежат закономерности структуры предложений русского языка.

Синтаксический анализ для русского языка - это синтаксис неразрывных групп.   В работе [85] такой синтаксис называется «синтаксисом первого ранга». На вход синтаксису первого ранга подаются результаты морфологического анализа (каждой словоформе сопоставлено максимально возможное для данной словоформы множество морфологических интерпретаций). На выходе получается множество групп, каждая  из которых  характеризуется следующими параметрами:

• координаты группы (номера первого и последнего слов в предложении);

• тип группы;

• координаты главной подгруппы группы.

Синтаксические группы не могут пересекаться [14]. Типы групп заранее заданы. Для каждого типа написано  отдельное синтаксическое правило, которое собирает слова в одну группу этого типа. Порядок правил также жестко задан. Например, сначала объединяются прилагательные, согласованные с существительным, стоящим после них, а уже потом генитивные пары.

Поскольку  для  каждой  группы определена главная подгруппа, можно вычислить для каждой группы главное слово. Такое главное слово будем называть синтаксически главным словом. Атрибуты синтаксически главного слова играют исключительно важную роль в синтаксическом анализе; главное слово как бы представляет всю группу, в некоторых случаях полностью заменяя ее.  Например, группы, у которых главное слово – существительное (именованные группы ИГ), можно иногда приравнивать к существительному.

В синтаксисе системы намеренно не учитывается так называемая синтаксическая омонимия.

Для уничтожения омонимии имеется одно основное правило: для каждого морфологического омонима каждого слова проверяется выполнение следующего критерия - данный омоним должен входить в синтаксическую группу и не являться ни первым, ни последним ее словом. Тогда все остальные омонимы этого слова, если они не образуют никаких групп, уничтожаются.

Оставшиеся морфологические варианты упорядочиваются по покрытию, где покрытие – это число слов предложения, попавших хотя бы в одну группу. 

Все ИГ имеют один и тот же формат.

ИГ = {t, w_i, q}, (3.8)

где t – тип именованной группы;

w_i – i-ое слово предложения;

q – тип связи между словами.

Например, предложение «Структура текстовых файлов представляется в виде либо последовательности записей, содержащих строки текста, либо последовательности байтов, среди которых встречаются специальные служебные символы» будет представлено в следующей форме:

(2, текстовых, файлов, 0);

(1, структура, файлов, 1);

(3, в, виде,0);

(1, последовательности записей, 0);

(1, строки текста, 0);

(1, последовательности байтов, 0);

(2, служебные символы, 0);

(2, специальные символы, 1);

Всем узлам дерева зависимостей приписан уникальный номер клаузы, которой он принадлежит. Кроме этого, приписаны два набора морфологической информации (внутренний и внешний).  Внутренняя морфологическая информация – это те параметры, которые были приписаны непосредственно слову, а внешняя информация – это то, что было приписано группе, в которой это слово было главным. Например, главным словом в группе «служебные символы» будет слово «символы». Внутренняя информация словоформы «символы» будет (СИМВОЛ, С, («мр, ед, рд», «мр, ед, им»)), а внешняя  -  (СИМВОЛ (1, 2, 0)).

Нормализация предложений

Нормализация предложений предшествует этапам морфологического и синтаксического анализа. Он включает в себя несколько шагов:

• определение типа предложения;

• выделение вводных или неинформативных слов;

• выделение оборотов (причастных, деепричастных, обстоятельств);

• устранение отрицания.

Нормализация - деление предложения на неразрывные синтаксические единства (фрагменты), большие или равные словосочетанию (синтаксической группе) и установление иерархии на множестве этих единств. Сложные предложения, содержание причастные и деепричастные обороты делятся на простые предложения. Другие обособленные обороты (например, отрицание) выделяется в виде фрагмента и связывается с найденной именованной группой. Иерархия отражает тот факт, что в предложении некоторые фрагменты синтаксически зависимы от других.

Необходимость нормализации вызвана в первую очередь с особенностями построения русскоязычных предложений. С одной стороны, данная процедура упорядочивает все предложения к определенным типам, с другой стороны, такой подход во много раз сокращает время работы синтаксического анализа.

Новое предложение состоит из следующих элементов: тип предложения, левая и правая границы предложения. Тип предложения определяется  по виду глагольной группы: глагол в личной форме, краткое причастие, причастие,  деепричастие, инфинитив.   

Работа нормализатора начинается с того, что по всем знакам препинания и сочинительным союзам без запятой проводятся границы предложений. Затем вступают в действие правила нормализации, которые можно разделить на три типа:

• правила, позволяющие устранять омонимию. Они рассматривают не только ближайшее окружение слова, но и весь фрагмент или все предложение;

• правила, устанавливающие иерархию фрагментов;

• правила, которые объединяют фрагменты или именованные группы.

3.3. Семантический анализ. Формирование векторов цели.

После нормализации предложений и выделения именных групп на основе векторной модели строится вектор предложения. С этой целью Для этого строится семантическая таблица.

Таблица 3.2

Пример семантической таблицы

Ноль в полях «X» и «Y» означает, что главное существительное не выделено, а в поле «Z», что в предложении не найдена связь между координатами Х и Y.

Корефернтность

Поскольку в координаты вектора могут входить и местоимения, то проводится этап устранения анафоризма. Процедура заключается в сопоставлении местоимения найденному существительному из другого вектора.

Поскольку вектор должен иметь начальную и конечную координаты, то следующим шагом является восстановление координат вектора на основе ранее выявленных связей.

Если в качестве координаты вектора выступает местоимение, а не существительное, то делается замена местоимения на существительное. При этом могут быть два варианта:

1. X содержит местоимение: присваиваются координата предыдущего вектора. Тип координаты (начальная Х или конечная Y определяется по связке Z (если Z имеет атрибут «инфинитив», то присваивается координата X, в противном случае координата Y);

2. Y содержит местоимение: присваивается координата X;

Рассмотрим все типы восстановления векторов.

1. X = 0, Y = 0, Z = 0; X = 0, Y = 0, Z = 1: вектор восстановлению не подлежит, данный вектор исключается из рассмотрения;

2. X = 0, Y = 1, Z = 1: присваивается координата предыдущего вектора (X_i = Y_i-1)

3. X = 1, Y = 0, Z = 1: присваивается координата следующего вектора (Y_i = X_i+1)

Связь между предложениями строится на основе ранее установленных связей векторов. При этом соблюдается следующий алгоритм:

1. если Х_i ∩ Х_i-1 , то Х_i = f(Х_i-1)

2. если Х_i ∩ Y_i-1 , то Х_i = f(Y_i-1)

После этого строится семантическая сеть.

Рис. 3.2. Семантическая сеть предложения

Поскольку связи между векторами устанавливаются на этапе семантического анализа, то связи между предложениями, а также между абзацами можно выявить по координатам векторов.

Таким образом, описанная информационная технология позволяет осуществить семантический анализ текста, включающий в себя выделение основных понятий и установление связей между ними. Эти понятия и связи в дальнейшем используются для различных задач обработки текстов.

Рассмотрим пример. Пусть заданы следующие предложения для анализа:

«Во все времена люди сталкиваются с одними и теми же проблемами экономики. Они всегда заботятся об удовлетворении своих потребностей посредством развития и совершенствования производства материальных благ и услуг».

Оба предложения простые, поэтому имеем два вектора:

Vp₁(x₁, y₁) (z₁) и Vp₂(x₁, y₂) (z₂).

Координаты и атрибуты первого вектора Vp₁: координата х₁ = {люди}, координата y₁ = {проблемы экономики}, связь z₁ = (сталкиваются), атрибуты координаты х₁ - а_х1 = {во все времена}, а атрибуты координаты y₁ - a_y1 = {одни и те же}.

Координаты и атрибуты второго вектора Vp₂: х₂ = {люди}, координата y₂ = {удовлетворении своих потребностей}, связь z₂ = (заботятся), атрибуты координаты х₁ - а_х1 = {всегда}, атрибуты координаты y₂ - a_y2 = {посредством развития и совершенствования производства материальных благ и услуг}.

Таблица 3.3

Исходная семантическая таблица

Таблица 3.4

Восстановленная семантическая таблица

Данную таблицу легко можно представить в виде графа или семантической сети.

Визуальный анализ графов показал, что существуют три подграфа. Данные результаты можно также получить с помощью теории графов.

Рис. 3.3. Модель предложения в виде графа

Устранение отрицания иллюстрируется на примере анализа следующего предложения:

«Основные положения меркантилизма являются результатом не теоретического анализа хозяйственной жизни, а просто описания наблюдаемых явлений и отчасти их классификации».

После выполнения процедуры нормализации получаем:

«Основные положения меркантилизма являются результатом просто описания наблюдаемых явлений и отчасти их классификации».

В данном примере один вектор Vp₁(x₁ , y₁) (z₁).

Здесь координата х₁ = {основные положения меркантилизма}, координата y₁ = {результатом описания наблюдаемых явлений и отчасти их классификации}, связь z₁ = (являются).

Атрибут координаты y₁ – а_y1 = {не теоретического анализа хозяйственной жизни}.

Объединение векторов целей предложений в вектора цели абзаца происходит на основе семантических таблиц. Аналогично процедуры выполняются и при выделении векторов глав и текста в целом.

3.4. Выводы по третьей главе

Разработанная информационная технология анализа текста содержит в себе набор разных методов. Некоторые из них применены без изменений, другие доработаны. Вся процедура анализа сводится к ранее известным этапам: морфологический анализ, синтаксический анализ и семантический анализ. Если первый уровень анализа текста был использован практически без изменений, то последние два были доработаны. Так на этапе выделения именованных групп и перед векторным представлением производится этап нормализации, заключающийся в приведении всех предложений к одному типу, что значительно улучшает разбор предложения и способствует более адекватному выделению его смысла.

Кроме этого, использована новая схема выделения смысла предложения, основанная на векторном представлении модели предложения.

Ряд экспериментов показал, что данную технологию можно использовать для проверки логики построения предложения и всего текста в целом.

Векторное представление удобно еще и тем, что от него без особых сложностей можно перейти к семантическому графу, фреймам, кластерам и другим информационным представлениям баз знаний. Механизм такого представления и будет предложен в четвертой главе настоящей работы.

Следует отметить, что для выявления роли отдельных слов или предложений не требуется выяснять их смысл. Достаточно выделить их значимость и роль среди других структурных единиц текста, а выяснение смысла текста целесообразно возложить на эксперта, предоставив ему полноценную контекстную, хорошо структурированную информацию, получаемую в процессе анализа. Предлагаемый подход основывается не только на выделении значений слов или именованный групп, но и основывается на анализе текста с учетом динамики его построения.

4. СИСТЕМА АНАЛИЗА ТЕКСТА

Во второй главе были проведены исследования по определению статистических зависимостей, характеризующих текстовые документы из различных предметных областей. Для подтверждения выводов, сделанных на основе предварительных исследований был проведен ряд экспериментов по изучению статистических характеристик и выделению векторов цели структурных элементов текста.

В данной главе представлена архитектура системы анализа текста, которая была разработана и использована для проведения экспериментальных исследований. Система анализа текста реализована в виде программного комплекса «ТЕКСТАН» (ПК «ТЕКСТАН»). В основу работы системы положены методы и технология, описанные в главах 2 и 3.

В ходе проведения экспериментов использовались русскоязычные тексты по научной и учебной тематике (лекции, статьи, методические указания и т.п.). Составные части текстов, такие как рисунки, таблицы, формулы не анализировались. Общее количество текстов, на которых проводились эксперименты, составило порядка трехсот, каждый из которых содержал до 300 предложений различной сложности.

Все эксперименты проводились на рабочей станции, имеющей следующей основные параметры: процессор AMD-750, RAM 256 Мб.

4.1. Архитектура системы и сценарий диалога

Архитектура системы представлена на рис. 4.1 и включает в себя лингвистический процессор, семантический анализатор, морфологический и семантический словари. С помощью ПК «ТЕКСТАН» можно проводить направленную фильтрацию текста, структуризацию текста, создавать и пополнять, в т.ч. и автоматически, тематические рубрикаторы, выделять ключевые понятия, формировать рефераты и т.п. ПК «ТЕКСТАН» может быть использован в качестве АРМ специалиста конкретной профессиональной области.

Рис. 4.1. Архитектура системы «ТЕКСТАН»

Система работает следующим образом. На вход лингвистического процессора поступает текст для анализа, происходит разбиение предложений на множество простых, затем происходит выделение составных слов. После процедуры морфологического анализа, происходит устранение омонимии и выполняются этапы синтаксического и семантико-синтаксического анализа. Результаты работы лингвистического процессора поступают на вход семантического анализатора, где после разрешения референтности и анафоричности происходит выделение векторов цели предложений и формирование векторов цели абзацев.

Описание интерфейса программы. Окно программы имеет три главных панели (рис. 4.2).

Рис. 4.2. Главное окно программы

Сверху расположена панель, имеющая шесть вкладок для работы с текстом, справочниками и настройками. Вторая панель представляет собой наиболее часто используемые команды при работе с текстом (выделение ключевых слов, структуризация текста, реферирование и др.). Нижняя панель содержит четыре поля. Первое поле (1) содержит исходный текст для анализа (обычно содержит несколько предложений и используется экспертом для настройки и тестирования). Текст большего объема загружается путем выполнения команды Файл/Загрузить. Поле (2) содержит структурированный текст и векторы цели. Поле (3) содержит основные понятия текста, а поле (4) - ключевые слова.

Программные средства реализации. Система «ТЕКСТАН» реализована под операционные системы Windows (версии 95 и выше). В качестве среды разработки использовалась Borland Delphi версии 6 со стандартными наборами библиотек.

4.2. Эксперименты с текстом

4.2.1. Изучение статистических характеристик текста

Исследовались статистические зависимости, характеризующие особенности построения русскоязычных текстовых документов различных предметных областей. При построении статистической информационной модели использовались тексты по технической, экономической, экологической и правовой тематике.

В качестве укрупненных смысловых единиц текста рассматриваются отдельные предложения и абзацы.

С целью более глубокого изучения вопросов связанных со структурной организацией отдельных предложений и абзацев различных текстов, рассматривались характеристики текстов следующих видов:

• среднестатистическая длина абзаца, выражаемая через число предложений в абзаце;

• закон распределения абзацев исследуемого текста;

• смысловая нагрузка отдельных абзацев;

• семантические зависимости между отдельными абзацами.

Общее количество текстов, на которых проводились эксперименты, составило порядка трехсот, каждый из которых содержал до 300 предложений различной сложности.

Массив предложений и абзацев текста для анализа представляется в виде генеральных совокупностей, для которых рассчитываются статистические показатели.

Для данного этапа анализа используется команда меню Статистика. Среднее время обработки одного текста составило 36 секунд.

В табл. 4.1 – 4.3 представлены основные характеристики некоторых из исследуемых текстов.

Таблица 4.1

Статистические характеристики распределения количества слов в предложениях для текстов по экономической тематике

Таблица 4.2

Статистические характеристики распределения количества слов в предложениях для текстов по экологической тематике

Таблица 4.3

Статистические характеристики распределения количества слов в предложениях для текстов по правовой тематике

Таблица 4.4

Статистические характеристики распределения количества слов в предложениях для текстов по технической тематике

Проведенные исследования показали следующее.

1. С точки зрения человека – эксперта, рассмотренные тексты отличаются различной сложностью, отражают характерные аспекты, связанные с проблематикой текста, отличаются количественными и качественными характеристиками.

2. Средняя длина абзацев по совокупности текстов составляет 3 - 7 предложений, т.е. для выражения идеи абзаца требуется соответствующее количество предложений определенной сложности. Таким образом, фактически определяются основные законы построения текста, что может быть использовано, например, при синтезе текстовой информации.

3. Информационная картина текста позволяет выделить в нем информативные зоны, что помогает эксперту провести выборочную направленную фильтрацию.

4. Закон распределения частей речи в рассмотренных текстах близок к экспоненциальному закону. Это хорошо согласуется с известным законом Зипфа.

5. Средняя длина предложений в рассмотренных текстах примерно одинакова и составляет величину порядка 12 – 14 слов. Такие характеристики как асимметрия и эксцесс имеют индивидуальные значения для каждого текста.

В дальнейших экспериментах статистические количественные характеристики текстов использовались для направленной фильтрации.

После определения статистических характеристик появляется возможность использовать ручной режим фильтрации. Для этого эксперт сам указывает либо интервал длин предложений, либо процент сжатия текста. При автоматической настройке фильтрации система сама определяет степень сжатия по ранее выявленным характеристикам текстов данной предметной области.

Таблица сравнительных результатов фильтрации представлена в табл. 4.5.

Оценка экспертом проводилась на основе 4-х бальной системы: 5 – полученный текст полностью содержит всю семантику исходного текста; 4 - полученный текст в основном содержит семантику исходного текста; 3 - полученный текст в малой степени отражает содержание исходного текста; 2 - полученный текст не содержит исходной семантики.

Таблица 4.5

Сравнительные результаты направленной фильтрации текста

Продолжение табл. 4.5.

Анализ результатов проведенных экспериментов по направленной фильтрации позволил сделать следующие выводы:

1. Короткие предложения, как правило, представляют собой заголовки, выводы, определения, законченные по смыслу словосочетания.

2. Предложения средней длины описывают, как правило, содержательную часть текста.

3. Длинные предложения уточняют смысл, представляют варианты классификаций, содержат большое количество понятий, используемых в предыдущих частях.

4. Потеря ключевых слов при уменьшении объема информации на 50% за счет применения направленной фильтрации составляет 14-19%;

Таким образом, направленная фильтрация, связанная с выделением предложений определенной длины позволяет практически без потери семантической составляющей значительно сократить объем текста для дальнейшего анализа.

4.2.1. Выделение векторов цели

Экспериментальные исследования разработанной векторной модели текста проводились на текстах различных предметных областей: техническом, экономическом, экологическом и правовом.

В ходе проведения экспериментов решались такие задачи как проверка правильности выделения именованных групп, определения ключевых слов, выделение векторов цели предложений и абзацев, структуризация текста.

На рис. 4.3 показаны результаты работы системы при проведении семантического анализа сложного предложения. В поле 1 представлено исходное предложение для анализа, а в поле 2 – семантическое дерево разбора. Данный результат, подтвержденный экспертной оценкой, свидетельствует о правильной работе семантического анализатора.

Одновременно рис. 4.3 иллюстрирует результат работы системы при выделении векторов цели предложения. Экспертный анализ результатов показывает, что система правильно выделила три вектора цели:

1. «Реформа системы осуществляемая в России»;

2. «Реформа системы требует подхода»;

3. «Подхода основывается на законах и принципах управления» (лемматизированная форма: «Подход основывается на законах и принципах управления»).

Рис. 4.3. Результат семантического анализа

На рис. 4.4 представлены результаты нахождения именованных групп и выделения среди них ключевых понятий.

На рис. 4.4 именованные группы представлены в поле 3, а выделенные ключевые слова: «реформа политической системы», «научного подхода» (лемматизированная форма: «научный подход») в поле 4.

По результатам экспертной оценки, можно отметить, что операция нахождения ключевых слов среди выделенных именованных понятий проведена правильно.

Рис. 4.4. Результаты нахождения именованных групп и выделения ключевых понятий

На рис. 4.5 представлен другой вариант формирования вектора цели сложного предложения, который включает в себя два подвектора. Данный разбор также подтверждает правильность работы системы. В этом случае первый вектор цели Vp1: принцип (x1), состоит (z1) , [Vp2, Vp3] (y1).

Первый вектор цели Vp1 содержит координату х («принцип»), связь z («состоит») и координату y, которая является составным вектором, имеющим два подвектора Vp2, Vp3:

Vp2: ЭВМ (x2), изготавливается (z2), в виде набора модулей (y2).

Vp3: модулей (x3), имеющих (z3), оформление и алгоритмы обмена информацией (y3).

Рис. 4.5. Вектор цели предложения с подвекторами

На рис. 4.6 показана возможность структуризации текста на основе группы выделенных векторов абзацев. Данный подход позволяет создавать тематические каталоги, представлять тексты в форме значимых, обобщающих понятий, представленных в виде иерархической структуры с несколькими уровнями вложений, что может быть использовано экспертом для организации тематических каталогов, рубрикаторов, автоматизации направленного поиска требуемой информации, реферирования.

Рис. 4.6. Структуризация текста на основе выделенных векторов целей абзаца

В табл. 4.6 представлены интегральные экспертные оценки по анализу текста.

Для оценки результатов семантического анализа использовалась 4-х балльная экспертная оценка.

Каждый текст для анализа включал до 30 предложений по каждой предметной области.

Семантический анализ проводился на простых и сложных предложениях каждого типа, о которых шла речь в третьей главе. В ходе экспериментальных исследований было проанализировано более 150 предложений.

Для проверки качества получаемых рефератов были рассмотрены 10 текстов указанных выше предметных областей, содержащих порядка 300 предложений каждый.

Среднее время автоматического семантического анализа предложений составило 2 секунды, что значительно меньше времени при работе в системе Dialing.

Таблица 4.6

Интегральные экспертные оценки по анализу текста

По результатам проведенных экспериментов Выводы:

1. В 76% случаев качество реферата, полученного с помощью ПК «ТЕКСТАН» удовлетворяло запросам эксперта;

2. В 90% случаев, результаты работы ПК «ТЕКСТАН» и эксперта при проведении семантического анализа совпадали;

3. Вероятность правильного выделения ключевых слов по оценке экспертов находится на уровне 0,95.

4. Вероятность правильного отнесения текста к определенной предметной области на основе экспертных оценок составляет 0,82 - 0,86. При наполнении классификатора предметных областей ключевыми понятиями, которые определяют заданную предметную область, точность результатов существенно увеличивается.

Результаты семантического анализа сравнивались с результатами семантического анализа в ПК Dialing. Если качество анализа простых предложений в обоих системах практически не отличалось и было на высоком уровне, то при анализе сложных предложений ПК «ТЕКСТАН» во многом превосходит возможности ПК Dialing (см. приложение Е).

4.3. Пополнение баз знаний на основе информационной технологии

Разработанная информационная технология анализа текста может использоваться для создания тематических рубрикаторов и послужить в качестве модуля для системы пополнения баз знаний. Поскольку базы знаний могут строиться в виде семантических сетей или фреймов, то можно предложить модель базы знаний, основанную на фреймах.

Предлагаемая технология предполагает двухэтапную процедуру наполнения и обновления актуальной информацией формируемых профессиональных баз знаний.

В основе построения рассматриваемой далее базы знаний лежит понятие фрейма [37], используемое для описания основных информационных единиц, таких как, объекты, события, ситуации и другие понятия с их взаимосвязями. Для работы с базой знаний используются специальные правила-процедуры.

Непосредственное использование фреймов для анализа текстовой информации, как правило, ограничено из-за возникающих трудностей, связанных с особенностями структуры сложных предложений. Дополнительные трудности определяются сложным характером семантической связи между отдельными понятиями, используемыми в тексте.

С другой стороны, рассмотренный выше ВМТ-метод позволяет проводить качественный анализ сложных предложений и формирует систему понятий анализируемого текста.

Для наполнения базы знаний выделенная система понятий должна быть преобразована в систему понятий применяемой модели фрейма.

Сочетание фреймового представления информации и структура этой информации, получаемая на основе применения ВМТ-метода, позволяет более эффективно реализовать процесс наполнения базы знаний.

В общем случае, структура фрейма представляется в следующем виде [45]:

[Заголовочный глагол

[падежный фрейм

агент: <активный агент, совершающий действие>

объект: <объект, над которым совершается действие>

инструмент: <инструмент, используемый при совершении действия>

реципиент: <получатель действия - часто косвенное дополнение>

направление: <цель (обычно физического) действия>

место: <место, где совершается действие>

бенефициант: <сущность, в интересах которой совершается действие>

коагент: <второй агент, помогающий совершать действие>]

]

Каждому полю структуры фрейма может назначаться атрибут, например, временной или стилевой.

При построении конкретной профессиональной системы знаний состав элементов структуры фрейма может быть изменен.

В общем случае, алгоритм пополнения базы знаний можно представить в виде последовательности следующих основных процедур:

1) преобразование выделенного вектора рассматриваемого фрагмента текста в формат используемого фрейма базы знаний;

2) отнесение полученного фрейма к соответствующему объекту структуры базы знаний;

3) занесение фрейма в базу знаний.

Если пользователем явно определен объект для пополнения базы знаний, то второй этап пропускается. В противном случае, определение принадлежности фрейма к существующему понятию-объекту, находящемуся в базе знаний, осуществляется при совпадении этого понятия-объекта с полем «объект» структуры полученного фрейма.

В ходе выполнения процедуры сравнения фреймов могут возникнуть ситуации совпадения других полей: агента, инструмента, реципиента, направления, места, бенефицианта, коагента.

В ходе сопоставления координат векторов с полями фрейма могут возникнуть трудности, связанные с семантической неоднозначностью, которая может быть устранена, например, на основе применения метода концептуальных зависимостей, разработанного Шенком для глаголов действия [56]. Метод заключается в том, что каждое действие разбивается на более простые действия.

Таким образом, технология пополнения базы знаний (ТПБЗ), а в дальнейшем и построения системы знаний, предполагает последовательное выполнение базовых процедур: процедуры формирования вектора цели на основе ВМТ-метода, процедуры нормализации, процедуры преобразования векторной формы представления информации к фреймовой, процедуры отнесения полученного фрейма к соответствующему объекту структуры базы знаний и процедуры занесения фрейма в базу знаний.

Таким образом, применение предлагаемого подхода на основе ВМТ-метода позволяет решить задачу наполнения баз знаний необходимыми данными. Кроме того, данная технология может быть применена в системах анализа текста, использующих технологию на основе фреймов. При этом устраняется проблема обработки сложных предложений и упрощается процедура представления данных в виде фреймов.

4.4. Выводы по четвертой главе

Информационная технология анализа текста на основе ВМТ-метода позволяет эксперту автоматизировать процессы создания и поддержки в актуальном состоянии информационных ресурсов.

ПК «ТЕКСТАН» разработан как часть программного обеспечения информационной системы ИжГТУ и применен при формировании «Фонда электронных изданий» (создание онтологий предметных областей, формирование рефератов, выделение метаинформации) по направлению «Информатика и вычислительная техника».

Технология реализована в виде программного комплекса «ТЕКСАН» и может быть использована для решения широкого круга задач: пополнения семантического словаря; интерпретации и понимания текста; обнаружения и исправления ошибок в текстах; аннотирования и реферирования; информационного поиска; извлечения фактов из текста на естественном языке и др.

ПК «ТЕКСТАН» послужил прототипом создания АРМ преподавателя для подготовки к лекционным и практическим занятиям.

На основе проведенных исследований и экспериментов с использованием программного комплекса «ТЕКСТАН» были получены следующие результаты:

• потеря ключевых слов при уменьшении объема информации на 50% за счет применения направленной фильтрации составляет 14-19%;

• в 90% случаях, результаты работы ПК «ТЕКСТАН» и эксперта при проведении семантического анализа совпадали;

• вероятность правильного выделения ключевых слов по оценке экспертов находится на уровне 0,95;

• в 76% случаях качество реферата, полученного с помощью ПК «ТЕКСТАН» удовлетворяло запросам эксперта;

• вероятность правильного отнесения текста к определенной предметной области на основе экспертных оценок составляет 0,82 - 0,86 (при наполнении классификатора предметных областей ключевыми понятиями, которые определяют заданную предметную область, точность результатов увеличивается).

Необходимо заметить, что разработанная информационная технология анализа текста, основанная на ВМТ-методе может быть использована для наполнения баз знаний необходимыми данными. Кроме того, данная технология может быть применена в системах анализа текста, использующих технологию на основе фреймов (создании соответствующего конвертора преобразования вектора в цели в формат фрейма).

ЗАКЛЮЧЕНИЕ

Подводя итог проделанной работе, необходимо затронуть ситуацию, сложившуюся в области компьютерного анализа текста на ЕЯ. На сегодняшний день задача обработки текстов на естественном языке является одной из наиболее актуальных проблем. Алгоритмы, опирающиеся на частотные характеристики текста (встречаемость слов, корреляция слов и т.п.) уже не дают адекватные результаты. Существующие методы компьютерного анализа текста показывают относительно невысокие результаты на уровне семантического анализа предложений сложной структуры. Это связано, в первую очередь, с характерной особенностью русскоязычных текстов, отличающихся разнообразием и сложностью структуры предложений.

Одним из способов повышения эффективность анализа русскоязычных текстов могут служить методы и информационная технология, основанные на векторном представлении текстовой информации. Подобное представление обеспечивает выражение основной идеи анализируемого текста путем раскрытия множества целей разного ранга, определяемых отдельными предложениями, абзацами, параграфами, главами и т.п.

Целью работы являлось разработка и исследование моделей и информационной технологии семантико-синтаксического анализа русскоязычного текста, обеспечивающих эффективное решение экспертом задач, связанных со структуризацией текстовой информации и формированием информационных ресурсов.

В работе получены следующие основные выводы и результаты:

1. Характерной особенностью русскоязычных текстов является разнообразие и сложность структуры предложений. Существующие методы компьютерного анализа текста показывают относительно невысокие результаты на уровне семантического анализа предложений сложной структуры.

2. Повышение эффективности анализа текста в данной работе достигается путем разработки соответствующих моделей и информационной технологии, основанной на векторном представлении текстовой информации.

Разработанные модели и информационная технология анализа русскоязычных текстов позволяют повысить эффективность систем анализа текста за счет:

• направленной фильтрации на этапе предварительной обработки и уменьшения за счет этого объема обрабатываемой информации;

• применения векторной технологии анализа текста, обеспечивающей высокий уровень структуризации текста и формирование развернутого плана анализируемого текстового документа для работы эксперта;

• применения процедуры нормализации сложного предложения, обеспечивающей однозначное разбиение сложного предложения на множество простых.

3. Разработана процедура нормализации сложных предложений русскоязычного текста.

4. Построена статистическая и векторная модели текста.

5. Разработана информационная технология семантико-синтаксического анализа.

6. Выполнены экспериментальные исследования предложенных решений анализа русскоязычных текстов на базе специально созданного ПК «ТЕКСТАН».

7. Применение разработанной информационной технологии анализа русскоязычных текстов позволяет автоматизировать многие процессы, связанные с созданием и использованием информационных ресурсов профессиональной направленности.

Основные положения, методы и технология обработки текста реализованы автором в виде законченного программного комплекса «ТЕКСТАН». Данный программный комплекс был использован при формировании информационной системы ИжГТУ, при формировании информационных ресурсов по различным направлениям подготовки бакалавров, специалистов, магистров, при изучении принципов построения ИС.

С помощью созданного программного комплекса «ТЕКСТАН» были проанализированы тексты разных объемов из различных предметных областей (экономического, правового, технического и экологического). Достоверность полученных результатов подтверждается адекватностью сопоставления фреймовой модели и результатами векторного анализа.

Выводы и рекомендации, полученные в результате проведенного в работе исследования, применимы для дальнейшей научной разработки принципов и методов решения актуальных проблем создания информационных ресурсов.

Методические подходы и практические рекомендации по решению ряда ключевых проблем анализа текстовой информации могут быть рекомендованы для использования образовательными учреждениями, коммерческими предприятиями в практической деятельности, а также в любой организации, использующей информационные ресурсы.

Основные положения диссертационной работы докладывались на следующих конференциях: Технологии информатизации профессиональной деятельности (в науке, образовании и промышленности), Ижевск, 23-26 ноября 2004 г.; Межрегиональная научно-практическая конференция «Реализация стратегии устойчивого развития города Ижевска: опыт и проблемы, Ижевск, 28 сентября 2005 г.; Современные информационные технологии и письменное наследие: от древних рукописей к электронным текстам: материалы международной научной конференции, Ижевск, 13-17 июля 2006 г.

Достоверность и обоснованность результатов подтверждены теоретическими и экспериментальными исследованиями по анализу различных текстов, выполненными на базе специально разработанного программного комплекса «ТЕКСТАН» анализа текстовой информации и разработки профессиональных систем знаний.

В настоящее время наиболее приоритетным направлением исследований автора данной работы является механизм пополнения баз знаний.

СПИСОК ЛИТЕРАТУРЫ

1. Андреев А.М.,Березкин Д.В.,Сюзев В.В., Шабанов В.И. Модели и методы автоматической классификации текстовых документов// Вестн. МГТУ. Сер. Приборостроение. М.:Изд-во МГТУ.- 2003.- №3.

2. Анно Е.И. К типологии алгоритмов синтаксического анализа (для формальных моделей естественного языка). // НТИ. Сер. 2. - 1980.- № 3. - С.15-22.

3. Аношкина Ж.Г. Морфологический процессор русского языка // Альманах «Говор». Сыктывкар. – 1995. - С.17-23.

4. Апресян Ю.Д. Избранные труды, Том 1. Лексическая семантика: 2-е изд., испр. и доп.  - М.:Школа «Языки русской культуры», 1995. – 302 с.

5. Апресян Ю.Д. Экспериментальное исследование семантики русского глагола. – Москва: «Наука», 1967. – 185 с.

6. Арутюнова Н.Д. Время: модели и метафоры. Логический анализ языка: язык и время. - М., 1979. – 88 с.

7. Ахутина Т.В. Порождение речи. Нейро-лингвистический анализ синтаксиса. - М.: МГУ, 1989. – 41 с.

8. Бледнов А.М. Применение векторной модели представления текстовой информации для пополнения базы знаний. // Вестник ИжГТУ: период. науч.-теор. Журн. ИжГТУ. – 2006. - №4. Ижевск: Изд-во ИжГТУ, 2006. С. 56-60.

9. Бледнов А.М., Моченов С.В., Луговских Ю.А. Об одном методе статистической фильтрации текстовой информации. // Современные информационные технологии и письменное наследие: от древних рукописей к электронным текстам: материалы междунар. науч. конф. (Ижевск, 13-17 июля 2006 г.) – Ижевск: Изд-во ИжГТУ, 2006. - С. 126-130.

10. Бледнов А.М., Моченов С.В., Луговских Ю.А. Применение статистических методов при анализе текстовой информации. // Технологии информатизации профессиональной деятельности (в науке, образовании и промышленности): Сб. тр. науч.-техн. конференции с междунар. участием в рамках форума «Высокие технологии-2004», Ижевск, НИЦ «Регулярная и хаотическая динамика», 2005, - С. 354 - 359.

11. Бледнов А.М., Моченов С.В.,  Луговских Ю.А. Векторная модель представления текстовой информации. – Современные информационные технологии и письменное наследие: от древних рукописей к электронным текстам [Текст]: материалы междунар. науч. конф. (Ижевск, 13-17 июля 2006 г.) / отв. ред. В.А.Баранов. – Ижевск: Изд-во ИжГТУ, 2006. – С.136-145.

12. ВААЛ: Экспертная компьютерная психолингвистическая программа. http://www.logic.ru/~shalack.

13. Виноград Т. Об одном подходе к изучению дискурса. В сб. «Взаимодействие с ЭВМ на естественном языке», Новосибирск, ВЦ СО АН СССР, 1978. - С. 11-47.

14. Гарвин П. Алгоритм синтаксического анализа «Фулькрум» (для русского языка) // Автоматический перевод. -М.: Прогресс, 1971. - С. 26-40.

15. Гладкий А.В. Формальные грамматики и языки. - М.: Наука, 1973. – 52 с.

16. Гладкий А.В.  Синтаксические структуры  естественного языка в автоматизированных системах общения. М.,1985. – 67 с.

17. Гладун В. П. Процессы формирования новых знаний. - София: Педагог, 1994.-190 с.

18. Грязнухина Т.А., Дарчук Н.П., Критская В.И., Маловица Н.П. и др. Синтаксический анализ научного текста на ЭВМ, К.: Научная мысль, 1999. – 77 с.

19. Ермаков А.Е. Проблемы полнотекстового поиска и их решение // Мир ПК. - 2001. - № 5. (http://www.osp.ru/pcworld/2001/05/161575/)

20. Ермаков А.Е. Тематический анализ текста с выявлением сверхфразовой структуры // Информационные технологии. - 2000.. - № 11. (http://www.metric.ru/publications.asp?ob_no=319)

21. Ермаков А.Е., Плешко В.В. Ассоциативная модель порождения текста в задаче классификации // Информационные технологии. – 2000. - № 12. – С. 34 - 37

22. Ермаков А.Е., Плешко В.В. Тематическая навигация в полнотекстовых базах данных // Мир ПК. - 2001. - № 8. (http://www.osp.ru/pcworld/2001/08/162037/)

23. Зализняк А.А.  Грамматический   словарь русского языка: словоизменение. – 3-е изд. Москва.: Рус. яз.,1987.

24. Игумнов Е. Основные концепции и подходы при создании контекстно-поисковых систем на основе реляционных баз данных. (http://www.citforum.ru/database/articles/search_sys.shtml).

25. Иванов С.А. Стохастические фракталы в информатике / /НТИ. Сер. 2. - 2002. - № 8. - С. 7-18.

26. Иомдин Л.Л. Симметричные предикаты в русском языке. – Проблемы структурной лингвистики  1979, М., Наука, 1981.

27. Искусственный интеллект. - В 3-х кн. Кн.1. Системы общения и экспертные системы: Справочник. /Под ред. Д.А.Поспелова. -М.: Наука, 1990.

28. Кандрашина Е.Ю., Очаковская О.Н., Голубева Л.А. Экспериментальная вопросно-ответная система ВОСТОК-0. Описание средств для представления семантической информации. Препринт ВЦ СО АН СССР № 174, 1979.

29. Карпова Г. Д., Пирогова Ю. К., Кобзарева Т. Ю., Микаэлян Е. В. Компьютерный синтаксический анализ: описание моделей и направлений разработок. // Итоги науки и техники (серия «Вычислительные науки»). Т.6. -М.: ВИНИТИ, 1991.

30. Касевич В.Б. Семантика. Синтаксис. Морфология. -М. 1988.

31. Касевич В.Б. Элементы общей лингвистики. - М., 1977.

32. Кендалл МДж., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973.

33. Ковальченко И.Д. О применении математических методов при анализе историко-статистических данных // История СССР. - 1964. - №1. – С. 3 – 15.

34. Кудряшова И.М. О семантическом словаре в системе ФРАП.- М.: МГПИИЯ  им. М. Тореза. Сборник научных трудов. Вып. 271., 1986.

35. Кузнецов И.П. Семантические представления. М.: Наука, 1986.

36. Кузнецов И.П., Козеренко Е.Б. Поиск языковых универсалий для лингвистического моделирования на расширенных семантических сетях. Труды Международного семинара Диалог-99 по компьютерной лингвистике и ее приложениям. Таруса, - 1999г., С.157-164.

37. Кулагина О.С. Исследования по машинному переводу. - М.: Наука, 1979.

38. Ландэ Д.В. Поиск знаний в Internet. - М.:Диалектика, 2005. - 272 с.

39. Левин Д.Я., Нариньяни А.С. Экспериментальный минипроцессор: семантически-ориентированный анализ. В сб. «Взаимодействие с ЭВМ на естественном языке», Новосибирск, ВЦ СО АН СССР. - 1978, С. 223-233.

40. Леонтьева Н.Н. «Политекст»: информационный анализ политических текстов. // НТИ. - Сер 2. – 1995.- № 4.- С. 20-24.

41. Леонтьева Н.Н. Система французско-русского автоматического перевода (ФРАП): лингвистические решения, состав, реализация. -  МГПИИЯ  им. М. Тореза. Сборник научных трудов., Вып. 271., М.,1986.

42. Леонтьева Н.Н. Строение семантического компонента в информационной модели автоматического понимания текста. Автореф. и дисс. д.т.н. М., 1990.

43. Леонтьева Н.Н.  Русский общесемантический словарь (РОСС): структура, наполнение. // НТИ. - Сер. 2. - 1997. - № 12. - С. 5-20.

44. Леонтьева Н.Н., Кудряшова И.М., Малевич О.Б.  Семантические заготовки к пониманию целого текста. - М.: МГПИИЯ  им. М. Тореза. Сборник научных трудов., Вып. 271., 1986.

45. Леонтьева Н.Н., Никогосов С.Л. Система ФРАП и проблема оценки качества автоматического перевода. – М.: МГПИИЯ  им. М. Тореза. Сборник научных трудов., Вып. 20., 1980.

46. Лукашевич Н.В. Автоматизированное формирование информационно-поискового тезауруса по общественно-политической жизни России // НТИ. Сер.2. -  1995.-№ 7. - С. 21-24.

47. Лукашевич Н.В., Салий А.Д.  Представление знаний в системе автоматической обработки текстов // НТИ. Сер.2. - 1997. - № 3. – С. 27 – 33.

48. Лурия А.Р. Язык и сознание. М.1979;

49. Мельчук И.А Опыт теории лингвистических моделей «Смысл-Текст». Семантика, синтаксис. - М.: Школа «Языки русской культуры», 1999.

50. Моченов С.В., Бледнов А.М., Луговских Ю.А. Использование статистических методов для семантического анализа текста. // Технологии информатизации профессиональной деятельности (в науке, образовании и промышленности): Сб. тр. науч.-техн. конференции с междунар. участием в рамках форума «Высокие технологии – 2004, Ижевск, НИЦ «Регулярная и хаотическая динамика», 2005, - С. 360 -365.

51. Моченов С.В., Бледнов А.М., Луговских Ю.А. Применение системного анализа и синтеза текстовой информации в информационных технологиях управления муниципальными службами. // Сборник тезисов докладов Межрегиональной научно-практической конференции «Реализация стратегии устойчивого развития города Ижевска: опыт и проблемы». - Ижевск: ИРТ, 2005. – С. 195 -196.

52. Нариньяни А.С. Работы по искусственному интеллекту в Вычислительном центре СО АН СССР. Доклад на Международной конференции по искусственному интеллекту, Репино, 1977.

53. Никогосов С.Л. Программное обеспечение машинного перевода. - ВЦП. Серия Машинный перевод и автоматизация информационных процессов. Вып 9. 1984.

54. Новицкий Д.В. Система интерактивной работы с текстом с применением искусственного интеллекта (на семантическом уровне) // История и компьютер. - 1998. - №23. – С. 45 – 49.

55. Ньютон  И. Об универсальном языке. - Семиотика и информатика. Вып. 35. М. 1997.

56. Общее языкознание: Внутренняя структура языка / Отв. ред. Б.А. Серебренников. М., 1972.

57. Общее языкознание: Методы лингвистических исследований / Отв. ред. Б.А. Серебренников. М., 1973.

58. Орлова Л.В. Структура сверхфразового единства в научных текстах. - Киев: Наукова Думка, 1988. – 154 с.

59. Осипов Г.С. Построение баз знаний на основе взаимодействия полуавтоматических методов приобретения знаний. Ч.II. Модель знаний и приобретение знаний. Известия РАН. Теория и системы управления. –М.: Наука. – 1995. - № 5. – С. 65-80.

60. Павиленис Р.И. Проблема смысла. Современный логико-философский анализ языка. - М.1983.

61. Падучева Е.В. Коммуникативное выделение на уровне синтаксиса и семантики. Сборник «Семиотика и информатика», Вып. 36, 1998.

62. Панкратов Д.В., Гершензон Л.М. Описание  синтаксического анализа в системе Диалинг. (http://www.aot.ru/docs/synan.htm)

63. Панфилов В.З. Логика и грамматика. - М.1963.

64. Петров А.И. Компьютерный анализ текста. Историография метода // Круг идей: модели и технологии исторической информатики. - М., - 1999. - С. 255-277.

65. Пешковский А.М. Русский синтаксис в научном освещении. - 8-е изд. - М.: УРСС. - 2001. - 432 с.

66. Пиотровский Р.Г., Билан В.Н., Боркун М.Н., Бобков А.К. Методы автоматического анализа и синтеза текста. – Минск: Вышейшая школа, 1985.

67. Плешко В.В., Ермаков А.Е., Липинский Г.В. TopSOM: визуализация информационных массивов с применением самоорганизующихся тематических карт // Информационные технологии. - 2001. - № 8.

68. Попов Э.В. Общение с ЭВМ на естественном языке. -М.: Наука, 1982.

69. Поспелов Д.А. Искусственный интеллект. Кн. 2. – М.: Радио и связь, 1990.

70. Прагматика и семантика. ИНИОН. М.1991

71. Прикладное языкознание / Отв. ред. А.С. Герд. СПб., 1996.

72. Реформатский А.А. Введение в языковедение. М.: Аспект Пресс, - 2004. – 536 с.

73. Розенталь Д.Э. Управление в русском языке. Словарь-справочник. - М.: Книга, 1986.

74. Салмин П. Проект фразеологического словаря в системе ПОЛИТЕКСТ. – РГГУ, ФТИПЛ, дипломная работа, 1998.

75. Севбо И.П.  Графическое представление синтаксических структур и стилистическая диагностика. - Киев, Наукова думка, 1981.

76. Семенова С.Ю.  Поиск параметрической информации в тексте: алгоритмический    и    лексикографический   аспекты   //   Труды Международного семинара Диалог'96 по компьютерной  лингвистике  и приложениям. - М., 1996. - С.227-230.

77. Семенова  С.Ю.  Прилагательные  в  семантическом  словаре одной   прикладной  системы.  //  Труды  Международного  семинара Диалог'98  по  компьютерной  лингвистике  и  ее  приложениям.   - С.553-564.

78. Сепир Э. Статус лингвистики как науки / Сепир Э. Избранные труды по языкознанию и культурологии. — М.: Прогресс, 1993. — С. 259-265.

79. Скрипник К.Д. Семиотика. - М.: Диалог, 2000. – 102 с.

80. Сменцарев Г.В. О возможностях анализа исторических источников с помощью систем искусственного интеллекта // Информационный Бюллетень Комиссии по применению математических методов и ЭВМ в исторических исследованиях при Отделении истории РАН. 2000. №25.

81. Сокирко А.В. Программная реализация русского общесемантического словаря. // НТИ. Сер 2. – 1997.- № 12.- С. 20-24.

82. Сокирко   А.В.   Реализация первичного семантического анализа в системе Диалинг // Труды  Международного  семинара Диалог'2000  по  компьютерной  лингвистике  и  ее  приложениям, Протвино, 1-5 июня 2000 года. (http://www.aot.ru/docs/graphan.html)

83. Солодуб Ю.П. Сопоставительный анализ структуры лексического и фразеологического значений // Филологические науки. НДВШ. 1997. №5. С.43-54.

84. Сусов И.П. Введение в теорию языкознания: Программно-справочное пособие. Тверь, 1978. 

85. Сущанская Н.Ф. Программный препроцессор для естественноязыковых интерфейсов. Автореф. дисс. к.т.н. - К.: РИО ИК, 1989.

86. Тихонова Н.В. Концепт как инструмент лингвистического анализа текста. (http://hist.asu.ru/kleio/aik/bullet/23/30.html)

87. Тузов В.А. Компьютерная семантика русского языка. – Спб.: Изд-во СПбГУ, 2004. – 400 с.

88. Файн В. С. Машинное понимание естественного языка в рамках концепции реагирования// Интеллектуальные процессы и их моделирование. - М. Наука, 1987.- С. 375-392.

89. Харламов А.А., Ермаков А.Е., Кузнецов Д.М. Технология обработки текстовой информации с опорой на семантическое представление на основе иерархических структур из динамических нейронных сетей, управляемых механизмом внимания // Информационные технологии. - 1998. - № 2. - С. 26-32.

90. Цейтин Г.С., Откупщикова М.И., Лейкина Б.М., Невлева Т.Н. Система анализа текста с процедурным представлением словарной информации. - В кн.: Актуальные вопросы практической реализации систем автоматического перевода. М. 1982.

91. Шихов К.Л. TACT и его тактичность. (http://hist.asu.ru/kleio/aik/bullet/23/32.html)

92. Язык и мышление. - М. Наука, 2005.

93. Язык, идеология, политика: Реф. сб. / АН СССР, Ин-т науч. информ. по обществ. наукам; Редкол.: Ф. М. Березин (отв. ред.); Ин-т науч. информ. по обществ. наукам.- М.: Б. и. ,1982.-(Теория и история языкознания). - 292 с.

94. Fillmore Ch. J. The case for case // Universals in linguistic theory. /Ed. By E.Bach and B.Halms, N.Y., 1968.

95. International Standards Organization (ISO): 8879: Information Processing: Text and Office Systems: Standard General Markup Language (SGML). Geneva. 1986.

96. ISO/TR 9573: Information Processing - SGML Support Facilities - Techniques for Using SGML (ISO,1988)

97. Levi, Judith N. 1978. The Syntax and Semantics of Complex Nominals. New  York: Academic Press.

98. Meadow C.T. Text Information Retrieval Systems. San Diego. 1992.

99. The Computer & Literary Style: Introductionary Essays and Studies. Ed. by J.Leeds. Kent. Ohio. 1966.

100. A RU G 06 F 17/30. Способ автоматической классификации документов / Государственное научное учреждение научно-исследовательский институт. "СПЕЦВУЗАВТОМАТИКА". Аграновский А.В., Арутюн Р.Э., Хади Р.А., Телеснин Б.А. - № 2003 126 907/09; Заявл. 04.09.2003 // Изобретения (Заявки и патенты). – 2003. - № 7. – С.76

101. A RU G 06 F 17/30. Способ поиска информации в политематических массивах неструктурированных текстов / Попов В.В. (ФГУП «Институт промышленного развития «Информэлектро»»). - № 2004113072/09; Заявл. 28.04.2004 // Изобретения (Заявки и патенты). – 2004. - № 30. – С. 341

102. A RU G 06 F 17/20. Способ автоматического реферирования при помощи ЭВМ несегментированного текста на языке с идеографической системой письменности / Загибалов Т.Е. - № 2004114542/09; Заявл. 27.10.2005. - №30. – С. 462.

ПРИЛОЖЕНИЕ 1

Таблица П1.1

Главные графематические дескрипторы

Разновидности дескриптора РЗД:

Разновидности дескриптора ЛЕ и ИЛЕ:

Таблица П1.2

Части речи

Грамеммы

мр, жр, ср - мужской, женский, средний род;

од, но - одушевленность, неодушевленность;

ед, мн - единственное, множественное число;

им, рд, дт, вн, тв, пр - падежи: именительный, родительный, дательный, винительный, творительный, предложный;

#1, #2 - соответствуют пометам "параграф" в словаре А.А.Зализняка;

св, нс - совершенный, несовершенный вид;

пе, нп - переходный, непереходный глагол;

дст, стр - действительный, страдательный залог;

нст, прш, буд - настоящее, прошедшее, будущее время;

пвл - повелительная форма глагола;

1л, 2л, 3л - первое, второе, третье лицо;

0 – неизменяемое.

Таблица П1.3

Типы именованных групп

ПРИЛОЖЕНИЕ 2

Работы схемы процесса анализа текста в программной системе «ТЕКСТАН»

ПРИЛОЖЕНИЕ 3

Результаты работы основных процедур технологии ТПБЗ

ПРИЛОЖЕНИЕ 4

Рис. П3.1. Пример анализа текста технической тематике (информатика)

Рис. П3.2. Пример анализа текста по экономической тематике

Рис. П3.3. Пример анализа текста по экологической тематике

Рис. П3.4. Семантический анализ предложения в системе Dialing (красной линией отмечено ошибочное соответствие семантических групп)

Рис. П3.5. Семантический анализ предложения в системе «ТЕКСТАН»

Рис. П3.6. Семантический анализ предложения в системе Dialing (красной линией отмечено ошибочное соответствие семантических групп)

Рис. П3.7. Семантический анализ предложения в системе «ТЕКСТАН»

Рис. П3.8. Семантический анализ предложения в системе Dialing (красной линией отмечено ошибочное соответствие семантических групп)

Рис. П3.8. Семантический анализ предложения в системе «ТЕКСТАН»

ПРИЛОЖЕНИЕ 5

Акты о внедрении