А.А.Мелихов - ассистент, кафедра ИТС, Московский технологический университет (МИРЭА). E-mail: megadelphin@mail.ru

Рассмотрена возможность применения грамматико-зависимых моделей при частотном анализе естественно-языковых текстов. Приведен анализ применимости существующих моделей и предложена новая статистико-лингвистическая модель. Показано, что учет в данной модели дерева синтаксического разбора предложения позволяет значительно уменьшить число анализируемых сочетаний текста и повысить релевантность результатов частотного анализа.

 

1. Рожнов А.В., Антиох Г.М., Селиверстов Д.Е., Кублик Е.И. Системная интеграция направлений научной деятельности в условиях формирования предынтеллектуальной инфраструктуры // Информационно-измерительные и управляющие системы. 2014. Т. 12. № 11. С. 59-63.
2. Лобанов И.А., Рожнов А.В., Скорик Н.А., Цыпелев В.В. О нечеткой стратегии интеграции компонентов в интересах накопления опыта эволюционного моделирования проблемно-ориентированной системы управления на начальных этапах жизненного цикла // Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (СAD/CAM/PDM - 2015) Труды международной конференции. Под ред. А.В. Толока. М. 2015. С. 345-348.
3. Рожнов А.В., Жарков И.Д. Алгоритмизация интеллектуальной обработки данных в задачах слабо формальных систем // Нейрокомпьютеры: разработка, применение. 2008. № 1-2. С. 35-42.
4. Рожнов А.В., Энеев О.О. Основы формирования новых методов интеллектуальной обработки данных информационно-управляющих систем // Нейрокомпьютеры: разработка, применение. 2003. № 2.
5. Павловский И.С.Использование концептуальных моделей в интеллектуальных системах поддержки образовательной деятельности // Нейрокомпьютеры: разработка, применение. 2008. № 7. С. 81-85
6. Карпов В.А. Язык как система. Изд. 3-е. М.: Едиториал УРСС. 2009. 304 с.
7. Гусев С.В., Чеповский А.М. Модель для идентификации естественного языка текста // Бизнес-информатика. 2011. № 3 (17). С. 31-35.
8. Хомский Н., Миллер Дж. Введение в формальный анализ естественных языков: Пер. с англ. Изд. 3-е. М.: Книжный дом «ЛИБРОКОМ». 2010. 64 с.
9. Чейф У.Л. Значение и структура языка: Пер. с англ. Г. С. Щура.Изд. 3-е. М.: URSS, 2009. 424 с.
10. Апресян Ю.Д., Богуславский И.М., Иомдин Л.Л. и др. Лингвистический процессор для сложных информационных систем. М.: Наука. 1992. 256 с.
11. Ingersoll G.S., Morton T.S., Farris A.L. Taming Text. How to Find, Organize, and Manipulate It. Greenwich: Manning Publications.2013. 320 p.
12. Пиперски А.Ч. Генеральный интернет-корпус русского языка и понятие репрезентативности в корпусной лингвистике // Современные проблемы науки и образования. 2013. № 5.
13. Иванова Г.С., Андреев А.М., Нефедов В.И., Шоуман М.А., Егорова Е.В. Автоматический поиск информации с использованием мульти-агентной системы // Электромагнитные волны и электронные системы. 2015. Т. 20. № 2. С. 33-38.
14. Строцев В.А. Информативность частотных характеристик N-грамм текстовых фрагментов // ИВД. 2013. № 1. С. 10.
15. Наместников А.М.Формирование информационных запросов к электронному архиву на основе концептуального индекса // Радиотехника. 2014. № 7. С. 126-129.
16. Савотченко С.Е., Проскурина Е.А. Показатели семантических связей информационно-поисковых систем // Научные ведомости БелГУ. Сер. История. Политология. Экономика. Информатика. 2013. № 1-1 (144). С. 145-151.