С.Н. Калегин - аспирант, начальник сектора НТО, Московский научно-исследовательский телевизионный институт; соискатель ИПУ РАН E-mail: skalegin@inbox.ru

Приведен анализ эффективности существующих программ языковой идентификации текста с целью выяснения возможности их применения в системах автоматической обработки многоязычной информации. Протестировано несколько разнотипных программных решений, использующих различные способы идентификации; выявлены общие недостатки всех применяемых решений и оценены перспективы их автоматизации в различных условиях, что может помочь разработчикам соответствующих программных комплексов и систем по сбору и обработке данных сделать обоснованный выбор специального программного обеспечения и рассчитать риски при полной автоматизации процесса языковой идентификации.

 

1. ОГАС. Опередившая время [Электронный ресурс]. URL: http://vestnikburi.com/ogas-operedivshaya-vremya/. Дата обращения: 10.10.2016.
2. Автоматизация технического учета энергоресурсов [Электронный ресурс]. URL: http://nforceit.ru/products /avtomatizaciya_ucheta_energoresursov. Дата обращения: 10.10.2016.
3. Автоматизированная Система обработки НОТАМ-информации [Электронный ресурс]. URL: http:// www.monitorsoft.ru/ products/as-notam/. Дата обращения: 10.10.2016.
4. Барановская Т.П., Лойко В.И., Семенов М.И., Трубилин А.И. Информационные системы и технологии в экономике: Учебник. Изд. 2-е, доп. и перераб. М.: Финансы и статистика. 2005. 416 с.
5. Сысоева Л.А. Модели внедрения технологий аналитической обработки данных в информационную систему организации // Инфо-Стратегия 2014: Общество. Государство. Образование: Материалы VI Междунар. науч.-практ. конф. Самара. 2014. С. 143-146.
6. Лазарев В.М., Любимов А.Е. Предложения по использованию информационно-аналитических систем в информа­ционно-правовом обеспечении органов законодательной и исполнительной власти федерального, регионального и местного уровней // Правовая информатика. 2013. № 1.
7. Информационно-аналитическая система «Лавина» [Электронный ресурс]. URL: http://poisk-it.ru/produkciya/IAS_Lavina/. Дата обращения: 10.10.2016.
8. Лукашевич Н.В. Модели и методы автоматической обработки неструктурированной информации на основе базы знаний онтологического типа: Дисс. - докт. техн. наук. М. 2014.
9. Калегин С.Н. Автоматическое определение языка текста // Филоlogos. № 4 (27). Елец: ЕГУ им. И.А. Бунина. 2015. С. 21-28.
10. Калегин С.Н. Способы определения языка текста // Филологические науки. Вопросы теории и практики. № 12 (54): в 4-х ч. Ч. II. Тамбов: Грамота. 2015. С. 84-89.
11. Автоматический определитель языка текста "Guesser" [Электронный ресурс]. URL: http://guesser.ru/. Дата обраще­ния: 10.10.2016.
12. Automatic language identifier (Автоматический определитель языка) [Электронный ресурс]. URL: http://labs.translated.net/. Дата обращения: 10.10.2016.
13. Программа TextCat [Электронный ресурс]. URL: http://odur.let.rug.nl/~vannoord/TextCat/. Дата обращения: 10.10.2016.
14. Автоматический определитель языка текста Полиглот 3000 (П3000) [Электронный ресурс]. URL: http://www. polyglot3000. com/. Дата обращения: 10.10.2016.
15. Language Identifier by Henrik Falck [Электронный ресурс]. URL: http://whatlanguageisthis.com/. Дата обращения: 10.10.2016.
16. SILC RALI [Электронный ресурс]. URL: http://rali.iro.umontreal.ca/rali/
17. Open Xerox Language Identifier [Электронный ресурс]. URL: http://open.xerox.com/Services/LanguageIdentifier/. Дата обращения: 10.10.2016.
18. Grothe L., E. William De Luca, A. Nurnberger A Comparative Study on Language Identification Methods / Conference LREC 2008, Morocco.
19. Indhuja K, Indu M, Sreejith C, P. C. Reghu Raj Text Based Language Identification System for Indian Languages Following Devanagiri Script / International Journal of Engineering Research & Technology (IJERT), Vol. 3 Issue 4, 2014.