350 руб
Журнал «Информационно-измерительные и управляющие системы» №11 за 2012 г.
Статья в номере:
Распределенный краулер для социальных сетей на основе модели Map/Reduce
Ключевые слова: краулер mapreduce hadoop livejournal социальные сети комплексные сети безмасштабные сети
Авторы:
А.В. Якушев - мл. науч. сотрудник, Национальный исследовательский университет информационных технологий, механики и оптики. E-mail: andrew.yakushev@yandex.ru Л.Й. Дейкстра - студент, Университет г. Амстердам. E-mail: louisdijkstra@gmail.com С.А. Митягин - к.т.н., руководитель, Национальный исследовательский университет информационных технологий, механики и оптики. E-mail: mityagin@iac.spb.ru
Аннотация:
Описана система для сбора данных из социальных сетей (краулинга), основанная на модели распределенных вычислений MapReduce. Система работает на кластере серверов под управлением Apache Hadoop и поддерживает многопользовательский режим, позволяя каждому клиенту собирать данные на интересующие его темы с использованием индивидуальной политики обхода сети. Система была использована для сбора данных из сети Livejournal, анализ которой показал, что данная сеть является безмасштабной (scale-free), а также для проведения исследований наркотизации населения.
Страницы: 47-53
Список источников
  1. M E J. NewmanComplex Systems: A Survey // Gene. 2009. № I.
  2. Boccaletti S., Latora V., Moreno Y., Chavez M., Hwang D. Complex Networks: Structure and Dynamics // Physics Reports 424. February 2006. №. 4-5. P. 175-308.
  3. LämmelR.Google-s MapReduce Programming Model - Revisited // SCIENCE OF COMPUTER PROGRAMMING. 2007. V. 70. P. 1-30.
  4. WhiteT.Hadoop: The Definitive Guide // O'Reilly Media, Yahoo! Press. 2009. June 5.
  5. Michael M. et al. Scale-up x Scale-out: A Case Study using Nutch/Lucene. IPDPSIEEE. 2007. P. 1-8.
  6. Митягин С.А., Якушев А.В., Бухановский А.В Имитационное моделирование наркотизации населения по данным мониторинга социальных сетей // Журнал Современные исследования социальных проблем СИСП. 2012. № 2 (10). С. 133-151.
  7. Митягин С.А., Якушев А.В., Бухановский А.В., ЗахаровЮ.Н. Исследование социальных сетей в задаче моделирования наркотизации населения и противодействия незаконному обороту наркотиков // Вестник Санкт-Петербургского университета МВД России. 2012. №4 (56) (в печати).
  8. Бершадская Л.А., Биккулов А.С., Болгова Е.В., Чугунов А.В., Якушев А.В. Социальные сети и социометрические исследования: теоретические основания и практика использования автоматизированного инструментария изучения виртуальных сообществ // Информационные ресурсы России. 2012. № 4. C. 19-24.
  9. Newman M.E.J. Power laws, Pareto distributions and Zipf-s law // Contemporary Physics. 2005. V.46. P. 323-351.
  10. Clauset A., Shalizi C.R., and Newman M.E.J. Power-law distributions in empirical data // SIAM Review 2009. V. 51(4). P. 661-703.
  11. Андронов В.Г., Емельянов С.Г., Михайлов C.Н., Потапенко А.М.Основные направления системного решения задач региональной информатизации // Информационно-измерительные и управляющие системы. 2008. № 10. С. 7-12.
  12. Семенов А.В., Бухановский А.В. Метрологический анализ в социальных сетях // Известия вузов. Сер. Приборостроение. 2011. № 3.С. 85-87.