350 руб
Журнал «Динамика сложных систем - XXI век» №3 за 2013 г.
Статья в номере:
Технология распределенного сбора и обработки больших объемов данных из социальных медиа
Ключевые слова: социальные сети большие данные краулинг мониторинг событий репрезентативная выборка livejournal vkontakte
Авторы:
А.В. Якушев - мл. науч. сотрудник, Национальный исследовательский университет информационных технологий, механики и оптики. E-mail: andrew.yakushev@yandex.ru
Аннотация:
Представлена система для распределенного сбора и анализа данных социальных медиа на основе технологии Big Data. Она адаптирована для таких социальных сетей как Livejournal, Twitter, Vkontakte, и позволяет выполнять тематический сбор данных, релевантных формализованным запросам пользователей, мониторинг и построение репрезентативной выборки с учетом топологии связей.
Страницы: 51-55
Список источников

 

  1. Kaplan А.M., Haenlein M. Users of the world, unite! The challenges and opportunities of social media // Business Horizons. 2010. P. 61 (Проверь ссылку от Ив.)
  2. Lynch C. Big data: How do your data grow - // Nature. 2008. Т. 455. № 7209. С. 28-29.
  3. Cho J., Garcia-Molina H. Effective page refresh policies for Web crawlers // ACM Transactions on Database Systems (TODS). 2003. Т. 28. № 4. С. 390-426.
  4. Семенов А.В., Бухановский А.В. Метрологический анализ в социальных сетях // Известия вузов. Приборостроение. 2011. Т. 54. № 3. С. 85-86.
  5. Lämmel R. Google-s MapReduce programming model-Revisited // Science of computer programming. 2008. Т. 70. № 1. С. 1-30.
  6. Sia K.C., Cho J., Cho H.K. Efficient monitoring algorithm for fast news alerts // Knowledge and Data Engineering, IEEE Transactions on. 2007. Т. 19. № 7. С. 950-961.
  7. Leskovec J., Faloutsos C. Sampling from large graphs // Proc. of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM. 2006. С. 631-636.
  8. Gjoka M. et al. Walking in Facebook: A case study of unbiased sampling of OSNs // INFOCOM. 2010. Proceedings IEEE. 2010. С. 1-9.
  9. Real R., Vargas J. M. The probabilistic basis of Jaccard's index of similarity // Systematic biology. 1996. Т. 45. № 3. С. 380-385.
  10. Митягин С.А. и др. Информационная система моделирования и анализа распространения наркомании в обществе на микроуровне // Вестник ИТАРК. Проблемы информатизации. 2012. № 1(3). С. 34-40.