И.О. Шкоков1

1 AVIV Group Gmbh (Париж, Франция)
1 igor.shkokov@gmail.com

Постановка проблемы. Современные реляционные базы данных являются основой для хранения и обработки огромных объемов информации, используемой для принятия бизнес-решений в крупных корпорациях. Однако качество данных в этих системах может быть нарушено по различным причинам, включая ошибки при вводе данных, сбои в процессах или потерю данных при их трансформации. В условиях дефицита квалифицированных специалистов, таких как дата-инженеры, ответственность за мониторинг и поддержание качества данных ложится на других специалистов по работе с данными, что делает важным разработку эффективных и быстрых методов для отслеживания и улучшения качества данных.

Цель. Разработать и представить практические методы мониторинга качества данных в реляционных базах данных с использованием Structured Query Language; показать, что методы, представленные в работе, направлены на обеспечение надежности принимаемых решений на основе данных и могут быть применены в крупных организациях.

Результаты. Предложены три метода мониторинга качества данных: 1) создание дашбордов для визуализации количества данных, что позволяет оперативно выявить отсутствие информации или проблемы в процессе ее загрузки; 2) анализ наполняемости столбцов в таблицах, что помогает отслеживать наличие пустых или нулевых значений, являющихся индикаторами сбоев в процессе трансформации данных; 3) настройка оповещений о ненадлежащем качестве данных, которые позволяют автоматически информировать специалистов о возникших проблемах в данных. Отмечено, что применение этих методов на практике в реальных коммерческих проектах показало их высокую эффективность в быстром выявлении ошибок и восстановлении нормального состояния данных.

Практическая значимость. Предложенные методы могут значительно улучшить процессы работы с данными в организациях, позволяя оперативно выявлять и устранять проблемы с качеством данных. Это будет способствовать повышению надежности и точности принимаемых бизнес-решений, а также оптимизации работы специалистов по данным, особенно в условиях недостатка квалифицированных дата-инженеров.

Шкоков И.О. Методы обнаружения ошибок в потоковой информации современных реляционных баз данных технологии Structured Query Language в крупных организациях // Наукоемкие технологии. 2025. Т. 26. № 5. С. 17−25. DOI: https://doi.org/ 10.18127/j19998465-202505-02

1. Khelifa N., Belbachir H., Belalem G. Time series big data: a survey on data stream frameworks, analysis and algorithms. Journal of Big Data. 2023. V. 10. Art. no. 75. https://doi.org/10.1186/s40537-023-00760-1.
2. Bovee M., Srivastava R.P., Mak B. A conceptual framework and belief function approach to assessing overall information quality. In: Proceedings of the International Conference on Information Quality. Cambridge, MA. USA. 2001. P. 66–84. https://doi.org/10.1002/int.10074.
3. Jarke M., Jeusfeld M.A., Quix C., Vassiliadis P. Architecture and quality in data warehouses: an extended repository approach. Information Systems. 1999. V. 24. Iss. 3. P. 229–253. https://doi.org/10.1016/S0306-4379(99)00017-4.
4. Nelson H.J., Poels G., Genero M., Piattini M. A conceptual modeling quality framework. Software Quality Journal. 2012. V. 20. Iss. 1. P. 201–228. https://doi.org/10.1007/s11219-011-9136-9.
5. Sidi F., Hassany P., Affendey L.S., Jabar M.A. Data quality: a survey of data quality dimensions. In: Proceedings of the 2012 International Conference on Information Retrieval & Knowledge Management (CAMP). Kuala Lumpur, Malaysia. 2012. P. 37–41. https://doi.org/10.1109/InfRKM.2012.6204995.
6. Daniel F., Casati F., Palpanas T., Chayka O. Managing data quality in business intelligence applications. In: Proceedings of the International Workshop on Quality in Databases and Management of Uncertain Data. Auckland, New Zealand. 2008. P. 5–12. https://doi.org/10.1145/1452292.1452294.
7. Баранов В.Г., Мисевич А.А., Севрюков А.А., Суслов Б.А., Севрюков М.А., Алипова Н.А. Применение методов интеллектуального анализа данных в информационно-аналитических системах мониторинга // Информационно-измерительные и управляющие системы. 2011. Т. 9. № 3. С. 38–42.
8. Васильев В.Н., Князьков К.В., Чуров Т.Н., Насонов Д.А., Марьин С.В., Ковальчук С.В., Бухановский А.В. CLAVIRE: облачная платформа для обработки данных больших объемов // Информационно-измерительные и управляющие системы. 2012. Т. 10. № 11. С. 7–16.