Д.В. Исаев1, В.Г. Феклин2, А.А. Кочкаров3

1-3 Финансовый университет при Правительстве РФ (Москва, Россия)

Постановка проблемы. Задача моделирования данных временных рядов является важной областью машинного обучения и требует особого подхода. В настоящее время трансформеры являются очень популярными моделями во множестве приложений машинного обучения, поэтому разработка нового метода, использующего модели машинного обучения на основе трансформеров для прогнозирования данных временных рядов, - актуальная задача.

Цель. Представить новый подход, использующий модели машинного обучения на основе трансформеров, для прогнозирования данных временных рядов.

Результаты. Проведено исследование применимости трансформеров для кредитного скоринга. Предложена структура, которую можно применять к одномерным и многомерным данным временных рядов. Установлено, что трансформеры применимы к последовательности данных, но чувствительны к объему данных, так как их сложная структура делает их склонными к переобучению, следовательно, трансформеры не следует использовать в качестве первого подхода к обучению модели. Выполнен сравнительный анализ базовых моделей - нейронных сетей, применяемых для последовательных данных; в  качестве временного ряда рассмотрены транзакции клиентов, предшествующие наступлению кредитного дефолта.

Практическая значимость. Применение структуры временных рядов в задаче кредитного скоринга мало изучено, поэтому данное направление является новым в данной области. Однако полученные результаты прогнозирования показывают рост прогнозной точности.

Исаев Д.В., Феклин В.Г., Кочкаров А.А. Трансформеры и их применение в кредитном скоринге // Нейрокомпьютеры: разработка, применение. 2022. T. 24. № 3. С. 29-36. DOI: https://doi.org/ 10.18127/j19998554-202203-03

1. Sutskever I., Vinyals O., Quoc V.L. Sequence to Sequence Learning with Neural Networks // arXiv. 2014.
2. Filonov P., Lavrentyev A., Vorontsov A. Multivariate Industrial Time Series with Cyber-Attack Simulation: Fault Detection Using an LSTM-based Predictive Data Model // arXiv. 2016.
3. Ashish V., Noam S., Niki P., Jakob U., Llion J., Aidan N. G., Lukasz K. Attention Is All You Need // arXiv. 2017.
4. Neo W., Bradley G., Xue B., Xue B. Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case // arXiv. 2020.
5. Transformers for Time-series Forecasting // Medium URL: https://medium.com/mlearning-ai/transformer-implementation-for-time-series-forecasting-a9db2db5c820 (дата обращения 15.02.2022).
6. Timeseries classification with a Transformer model // Keras URL: https://keras.io/examples/timeseries/timeseries_transformer_clas-sification/ (дата обращения 24.02.2022).
7. Tianyang L., Yuxin W., Xiangyang L., Xipeng Q. A Survey of Transformers // arXiv. 2021.
8. Neural Machine Translation: Inner Workings, Seq2Seq, and Transformers // towards data science URL: https://towards-datascience.com/neural-machine-translation-inner-workings-seq2seq-and-transformers-229faff5895b (дата обращения 27.03.2022).
9. Yi T., Mostafa D., Dara B., Donald M. Efficient Transformers: A Survey // arXiv. 2022.