İhracat Miktarlarının Gelişmiş Zaman Serisi Tahmini için Transformatör Modellerinden Yararlanma

Abstract

İhracat miktarlarının tahmin edilmesi, küçük ve orta ölçekli işletmelerin (KOBİ'ler) küresel pazarlarda rekabetçi kalabilmesi için çok önemlidir. Geleneksel makine öğrenimi yöntemleri, finansal verilerin her şirket için yıllık olarak kaydedildiği, düzensiz dalgalanmalar ve uzun vadeli bağımlılıklar sergileyen çok değişkenli çoklu zaman serisi analizinin karmaşıklıklarıyla başa çıkmakta genellikle zorluk yaşar. Bu zorlukların üstesinden gelmek için, yıllık tekrar eden finansal verileri kullanarak ihracat miktarlarını tahmin etmek amacıyla Transformatör tabanlı bir yaklaşım sunuyoruz. Gelişmiş dikkat mekanizmalarına sahip Transformatör modeli, her bir işletmenin dokuz yıllık verisini içeren veri setimizde Rastgele Orman (Random Forest) ve Uzun Kısa Dönemli Bellek (LSTM) modellerinden daha iyi performans göstermiştir. Veri setindeki zaman noktalarının sayısı azaltıldığında Transformatör modelinde önemli bir performans düşüşü gözlemlenmiştir. Bununla beraber, genişletilmiş bir zaman serisi kullanıldığında performansının önemli ölçüde artması, başarılı ve etkili sonuçlar elde etmek için yeterince uzun, özellik açısından zengin zaman serilerine ve etkili özellik mühendisliğine ihtiyaç duyulduğunu açıkça göstermiştir.

Forecasting export amounts is crucial for small and medium-sized enterprises (SMEs) to remain competitive in global markets. Traditional machine learning methods often struggle with the complexities of multiple multivariate time-series analysis, where financial data is recorded annually for each company, showing irregular fluctuations and long-term dependencies. Address these challenges, we introduce a Transformer based approach for forecasting export amounts using annually repeated financial data. The Transformer model, with its advanced attention mechanisms, outperformed Random Forest and Long Short-Term Memory (LSTM) models on our dataset, which spans nine years for each enterprise. When the number of time points in the dataset was reduced, the Transformer model exhibited a significant drop in performance. However, its performance increased notably with the use of an extended time series, clearly showing that successful and impactful results require sufficiently long, feature rich time series, enhanced by effective feature engineering. These findings indicate that Transformer models can significantly improve the accuracy of forecasting complex time series based on financial data and offer valuable insights for SMEs and policymakers.