Doğrusal Olmayan Otoregresif Modellerde Yapay Sinir Ağı Modelleri İçin Arctan ve Tanh Aktivasyon Fonksiyonlarının Karşılaştırılması:Taylor Yaklaştırımı ve LM Tipi Testler

Abstract

Bu çalışma, zaman serisi analizinde doğrusal olmayan yapıları modelle- mek için Lojistik Yumuşak Geçiş Otoregresif (LSTAR) modellerin Taylor serisi yaklaşımı ile sinir ağı yöntemlerini birleştiren yeni bir metodoloji sunmaktadır. Geleneksel doğrusal zaman serisi modellerin yetersiz kaldığı durumlarda, özellikle ekonomik ve finansal verilerdeki rejim değişikliklerini yakalamak için STAR mod- elleri geliştirilmiştir. Çalışmada, sigmoid aktivasyon fonksiyonunun Taylor serisi genişlemesi kullanılarak sinir ağlarının doğrusal olmayan yapısı analiz edilmiş ve ARCTAN aktivasyon fonksiyonu ile zamanla değişen doğrusal olmayanlık mod- elleri incelenmiştir. F-testi ile yardımcı regresyon analizi yapılarak modellerin is- tatistikselanlamlılığıdeğerlendirilmiştir. Sonuçlar, önerilenyaklaşımıngeleneksel yöntemlere göre üstün performans sergilediğini göstermektedir. Bunun yanısıra çalışma, doğrusalolmayanotoregresifyapaysinirağı(ARNN)modellerindeARC- TAN ve TANH aktivasyon fonksiyonlarını karşılaştırmak için kapsamlı bir F-testi çerçevesi geliştirmektedir. Aktivasyon fonksiyonu seçimine yönelik temel soruyu, Taylor serisi lineerleştirme ve yardımcı regresyon teknikleri kullanarak titiz bir istatistiksel test ile ele alıyoruz. Bu çalışma, ekonomik veriler üzerinde doğrusal olmayan yapıları ayırt edebilen, kararlı ve uygulanabilir bir yöntem sunmak- tadır. ARCTAN fonksiyonu yumuşak geçişlerde, TANH ise keskin kırılmalarda daha başarılı bulunmuştur. Önerilen yaklaşım, büyük örneklemlerde %85'in üz- erindedoğruluksağlamışveuygunaktivasyonseçimininmodelbaşarımını%15–30 oranında artırabileceği gösterilmiştir. Yöntem, Python'da tekrarlanabilir şekilde uygulanmıştır.This study presents a new methodology that combines the Taylor series approach with neural network methods to model non-linear structures in time series analysis using LSTAR models. STAR models were developed to capture regime changes in economic and financial data, particularly in situations where traditional linear time series models are insufficient. In the study, the nonlin- ear structure of neural networks is analyzed using the Taylor series expansion of the sigmoid activation function, and time-varying nonlinear models are examined with the ARCTAN activation function. The statistical significance of the mod- els is evaluated using auxiliary regression analysis with the F-test. The results show that the proposed approach outperforms traditional methods. In addition, the study develops a comprehensive F-test framework to compare ARCTAN and TANH activation functions in nonlinear ARNN models. Activation function se- lection is examined through a stable statistical framework based on Taylor series linearization and auxiliary regressions. Simulations with macroeconomic indica- tors show ARCTAN functions better model smooth regime shifts, while TANH suits sharp structural changes. The framework exceeds 85% accuracy in samples over 250 and improves model fit by 15–30%. Implemented in Python, it offers a reproducible tool for economic analysis.