Kademeli Evrişimli Sinir Ağlarında Uyarlanabilir Ağ Seçimi Tekniği

Abstract

Dinamik sinir ağı, derin öğrenmede önemli bir araştırma alanıdır. Sunulan tez, statik modellerin verimliliğini ve uyarlanabilirliğini artırmak için iki veya daha fazla sinir ağını artan derinlikte bağlamak için bir yönlendirici kullanan kademeli sinir ağına odaklanmaktadır. Bu tezde, kademeli derin sinir ağlarında ağ seçimi için parametresiz bir teknik önerdik. Bu teknik, sığ ağların da birçok örneği doğru bir şekilde sınıflandırabilmesi gerçeğinden yararlanarak, eğitim ve çıkarım için gereken hesaplama süresini azaltmayı amaçlamaktadır. Kademeli sinir ağı, softmax marjı ve klasik LeNet modelinin kısa bir açıklamasını takiben, yeni bir kademeli sinir ağı algoritması tanıtılmaktadır. Önerilen model; MNIST, EMNIST ve Fashion-MNIST veri kümelerinde etkinlik ve performans açısından LeNet ile karşılaştırılmaktadır. Sayısal sonuçlar, önerilen teknikle referans modelinin verimliliğinin büyük ölçüde arttığını ve doğruluktan ödün vermeden geliştirildiğini göstermektedir.

Dynamic neural network is an important research area in deep learning. The presented thesis focuses on cascaded neural network which is a sub-topic of dynamic neural network, that utilizes a router for connecting two or more neural networks with increasing depth in order to enhance the efficiency and adaptiveness of static models. In this thesis, we proposed a parameter-free technique for network selection in cascaded deep neural networks in order to reduce the computational time required for training and inference by taking advantage of the fact that shallow networks are also able to correctly classify many samples. Following a brief explanation of the cascaded neural network, softmax margin, and classical LeNet model; a novel cascaded neural network algorithm is introduced. The proposed model is compared to LeNet in terms of efficiency and performance on MNIST, EMNIST, and Fashion-MNIST datasets with various networks utilized as small modules of the cascaded model. Numerical results demonstrated that the proposed technique greatly improves the efficiency of the benchmark model without sacrificing accuracy.