Konuşma Duygusu Tanıma için Derin Öğrenme Modellerinin Karşılaştırılması

Abstract

Bu tez, derin öğrenme modellerinin Konuşma Duygusu Tanıma (SER) problemi üzerindeki pratik uygulamalarına odaklanmaktadır. Evrişimsel Sinir Ağları (CNN'ler) ve ara katmanları birleştirerek, konuşma sinyallerinden bağlamsal farkındalık ile duygusal özelliklerin çıkarılması amaçlanır. Önerilen yaklaşım, geleneksel tekniklerle ilgili zorlukları ele alarak, konuşmadaki duygusal içeriğin etkili temsillerini otomatik olarak öğrenmeye odaklanmaktadır. Ryerson Duygusal Konuşma ve Şarkının Görsel İşitsel Veritabanı (RAVDESS), doğruluğu artırmaya yönelik tekniklere odaklanan SER probleminde kullanılır. Evrişimli Sinir Ağları (CNN'ler) gibi derin öğrenme modelleri, Karar Ağaçları, Adaboost ve Rastgele Orman gibi geleneksel makine öğrenme algoritmalarının yanısıra SER görevlerinde yaygın olarak kullanılır. Derin Öğrenme mimarisi, yerel ve küresel duygu özelliklerinin, hem zamansal hem de spektral bilgileri kompakt bir biçimde yakalayan konuşma ve log-mel spektrogramlarından otomatik öğrenilmesi ve bunları derin öğrenme modelleri için uygun giriş temsiline getirmesi şeklinde tasarlanmıştır. Bu çalışma, derin duygu özelliklerinin çıkarılması yoluyla konuşma verilerinden duyguların tanınmasını geliştirerek duygu tanıma teknolojisinde ilerleme göstermeyi amaçlamaktadır. Bu tez ile elde edilen deneysel sonuçlar, CNN modellerinin SER problemi üzerinde tatmin edici sonuçlar verdiğini göstermektedir.

This thesis focuses on the practical applications of deep learning models on the Speech Emotion Recognition (SER) problem. By combining Convolutional Neural Networks (CNNs) and intermediate layers, the study aims to extract emotional features with contextual awareness from speech signals. The proposed approach automatically learns effective representations of emotional content in speech, addressing the weaknesses of traditional techniques. Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) is used for the SER problem, focusing on techniques to improve accuracy. Deep learning models such as Convolutional Neural Networks (CNNs) are commonly used in SER tasks, alongside traditional machine learning algorithms such as Decision Trees, Adaboost, and Random Forest. Deep Learning models are designed such as local and global emotion-related features are automatically learned from speech and log-mel spectrograms which capture both temporal and spectral in formation in a compact form, making them suitable input representations for deep learning models. This study demonstrates achievable advances in emotion recognition technology by enhancing the recognition of emotions from speech data through the extraction of deep emotion features. The experimental results of this thesis show that CNN models give very satisfactory results on the SER problem.