Yüz görüntüleri üzerinden duygu tahmini

Abstract

Yüz görüntüleri üzerinden duygu tahmininde bulunma son zamanlardaki popüler ve etkin araştırmalardan biri olup bu araştırmalar birçok farklı yöntem aracılığıyla uygulanmaktadır. Bu tezdeki yüz ifadelerini tahmin edebilmek için önerilen sistem bir takım aşamalar içermektedir ve bunlardan birincisi görüntüler içinden yüzün seçilip bu görüntülerin yeniden boyutlandırılması ve sonrasında aydınlatma etkilerini normalize etmek için uygulanan Histogram Eşitlemesi- Histogram Equalization (HE) aracılığıyla yürütülen ön işleme aşamasıdır. İkinci aşama ise Odaklı Gradyan Histogramı- Histogram of Oriented Gradient (HOG) ve Yerel İkili Model- Local Binary Pattern (LBP) özellik çıkarma algoritmaları kullanarak yüz ifadelerinden Öfke, Kibir, İğrenme, Utanma, Korku, Mutluluk, Yansızlık, Gurur, Üzgün Olma ve Şaşkınlık gib farklı ifadelerinin özellik çıkarma aşamasıdır. Özellik çıkarma aşamasından sonra Karar Destek Makineleri - Support Vector Machine (SVM) ve k-En Yakın Komşuluk - K-Nearest Neighbors (KNN) sınıflandırıcıları kullanılarak duygu tahmininde bulunulmuştur. Buna ek olarak, Karışıklık Matrisi- Confusion Matrix (CM) tekniği bu sınıflandırıcıların performanslarını değerlendirmek için kullanılmıştır. Önerilen bu sistem JAFFE, KDEF, MUG, WSEFEP, TFEID ve ADFES veritabanlarında test edilmiştir ve önerilen sistemin HOG+SVM yöntemi uygulandığında 96.13% oranında bir tahmin başarısına ulaşılmıştır. Anahtar Sözcükler: Duygu Tahmini; Yüz İfadesi Görüntüleri; İfade Sınıflandırması; Odaklı Gradyan Histogramı; Yerel İkili Model; K- En Yakın Komşular; Destek Vektör MakinesiPrediction of emotions from facial images is one of the popular and active researches, and it's implemented via many methods. In this thesis, the proposed system to predict emotions from facial expressions images contains several stages, first stage of this system is the pre-processing stage which is applied by detecting the face in images, then resizing the images, and then Histogram Equalization (HE) technique is applied to normalize the effects of illumination. The second stage is extracting features from facial expressions images using Histogram of Oriented Gradient (HOG), and Local Binary Pattern (LBP) feature extraction algorithms, which generates the training dataset and the testing dataset that contains expressions of Anger, Contempt, Disgust, Embarrass, Fear, Happy, Neutral, Pride, Sad, and Surprised. Then Support Vector Machine (SVM) and K-Nearest Neighbors (KNN) classifiers are used for the classification stage in order to predict the emotion. In addition, Confusion Matrix (CM) technique is used to evaluate the performance of these classifiers. The proposed system is tested on JAFFE, KDEF, MUG, WSEFEP, TFEID and ADFES databases. However, the proposed system achieved prediction rate of 96.13% when HOG+SVM method is used. Keywords: Emotion estimation; Facial Expression Images; Expression Classification; Histogram of Oriented Gradient; Local Binary Pattern; K-Nearest Neighbors; Support Vector Machine.