Motor görüntü görevlerinin hibrit elektroensefalografi (Eeg)- işlevesel kızılötesine yakın spektroskopi (Fnirs) beyin bilgisayar ara birimi (BCI) sınıflandırması

Abstract

Hibrid Beyin Bilgisayar Ara Birimi, iki ya da daha fazla nörofizyolojik sinyalin birleşimidir ve tek modalite sakıncalarını tamamlama yeteneği ile uyumlu hale getirici özellikleri ortaya çıkarmada güvenilir sonuçlar elde etmesiyle dikkat çekmektedir. Simultane biçimde kaydedilen işlevsel kızılötesine yakın spektroskopi(fNIRS) füzyonu ve Elektroensefalografi (EEG)aracılığı ile elde edilen hibrid bir EEG-fNIRS BCI sistemi, tek-modalite sınırlarını aşmak ve yüksek motor görevlerinin üstesinden gelmek üzere kullanılmaktadır. Her ne kadar hibrid BCI yaklaşımı sistemin performansını başarıya ulaştırsa da, hala ilerlemeler iki modaliteyi birleştirmek üzere hesaplama olmaması nedeniyle henüz makul düzeydedir. Bu teze katkılar iki yönlüdür: en çok temsili kanalları seçme konusundaki roman kanal seçim katsayı korelasyonu ve Çoklu çözünürlük tek değerli dekompozisyan kullanan roman füzyon yaklaşımı (MSVD). MSVD' den, optimal EEG-fNIRS kanallar için hem sistem-temelli ve hem de özellik-temelli füzyon elde etmekte yararlanılır. Bu teze diğer bir katkı da, özellik-temelli füzyon için kanonik korelasyon analizinden (CCA) yararlanmaktır. Korelasyon analizi, öncelikle iki modalite arasındaki ilişki üzerinde çalışmak üzere kullanılmaktadır. CCA özellik-temelli füzyon, iki modalite üstünden inter-konulu orta değişikliği maksimize ederek performansı arttırdı. Simülasyon sonuçları vasıtasıyla, hesaplama karmaşıklığını azaltırken, amaçlanan yaklaşımların optimal performansı elde etmeye katkı sağladığına tanık olunabilmektedir.Hybrid Brain Computer Interface, a combination of two or more neurophysiological signals, is getting attention for its ability to complement a single modality drawbacks and in achieving reliable results by extracting harmonizing features. A hybrid EEG-fNIRS BCI system achieved through the fusion of simultaneously recorded functional Near-Infrared Spectroscopy (fNIRS) and Electroencephalography (EEG) signals, is used to overcome the limitations of uni-modality and to achieve high motor tasks classification. Although, hybrid BCI approach enhanced the performance of the system, yet the improvements are still modest because of the lack of computational methods to fuse the two modalities. The contributions of this thesis is twofold: a novel channel selection correlation coefficient approach to select the most representative channels and a novel fusion approach using Multi-resolution singular value decomposition (MSVD). MSVD is utilized to achieve both system-based and feature-based fusion for the optimal EEG-fNIRS channels. Another contribution of this thesis is to utilize canonical correlation analysis (CCA) for feature-based fusion. Correlation analysis is used primarily to study the relationship between the two modalities. CCA feature-based fusion improved performance through maximizing the inter-subject covariance across the two modalities. Through simulation results, it can be witnessed that the proposed approaches help to achieve optimal performance while reducing the computational complexity.