Apache Spark dağıtık hesaplama çerçevesi kullanan bir hibrit ağ izinsiz giriş tespit sistemi

Abstract

Çevrimiçi dijital hizmetlerin hızla artan kullanımı, bu hizmetleri sağlayan bilgisayar ağlarının, verilere herhangi bir yetkisiz erişime veya hizmetlerin kötüye kullanılmasına karşı korunmasına önemli ölçüde dikkat çekmiştir. Yetkisiz bir erişim, amaçlanan hizmetleri sağlamak için gerekli olan, ağdaki sunucularda depolanan hassas bilgileri tehlikeye atabilir. Hizmetlerin ek olarak kötüye kullanılması, sunucuya aşırı yüklenilmesi gibi bu hizmetleri istismar eden saldırı tekniklerini kullanarak kullanıcılara sağlanan hizmetlerin kalitesini düşürmeyi amaçlamaktadır. Ayrıca, son saldırı teknikleri, trafiği yasal kullanıcılardan başlatılan trafiğe benzer görünecek şekilde gizlemekte böylece statik kurallara dayanan geleneksel koruma teknikleri artık kullanılmaz hale gelmiştir. Alternatif olarak, makine öğrenimi tekniklerinin girdiler ve türleri arasındaki ilişkileri tanımlayan karmaşık kalıpları tanıma becerisine göre, Makine Öğrenimi (ML) teknikleri yasal trafiği saldırıdan ayırmak için bir çözüm olarak ortaya çıkmıştır. Bununla birlikte, bir girdiyi sınıflandırmak için gereken nispeten karmaşık hesaplamalara göre, her bir paketi işlemek için gereken süreyi azaltmak amacıyla dağıtık hesaplama kullanılmaktadır, böylelikle, İzinsiz Giriş Tespit Sistemleri (İGTS) tarafından uygulanan gecikmeyi azaltmak için hızlı kararlar alınmaktadır. Spark dağıtık hesaplama çerçevesi, farklı uygulamalarda kullanılan ve modern İGTS'lerin çalışma süresini azaltabilen en yeni çerçevedir. Bu nedenle, uygun işlem süresini korurken tahminlerin kalitesini artırmak için daha karmaşık yöntemler kullanılabilmektedir. Spark dağıtık hesaplama çerçevesine dayanılarak bu çalışmada hibrit bir İGTS önerilmiştir. Önerilen sistem bir tanesi ikili ve diğeri çok sınıflı sınıflandırıcı olmak üzere iki tür sınıflandırıcı kullanmaktadır. İkili sınıflandırıcı, paketin normal mi yoksa saldırı trafiğinden mi olduğunu öngörürken, çok sınıflı sınıflandırıcı saldırının türünü öngörmektedir. Daha önceki yöntemler, yalnızca ikili sınıflandırıcı tarafından saldırı trafiğinden geldiği öngörülen paketler için saldırının türünü tahmin etmeyi düşünmektedirler. Alternatif olarak, bu çalışmada önerilen sistem, girdi paketini her iki sınıflandırıcı tarafından işlemek için Spark çerçevesinde paralel işlemeyi kullanmaktadır. Buna göre, normal sınıf da çok sınıflı tahminlere dahil edilmektedir ve bu tahminler, ağa paket erişimine izin verilip verilmeyeceği konusunda uygun kararın alınmasında ikili sınıflandırıcının yanında dikkate alınmaktadır. Sınıflandırıcılardan herhangi birinin yasal bir kullanıcının normal trafiğinden geldiğini öngörmesi durumunda, bir paketin ağa erişimine izin verilmektedir. Üç tür sınıflandırıcı, UNSW-NB15 veri kümesiyle ikili ve çok sınıflı sınıflandırma kullanılarak değerlendirilmektedir. Değerlendirme sonuçları, İleri Beslemeli Sinir Ağının (İBSA) yüksek kaliteli tahminlerle en hızlı performansa sahip olduğunu ve bu nedenle ikili sınıflandırma aşaması için uygun hale olduğunu göstermektedir. Bunun yanı sıra, Rastgele Orman (RO) sınıflandırıcısı, daha kaliteli tahminler göstermiş ancak hem ikili hem de çok sınıflı görevlerde daha fazla işleme süresi gerektirmiştir. Bu nedenle, bu sınıflandırıcı çok sınıflı sınıflandırma için seçilmiştir. Buna göre, normal bir paketin İBSA sınıflandırıcısı tarafından saldırı olarak yanlış sınıflandırılmasına rağmen, RO sınıflandırıcısı tarafından normal olduğu öngörülürse, paketin ağa yine de erişmesine izin verilebilir. Böylelikle, önerilen yöntem, %0,04'lük önemli ölçüde düşük Yanlış Reddetme Oranı (YRO) ve %0,26 Yanlış Kabul Oranı (YKO) ile %99,12 genel doğruluk elde edebilmiştir. YRO 'daki bu tür bir azalma, yasal kullanıcıların ağa erişimi daha az reddedildiğinden, ağın Hizmet Kalitesini (HK) önemli ölçüde artırabilmektedir. Yasal bir kullanıcıdan gelen bir paket, İBSA 'nın işleme zamanı olan 0.006μS'de kabul edilmekte ve İBSA tarafından yanlış sınıflandırılıp ancak RO sınıflandırıcı tarafından normal olduğu tespit edilen pakete 1.616μS içinde ağa erişim izni verilmektedir. Bu nedenle, paketin ağa erişimini reddeden önceki yöntemlerin aksine, önerilen yöntem pakete yalnızca hafif bir gecikme uygulamakta ancak yine de ağa erişimini sağlamaktadır.

The rapidly growing usage of online digital services has brought significant attention toward protecting the computer networks that provide these services against any unauthorized access of the data or abusive use of the services. An unauthorized access can compromise sensitive information being stored on the servers in the network, which are essential to provide the intended services. Additional, abusive use of the services aims to reduce the quality of the services provided to the users by using attacking techniques that exploit these services, such as overloading the server. Moreover, recent attacking techniques masquerade the traffic to seem similar to traffic initiated from legitimate users, so that, traditional protection techniques that rely on static rules have become obsolete. Alternatively, Machine Learning (ML) techniques have emerged as a solution to distinguish legitimate traffic from attack, according to the ability of ML techniques to recognize complex patterns that define relations between the inputs and their types. However, according to the relatively complex computations required to classify an input, distributed computing is being used to reduce the time required to process each packet, so that, rapid decisions are made to reduce the delay imposed by the Intrusion Detection System (IDS). Spark distributed computing framework is the most recent framework that is being used in different applications and has been able to reduce the execution time of modern IDSs. Hence, more complex methods can be used to improve the quality of the predictions while maintaining suitable processing time. A hybrid IDS is proposed in this study based on Spark distributed computing framework. The proposed system uses two types of classifiers, one binary and one multi-class, classifiers. The binary classifier predicts whether the packet to be from normal or attack traffic, whereas the multi-class classifier predicts the type of the attack. Earlier methods consider predicting the type of the attack only for the packets predicted to be from attack traffic by the binary classifier. Alternatively, the system proposed in this study makes use of parallel processing in the Spark framework to process the input packet by both classifiers. Accordingly, the normal class is also included in the multi-class predictions and these predictions are considered alongside the binary classifier in making the appropriate decision, whether to allow the packet access to the network or not. A packet is allowed access to the network if any of the classifiers predicts it to be from normal traffic of a legitimate user. Three types of classifiers are evaluated using binary and multi-class classification with the UNSW-NB15 dataset. The evaluation results show that the Feed-Forward Neural Network (FFNN) has the fastest performance with high-quality predictions, which makes it suitable for the binary classification stage. Moreover, the Random Forest (RF) classifier has shown better quality of predictions but consumed more execution time in both binary and multi-class tasks. Thus, this classifier is selected for the multi-class classification. Accordingly, if a normal packet is misclassified by the FFNN classifier to be attack, it can still be allowed access to the network if predicted to be normal by the RF classifier. Thus, the proposed method has been able to achieve 99.12% overall accuracy with significantly low False Rejection Rate (FRR) of 0.04% with 0.26% False Acceptance Rate (FAR). Such reduction in the FRR can significantly improve the Quality of Service (QoS) of the network, as less legitimate users are being denied access to the network. A packet from a legitimate user is allowed access to the network in 0.006μS, which the execution time of the FFNN, or within 1.616μS if misclassified by the FFNN and detected to be normal by the RF classifier. Thus, unlike previous methods, which deny the packet's access to the network, the proposed method only imposes a slight delay to the packet but sill grants its access to the network.