Düşük Çözünürlüklü Görüntülerde Araç Tespiti ve Sınıflandırması İçin Birden Fazla Aşamalı Modüler Bir Yöntem

Abstract

Akıllı ulaşım sistemlerinde (ITS) gerçek zamanlı araç tespitinin önemi, şehir trafiğindeki araç sayısındaki sonsuz ve sürekli artışla vurgulanmaktadır. Bununla birlikte, çok çeşitli kamera kaliteleri ve çözünürlükleri, farklı görüş açıları ve zayıf aydınlatma ve olumsuz hava koşulları gibi harici ve kontrol edilemeyen değişkenlerin etkisi, doğru araç tespiti ve sınıflandırmasında birçok zorluk yaratmaktadır. Derin öğrenme tabanlı nesne algılama algoritmalarının çoğu, daha önce bahsedilen bu koşullar düşük görünürlük ve/veya düşük çözünürlüklü görüntülere neden olduğu için bu tür durumlarda zorlanmaktadır. Bu kısıtlamaların üstesinden gelmek için bu çalışma, loş ışık, kötü hava koşulları ve düşük çözünürlük gibi zorlu görüntüleme durumlarına uyarlanmış gerçek zamanlı araç tespiti ve sınıflandırması için yeni, modüler, etkili ve güvenilir bir yaklaşım önermektedir. Önerilen yaklaşım iki özel veri kümesinin oluşturulmasını içermektedir. İlk veri kümesi PASCAL VOC formatında 4.500 düşük çözünürlüklü trafik manzarası görüntüsünden oluşmakta ve transfer öğrenme yoluyla bir nesne tespit modelini eğitmek için kullanılmaktadır. İkinci veri kümesi, iki farklı sınıflandırma modelini eğitmeyi amaçlayan, her biri 100 × 100 piksel boyutlarında ve 96 dpi ve altında çözünürlüğe sahip beş araç türünün 10.000 düşük çözünürlüklü görüntüsünü içerir. Önerilen yaklaşım, son teknoloji ürünü tek aşamalı bir dedektör (SSD) olan EFFICIENTDET1'i hafif bir özel evrişimli sinir ağı (CNN) sınıflandırıcısı ve bir XGBoost sınıflandırıcısı ile entegre etmektedir. Bu kombinasyon, hem makine hem de derin öğrenme algoritmalarının güçlü yönlerinden faydalanarak tespit performansını ve sınıflandırma doğruluğunu artırır. Önerilen yaklaşımın etkinliği deneysel değerlendirme ile gösterilmiştir. Önerilen yaklaşım, 0,9323 ortalama ortalama hassasiyet (mAP) ile aynı veri kümesi üzerinde karşılaştırılabilir koşullarda geleneksel ve son teknoloji nesne algılama modellerinden belirgin şekilde daha iyi performans göstermektedir. Ayrıca, çoklu işlemin uygulandığı önerilen yaklaşım, kare başına 26 milisaniyelik bir çıkarım hızına ulaşmaktadır. Bu, son teknoloji ürünü nesne yöntemlerine kıyasla hem doğruluk hem de çıkarım hızında önemli bir gelişmeye işaret etmektedir. Önerilen yaklaşımın modüler, uyarlanabilir ve ölçeklenebilir yapısı, onu ITS'deki uygulamalar için ideal kılmaktadır. Önerilen yaklaşımın yüksek doğruluğunun yanı sıra çıkarım hızı, düşük görüntü kalitesi veya olumsuz çevresel faktörler gibi koşullar altında gerçek zamanlı uygulamalar için etkili ve operasyonel bir seçenek haline getirmektedir. Sonuç olarak, önerilen yaklaşım, zorlu durumlarda daha güvenli ve daha etkili ulaşım yönetimi sağlayabileceğinden, derin öğrenme tabanlı araç algılama alanında büyük bir potansiyele sahiptir. Bu bulgular, verimli bir nesne algılama modelinin çok işlemli bir mimaride özel sınıflandırıcılarla birleştirilmesinin, gerçek zamanlı araç algılamada gelecekteki araştırmalar için umut verici bir yönü temsil ettiğini göstermektedir.

The relevance of real-time vehicle detection in intelligent transportation systems (ITS) is highlighted by the endless and continuous rise in the number of vehicles in the urban traffic. However, the wide range of camera qualities and resolutions, different viewing angles, and the impact of external and uncontrollable variables like poor lighting and adverse weather create many difficulties in accurate vehicle detection and classification. The majority of deep learning-based object detection algorithms struggles in such circumstances as these before-mentioned conditions cause low-visibility and/or low-resolution images. In order to overcome these constraints, this study suggests a novel, modular, effective and reliable approach for real-time vehicle detection and classification adapted to difficult imaging situations, such as dim lighting, bad weather, and low-resolution situations. The proposed approach involves the creation of two custom datasets. The first dataset comprises 4,500 low-resolution traffic scenery images formatted in PASCAL VOC and is used to train an object detection model through transfer learning. The second dataset includes 10,000 low-resolution images of five types of vehicles, each with dimensions of 100 × 100 pixels and a resolution of 96 dpi (dot per inch) and below, aimed at training two different classification models. The proposed approach integrates EFFICIENTDET1, a state-of-the-art single-stage detector (SSD), with a lightweight custom convolutional neural network (CNN) classifier and an XGBoost classifier. This combination improves detection performance and classification accuracy by taking advantages of both machine and deep learning algorithms strengths. The effectiveness of the proposed approach is demonstrated by the experimental evaluation. With a mean average precision (mAP) of 0.9323, the proposed approach performs noticeably better than traditional and state-of-the-art object detection models in comparable circumstances on the same dataset. Additionally, the proposed approach, in which multiprocessing has been implemented, achieves an inference speed of 26 milliseconds per frame. This marks a substantial improvement in both accuracy and inference speed compared to state-of-the-art object methods. The modular, adaptable, and scalable nature of the proposed approach makes it ideal for applications in ITS. The inference speed along with the high accuracy of the proposed approach make it effective and an operational option for real-time applications under conditions such as low image quality or adverse environmental factors. Consequently, the proposed approach has plenty of potential in deep learning based vehicle detection area as it can enable safer and more effective transportation management in challenging situations. These findings suggest that combining an efficient object detection model with custom classifiers in a multiprocessing architecture, represents a promising direction for future research in real-time vehicle detection.