Videoda nesne takibi için hibrit metot geliştirmesi

Abstract

Videodaki nesnenin algılanması ve takibi, bilgisayarla görü ve görüntü işlemede önemli bir araştırma alanı olarak ortaya çıkmıştır. Nesne takibi için birçok algoritma geliştirilmiştir ve her algoritmanın başarılı veya başarısız olduğu bazı koşullar vardır. Bu tezde, videoda nesne takibi amacıyla üç nesne tespiti ve takibi algoritmasından oluşan güçlü bir karma sistem önerilmiştir. Bunlar şablon eşleştirme, renk histogramı ve özellik çıkarımına dayalı SURF algoritmalarıdır. Bu algoritmaları hibrit sistemde uygulamak için OpenCV kütüphanesi kullanılmıştır. Algoritmalar uygulanırken; gaussian blur, renk uzayı dönüşümleri, Otsu eşiklemesi, kayan pencere yaklaşımı, özellik çıkarımı ve betimlemesi, ve uzaklık hesaplamaları gibi farklı teknikler uygulanmıştır. Videodaki herhangi bir nesne seçilebilir ve seçilen nesne videonun geri kalanında takip edilebilir. Nesnenin tıkanmasını önlemek ve sahnenin ani hareketinin etkilerini en aza indirmek için, videonun her beşinci karesinde seçilen nesnenin yenilenmesi yaklaşımı kullanılır. Hibrit sistemin amacı, video karelerindeki takip edilecek nesnenin tespit oranını iyileştirmektir. Tüm performans testleri NTU-VOI 2018, Visual Tracker Benchmark 2013, NfS 2017 ve Davis 2017 veri setleri üzerinde gerçekleştirilmiştir. Önerilen hibrit sistemin test sonuçları, üç ayrı tespit ve takip algoritmasının sonuçlarıyla karşılaştırılmıştır. Sonuçlar, hibrit sistemin video nesne takibi için işlem süresi dışında en iyi performansı verdiğini göstermektedir.

Detecting the object in the video and tracking it has been emerging as an important research field in computer vision and image processing. Many algorithms have been developed for object tracking and there are some conditions in which each algorithm is successful or unsuccessful. In this thesis, a robust hybrid system that consisting of three object detection and tracking algorithms is proposed for the purpose of tracking object in video. These algorithms are template matching, color-based histogram and SURF based on feature point. OpenCV library have been used to implement these algorithms in hybrid system. While implementing algorithms, different techniques have been applied such as gaussian blur, color space conversions, Otsu thresholding, sliding window approach, feature extraction and description, and distance measurements. Any object from the video can be selected and the selected object can be traced in the rest of the video. To prevent occlusion of the object and to minimize the effects of sudden movement of scene, refreshing selected object approach is used each fifth frame of the video. Aim of the hybrid system is to improve the detection rate of the object to be tracked in sequence of video frames. All performance tests have been performed on NTU-VOI 2018, Visual Tracker Benchmark 2013, NfS 2017 and Davis 2017 datasets. The test results of the proposed hybrid system have been compared with the results of the three individual detecting and tracking algorithms. The results show that hybrid system gives the best performance except for processing time for tracking object in video.