Büyük veride akışkan verileri işleyebilen sistemlerden Spark, Storm ve Flink'in karşılaştırmalı çalışması

Abstract

Bu çalışmada, büyük veri konseptinde akışkan veri işleyebilen sistemlerden Apache Spark, Storm ve Flink karşılaştırarak incelenmektedir. Bu çalışmaya dahil edilen sistemler çeşitli durum ve şartlar altında ideal performanslarını gösterebilecek şekilde konfigüre edilmiş; ayrıca donanım kullanımları ve kullanılan donanım sayısının arttırılmasıyla oluşan ölçeklenebilirlik oranları değerlendirilmiştir. Bölüm 'Comparison of Stream Processing Frameworks' deki bulgular Flink'in eşit şartlar ve durumlar altında diğer sistemlerden daha iyi bir performans ortaya koyduğunu; bununla birlikte Spark'ın veri işleme gücü gecikmelerin göze alınabileceği şekilde konfigüre edildiğinde Flink'i geçebildiğini göstermektedir.This thesis reviews a comparative study of several Big Data stream processing frameworks including Apache Spark, Flink, and Storm. Additionally, this study evaluates these frameworks' performance under different considerations and scenarios with optimizing each to their ideal potential. Also it measures resource usage and performance scalability of the frameworks within different cluster sizes. The findings from the Chapter 'Comparison of Stream Processing Frameworks' indicates that Flink outperforms both Storm and Spark under equal considerations. However, Spark can be optimized to provide higher throughput than Flink with the cost of higher latency.