Hadoop ve Spark sistemlerin karşılastırmalı çalışması

Abstract

Bu çalışma, büyük veri sistemlerden ikisi olan Hadoop ve Spark'ı karşılaştırarak incelemektedir. Bu çalışmaya dahil edilen sistemler ideal performanslarını gösterebilecek şekilde çeşitli parametrelerle ayarlanmış; performans, donanım kullanımları ve kullanılan donanım sayısının arttırılmasıyla oluşan hızlanma oranları dört farklı uygulamada değerlendirilmiştir. Değerlendirme sonuçları incelendiğinde Spark'ın WordCount ve Sort uygulamaları için daha iyi performans gösterdiği, Hadoop'un Naive-Bayes uygulamasında Spark'tan daha başarılı olduğu gözlenmiştir. Bununla beraber, Grep uygulaması için Hadoop ve Spark arasında göze değer bir fark görülmemiştir.

In this thesis, Apache Hadoop and Apache Spark are compared with respect to performance, resource usage, and speedups of four different Big Data workloads. The comparison is done by tuning the parameters with various combinations for the optimum performance of each framework. The evaluations show that, Spark outperforms Hadoop for WordCount, and Sort workloads. However, Hadoop outperforms Spark in Naive-Bayes workload, and there is no a remarkable difference in the performances for Grep workload.