Makine öğrenmesi algoritmalarının oyun seviyelerinin zorluklarının belirlenmesinde kullanılması

Abstract

In game design, adjusting difficulty is one of the key aspects of financial success. However, this task is costly since it is time-consuming. In the literature, there are very limited studies according to determining the game difficulty. Instead, almost every study is about difficulty adjustment which skips the determining process. This thesis aims to develop a game environment to observe if the machine learning can determine the difficulty of a game and the game levels. For this purpose, a game with five different levels from easy to hard is developed in Unity Engine. A machine learning agent that uses reinforcement learning is also developed and each game level used as learning environment of the agent. In general, the learning process shows that the Cumulative Reward of the agents is decreased as levels become harder. The complexity of the game significantly decreases Cumulative Rewards. The results of this thesis have shown that those level difficulties of a game can be determined by comparing the reinforcement learning agent's performance on collecting rewards in the training area. In other words, machine learning algorithms have a big potential to support the game design phase of the game development process when it comes to determining the level of difficulties.

Oyun tasarımında oyunun zorluk seviyesinin ayarlanması, finansal başarı için en önemli etmenlerdendir. Literatürde oyun zorluğunun belirlenmesi hakkında oldukça kısıtlı kaynak bulunmaktadır. Bunun yerine, birçok araştırmacı, zorluğun belirlenmesinden çok, ayarlanması hakkında çalışmalar yapmışlardır. Bu çalışmanın amacı, oyunun ve oyundaki seviyelerin zorluğunu makine öğrenmesi ile belirlemek için bir oyun ortamı geliştirmektir. Bu sebeple Unity oyun motoru kullanılarak, kolaydan zora doğru giden beş seviyeden oluşan bir oyun geliştirilmiştir. Makine öğrenmesi tekniklerinden Takviyeli Öğrenme kullanılarak bir temsilci geliştirilmiştir. Bu temsilcinin beş farklı öğrenme ortamında seviyeleri denemesi sağlanmış ve sonuçlar incelenmiştir. Sonuçlar incelendiğinde, seviyeler zorlaştıkça temsilcinin edindiği kümülatif ödül miktarının azaldığı gözlenmiştir. Bu sonuçlar göstermektedir ki, bir oyunun zorluk seviyesi, farklı seviyelerdeki temsilcinin ödül elde etme performansları kıyaslanarak tespit edilebilmektedir. Diğer bir deyişle, oyun geliştirme sürecinin oyun zorluğu belirleme fazında, makine öğrenmesinin büyük bir potansiyeli bulunmaktadır.