Reklam tıklama tahmini için takviyeli öğrenme

Abstract

Çevrimiçi reklamcılıkta kritik öneme sahip tıklama oranı (CTR) tahmini için geleneksel yöntemler, kullanıcı tercihlerinin dinamikliği ve reklamların alakasını kapsamada zorlanırken, yeni stratejilerin keşfini başarılı olanlarla dengeli bir şekilde sağlayan Thompson Örnekleme gibi takviyeli öğrenme (RL) algoritmaları, etkili bir çözüm sunar. Bu araştırmada, gerçek dünya reklam izlenimleri ve tıklamalarını simüle etmek için özel bir OpenAI Gym ortamını ve kullanıcı tercihlerinin ve reklamların alakasının sürekli değişimini ele alan dinamik CTR'yi tahmin etmek için bir Thompson Örnekleme uygulamasını içeren yeni bir RL tabanlı yaklaşım sunuyoruz. Bulgular, Thompson Örnekleme'nin CTR tahmininde, diğer RL stratejilerinden yaklaşık \%10 daha yüksek bir güven seviyesi ile, üstün bir performans sergilediğini ve bu sayede çevrimiçi reklam seçim süreçlerinin önemli ölçüde gelişebileceğini, böylece daha yüksek CTR'ler ve potansiyel olarak reklam yayıncıları için artan gelir sağlayabileceğini öne sürüyor.

Click-through rate (CTR) prediction plays a vital role in online advertising, influencing advertisement display and advertiser cost. However, traditional methods struggle to encapsulate user preference dynamics and advertisement relevance. To address this limitation, reinforcement learning (RL) algorithms, such as Thompson Sampling, offer a promising solution by effectively balancing the exploration of new strategies with the exploitation of successful ones. In this research, we introduce a novel RL-based approach for CTR prediction which involves a custom OpenAI Gym environment to simulate real-world advertisement impressions and clicks, and an implementation of Thompson Sampling to estimate CTR dynamically, addressing the continuous evolution of user preferences and advertisement relevance. Results showed that Thompson Sampling demonstrated superior performance in CTR prediction, outperforming other RL strategies. Notably, the algorithm exhibited a confidence level nearly 10\% higher than other methods. Our findings suggest that leveraging RL algorithms, particularly Thompson Sampling, can significantly enhance online advertisement selection processes, leading to higher CTRs and potentially increased revenue for publishers.