Kontrollü çok konulu metin üretimi için yeni bir derin öğrenme yaklaşımı

Abstract

One of the most important tasks in the Controllable Text Generation (CTG) domain is to create topic-controlled texts. In this study, we propose and design three different approaches, and conduct extensive experiments on them to observe the performance of the controlled multi-topic reviews generated in Turkish. In the first approach, we generate controlled multi-topic text using a single-layer GPT language model by incorporating several control techniques. To control the language model, we first add topic information to the sequential input, as a second technique we add the automatically extracted keywords for each topic to the sequential input in addition to the first technique. The last technique that we propose is a novel sampling strategy. We propose to use a topic selection classifier that enables the next token selection according to the probability of the selected tokens being on the desired topic. Then, we apply these approaches to a more advanced language model, the multi-layer GPT, and interpret the results. In addition to these experiments, we compare three different deep learning text classification models in order to create a reliable multi-topic review classifier.

Kontrollü Metin Üretimi alanındaki en önemli görevlerden biri konu kontrollü metinler yaratmaktır. Bu çalışmada, Türkçe olarak üretilen kontrollü çok konulu metinlerin performansını gözlemlemek için üç farklı yaklaşım öneriyor, tasarlıyor ve bunlar üzerinde kapsamlı deneyler yapıyoruz. İlk yaklaşımda, üç kontrol tekniğini birleştirerek tek katmanlı bir GPT dil modeli kullanarak kontrollü çok konulu metin üretiyoruz. Dil modelini kontrol etmek için önce sıralı girişe konu bilgisi ekliyoruz, ikinci teknik olarak ilk tekniğe ek olarak sıralı girişe her konu için otomatik olarak çıkarılan anahtar kelimeleri ekliyoruz. Sunduğumuz son teknik, yeni bir örnekleme stratejisidir. Seçilen belirteçlerin istenen konuda olma olasılığına göre bir sonraki belirteç seçimini sağlayan bir konu seçim sınıflandırıcısı kullanmayı öneriyoruz. Ardından, bu yaklaşımları daha gelişmiş bir dil modeli olan çok katmanlı GPT'ye uygulayıp ve sonuçları yorumluyoruz. Bu deneylere ek olarak, güvenilir bir, çok konulu metin sınıflandırıcısı oluşturmak için üç farklı derin öğrenme metin sınıflandırma modelini karşılaştırıyoruz.